Sådan bruger du Open WebUI med vLLM på Dell Pro Max 16 Plus MB16250 med Qualcomm Inference Card i Linux

Forudsætninger

Fuldfør engangskonfigurationen af enheden Sådan konfigurerer du Dell Pro Max 16 Plus med Qualcomm Inference Card i Linux.

Du skal bestå et Huffingface-token (HF_TOKEN) for at bruge denne model. Log først ind på Huggingface (opret en gratis konto, hvis du ikke har en). Du skal derefter acceptere vilkårene for modelbrug på modellinket.

Din godkendelse af modeladgang tager 5-10 minutter, og du modtager en bekræftelse via mail. Når dette er fuldført, opretter du næste gang et token. Fra Huggingface.

1. Klik på dit profilikon i øverste højre hjørne af Huggingface-webstedet.
2. Fra rullemenuen skal du vælge Indstillinger.
3. I navigationspanelet i venstre side skal du klikke på Adgangstokens.
4. Klik på knappen + Opret nyt token .
5. Angiv et navn til din token (f.eks. "min-hf-token").
6. Vælg knappen Læs (vælg ikke knapperne Finkornet eller Skriv).
7. Klik på knappen Opret token .
8. Tokenværdien vises. Kopier denne værdi med det samme , og gem den på et sikkert sted, da den ikke vises igen, når du forlader siden.

Nu i en Ubuntu-terminal skal du bruge huggingface-cli-login til at indtaste dit token, der giver dig mulighed for at bruge Llama-3.2-1B-Instruct-modellen fra Huggingface. Hvis du ikke har huggingface-cli installeret, skal du muligvis installere ved hjælp af pip install huggingface-hub. Eksempel på output.

Eksempel på brug af my-hf-token HF_TOKEN

dell@dell:~$ huggingface-cli login
⚠️  Warning: 'huggingface-cli login' is deprecated. Use 'hf auth login' instead.

    _|    _|  _|    _|    _|_|_|    _|_|_|  _|_|_|  _|      _|    _|_|_|      _|_|_|_|    _|_|      _|_|_|  _|_|_|_|
    _|    _|  _|    _|  _|        _|          _|    _|_|    _|  _|            _|        _|    _|  _|        _|
    _|_|_|_|  _|    _|  _|  _|_|  _|  _|_|    _|    _|  _|  _|  _|  _|_|      _|_|_|    _|_|_|_|  _|        _|_|_|
    _|    _|  _|    _|  _|    _|  _|    _|    _|    _|    _|_|  _|    _|      _|        _|    _|  _|        _|
    _|    _|    _|_|      _|_|_|    _|_|_|  _|_|_|  _|      _|    _|_|_|      _|        _|    _|    _|_|_|  _|_|_|_|

    A token is already saved on your machine. Run `hf auth whoami` to get more information or `hf auth logout` if you want to log out.
    Setting a new token will erase the existing one.
    To log in, `huggingface_hub` requires a token generated from https://huggingface.co/settings/tokens .
Enter your token (input will not be visible): 
Add token as git credential? (Y/n) y
Token is valid (permission: read).
The token `my-hf-token` has been saved to /home/dell/.cache/huggingface/stored_tokens
Your token has been saved in your configured git credential helpers (store).
Your token has been saved to /home/dell/.cache/huggingface/token
Login successful.
The current active token is: `my-hf-token`
dell@dell:~$ HF_TOKEN=<INSERT YOUR TOKEN HERE>

Download Lamaen 3.2:1B Instruer den færdigbyggede QPC

Til denne drejebog skal vi bruge den forudbyggede QPC til Lama 3.2: 1B Instruct-Zentree-Qualcinn Precompiled Model Catalog for Cloud AI Accelerators.Advarsel: Dette er et usikkert link, brug på egen risiko.

Følg nedenstående trin for at downloade og udpakke QPC fra arkivet. AI100-inferenskortet bruger op til to SoC'er (System on Chip), så vi downloader den specifikke forudbyggede version ved hjælp af Zentree-downloadlinkadressen. Hvis du ikke allerede har curl installeret, kan du installere den i terminalen ved hjælp af kommandoen sudo apt install curl.

  # Use existing Downloads folder for model downloads
cd ~/Downloads
# Download QPC archive from Zentree as llama3.2-1b-instruct.tar.gz
curl -fSL https://dc00tk1pxen80.cloudfront.net/SDK1.20.4/meta-llama/Llama-3.2-1B-Instruct/Llama-3.2-1B-Instruct_qpc_16cores_128pl_8192cl_1fbs_2devices_mxfp6_mxint8.tar.gz -o llama3.2-1b-instruct.tar.gz
# Extract QPC archive
tar -xzvf llama3.2-1b-instruct.tar.gz
# Rename extracted directory to llama3.2-1b-instruct-qpc
mv $(tar -tzf llama3.2-1b-instruct.tar.gz | head -1 | cut -f1 -d"/") llama3.2-1b-instruct-qpc

Server Lamamodellen 3.2:1B Instruer ved hjælp af vLLM

Åbn Terminal, og kør følgende kommando.

Hvis du ikke tidligere har brugt denne version af AI100 Docker-beholderen, hentes ~14 GB, før Docker-beholderen åbnes. Sørg for, at du har konfigureret din HF_TOKEN, før du åbner Docker-beholderen.

docker run --rm -it \
  --name qaic-bench \
  --device=/dev/accel/accel1 \
  --device=/dev/accel/accel2 \
  --network host \
  --ulimit nofile=1048576 \
  -e OMP_NUM_THREADS=8 \
  -e HF_TOKEN=$HF_TOKEN \
  -v ~/Downloads/llama3.2-1b-instruct-qpc:/root/qpc \
  ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 \
  /opt/vllm-env/bin/vllm serve meta-llama/Llama-3.2-1B-Instruct \
    --max-num-seq 1 \
    --max-model-len 8192 \
    --max-seq_len-to-capture 128 \
    --device qaic \
    --device-group 0,1 \
    --quantization mxfp6 \
    --kv-cache-dtype mxint8 \
    --override-qaic-config "qpc_path=/root/qpc/qpc"

Modellen er klar til inferens, når du ser meddelelsen "Programstart fuldført".

For at stoppe vLLM (aflæsning af modellen og lukning af beholderen) skal du trykke på Ctrl + C i dette terminalvindue. Det kan tage op til 1 minut at læsse større modeller af.

Referencer: Docker – Brugervejledning til Qualcomm® Cloud AI SDK og vLLM – Brugervejledning til Qualcomm® Cloud AI SDK

Start Open WebUI-beholder

Åbn en ny terminal, og kør følgende kommando.

docker run -d \
  -p 3000:8080 \
  -e WEBUI_AUTH=False \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui \
  ghcr.io/open-webui/open-webui:main-slim

Dette henter en beholder med Open WebUI, hvis du ikke tidligere har downloadet den. Efter ~20 sekunder Open WebUI er tilgængelig i din webbrowser på følgende link: http://localhost:3000/

http://localhost:3000/

Beholderen fortsætter med at køre i baggrunden, indtil du stopper beholderen. Brug følgende kommandoer i en terminal til at stoppe, genstarte eller opdatere beholderen.

Sådan stopper du beholderen: docker rm -f open-webui

Sådan genstarter du en eksisterende beholder: docker start open-webui

Sådan opdaterer du beholderen: docker pull ghcr.io/open-webui/open-webui:main-slim

Reference: Hurtig start | Åbn webbrugergrænsefladen

Konfigurer Open WebUI

Brug din browser til følgende link http://localhost:3000/admin/settings/connections

1. Tilføj en OpenAI API-forbindelse - på linjen Administrer OpenAI API-forbindelser skal du trykke på + for forbindelsestype i højre side.
2. Skift forbindelsestype til Lokal.
3. Indstil URL-adressen til http://host.docker.internal:8000/v1
4. Tryk på Save.

Reference: Hurtig start / Åbn webbrugergrænseflade

Brug Open WebUI

Brug din browser til at oprette forbindelse til dette link http://localhost:3000/ og begynde at chatte, registrerer Open WebUI automatisk modellen. Du kan holde containeren aktiv og skifte model nedenunder kørende ved hjælp af vLLM eller stoppe containeren ved hjælp af kommandoerne sektion 4: Start Open WebUI-beholderen.

Reference: Hjem | Åbn webbrugergrænsefladen