Slik bruker du Open WebUI med vLLM på Dell Pro Max 16 Plus MB16250 med Qualcomm Inference Card i Linux

Forhåndskrav

Fullfør enhetsoppsettet en gang Slik konfigurerer du Dell Pro Max 16 Plus med Qualcomm Inference Card i Linux.

Du må sende et Huffingface-token (HF_TOKEN) for å bruke denne modellen. Logg først inn på Huggingface (opprett en gratis konto hvis du ikke har en). Deretter må du godta bruksvilkårene for modellen på modellkoblingen.

Det tar 5–10 minutter å godkjenne modelltilgang, og du mottar en bekreftelse via e-post. Når dette er fullført, oppretter du neste gang et token. Fra Huggingface.

1. Klikk på profilikonet ditt øverst til høyre på Huggingface-nettstedet.
2. Fra rullegardinmenyen velger du Innstillinger.
3. I navigasjonspanelet til venstre klikker du på Tilgangstokener.
4. Klikk på + Opprett ny token-knappen .
5. Oppgi et navn for tokenet ditt (for eksempel "my-hf-token").
6. Velg Les-knappen (ikke velg knappene Finkornet eller Skriv).
7. Klikk på knappen Opprett token .
8. Tokenverdien vises. Kopier denne verdien umiddelbart og lagre den på et sikkert sted, da den ikke vises igjen når du forlater siden.

Nå i en Ubuntu-terminal, bruk huggingface-cli-pålogging for å skrive inn tokenet ditt som lar deg bruke Lama-3.2-1B-Instruct-modellen fra Huggingface. Hvis du ikke har huggingface-cli installert, må du kanskje installere ved hjelp av pip install huggingface-hub. Eksempel på utdata.

Eksempel på bruk av my-hf-token-HF_TOKEN

dell@dell:~$ huggingface-cli login
⚠️  Warning: 'huggingface-cli login' is deprecated. Use 'hf auth login' instead.

    _|    _|  _|    _|    _|_|_|    _|_|_|  _|_|_|  _|      _|    _|_|_|      _|_|_|_|    _|_|      _|_|_|  _|_|_|_|
    _|    _|  _|    _|  _|        _|          _|    _|_|    _|  _|            _|        _|    _|  _|        _|
    _|_|_|_|  _|    _|  _|  _|_|  _|  _|_|    _|    _|  _|  _|  _|  _|_|      _|_|_|    _|_|_|_|  _|        _|_|_|
    _|    _|  _|    _|  _|    _|  _|    _|    _|    _|    _|_|  _|    _|      _|        _|    _|  _|        _|
    _|    _|    _|_|      _|_|_|    _|_|_|  _|_|_|  _|      _|    _|_|_|      _|        _|    _|    _|_|_|  _|_|_|_|

    A token is already saved on your machine. Run `hf auth whoami` to get more information or `hf auth logout` if you want to log out.
    Setting a new token will erase the existing one.
    To log in, `huggingface_hub` requires a token generated from https://huggingface.co/settings/tokens .
Enter your token (input will not be visible): 
Add token as git credential? (Y/n) y
Token is valid (permission: read).
The token `my-hf-token` has been saved to /home/dell/.cache/huggingface/stored_tokens
Your token has been saved in your configured git credential helpers (store).
Your token has been saved to /home/dell/.cache/huggingface/token
Login successful.
The current active token is: `my-hf-token`
dell@dell:~$ HF_TOKEN=<INSERT YOUR TOKEN HERE>

Last ned Llama 3.2:1B Instruct prebuilt QPC

For denne strategiplanen skal vi bruke den forhåndsbygde QPC for Llama 3.2:1B Instruct-Zentree-Qualcinn Precompiled Model Catalog for Cloud AI Accelerators.Advarsel: Dette er en usikker lenke, bruk på egen risiko.

Følg trinnene nedenfor for å laste ned og pakke ut QPC fra arkivet. AI100-inferenskortet bruker opptil to SoC-er (System on Chip), så vi laster ned den spesifikke forhåndsbygde versjonen ved hjelp av Zentree-nedlastingslenkeadressen. Hvis du ikke allerede har curl installert, kan du installere den i terminalen ved hjelp av kommandoen sudo apt install curl.

  # Use existing Downloads folder for model downloads
cd ~/Downloads
# Download QPC archive from Zentree as llama3.2-1b-instruct.tar.gz
curl -fSL https://dc00tk1pxen80.cloudfront.net/SDK1.20.4/meta-llama/Llama-3.2-1B-Instruct/Llama-3.2-1B-Instruct_qpc_16cores_128pl_8192cl_1fbs_2devices_mxfp6_mxint8.tar.gz -o llama3.2-1b-instruct.tar.gz
# Extract QPC archive
tar -xzvf llama3.2-1b-instruct.tar.gz
# Rename extracted directory to llama3.2-1b-instruct-qpc
mv $(tar -tzf llama3.2-1b-instruct.tar.gz | head -1 | cut -f1 -d"/") llama3.2-1b-instruct-qpc

Server Llama 3.2: 1B Instruct-modellen ved hjelp av vLLM

Åpne Terminal og kjør følgende kommando.

Hvis du ikke tidligere har brukt denne versjonen av AI100 Docker-beholderen, henter den ~14 GB før du åpner Docker-beholderen. Sørg for at du har konfigurert HF_TOKEN før du åpner Docker-beholderen.

docker run --rm -it \
  --name qaic-bench \
  --device=/dev/accel/accel1 \
  --device=/dev/accel/accel2 \
  --network host \
  --ulimit nofile=1048576 \
  -e OMP_NUM_THREADS=8 \
  -e HF_TOKEN=$HF_TOKEN \
  -v ~/Downloads/llama3.2-1b-instruct-qpc:/root/qpc \
  ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 \
  /opt/vllm-env/bin/vllm serve meta-llama/Llama-3.2-1B-Instruct \
    --max-num-seq 1 \
    --max-model-len 8192 \
    --max-seq_len-to-capture 128 \
    --device qaic \
    --device-group 0,1 \
    --quantization mxfp6 \
    --kv-cache-dtype mxint8 \
    --override-qaic-config "qpc_path=/root/qpc/qpc"

Modellen er klar for slutning når du ser meldingen "Oppstart av programmet er fullført."

For å stoppe vLLM (losse modellen og lukke beholderen), trykk Ctrl + C i dette terminalvinduet. Større modeller kan ta opptil 1 minutt å losse.

Referanser: Docker – brukerveiledning for Qualcomm® Cloud AI SDK og vLLM – brukerveiledning for Qualcomm® Cloud AI SDK

Start Open WebUI Container

Åpne en ny terminal og kjør følgende kommando.

docker run -d \
  -p 3000:8080 \
  -e WEBUI_AUTH=False \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui \
  ghcr.io/open-webui/open-webui:main-slim

Dette henter en beholder med Open WebUI hvis du ikke tidligere har lastet den ned. Etter ~20 sekunder Open WebUI er tilgjengelig i nettleseren din på følgende kobling: http://localhost:3000/

http://localhost:3000/

Beholderen fortsetter å kjøre i bakgrunnen til du stopper beholderen. Bruk følgende kommandoer i en terminal for å stoppe, starte på nytt eller oppdatere beholderen.

Slik stopper du beholderen: docker rm -f open-webui

Slik starter du en eksisterende beholder på nytt: docker start open-webui

Slik oppdaterer du beholderen: docker pull ghcr.io/open-webui/open-webui:main-slim

Referanse: Hurtigstart | Åpne webgrensesnitt

Konfigurere åpent webgrensesnitt

Bruk nettleseren din for følgende lenke http://localhost:3000/admin/settings/connections

1. Legg til en OpenAI API-tilkobling - på linjen Administrer OpenAI API-tilkoblinger, trykk på + for tilkoblingstype på høyre side.
2. Veksle tilkoblingstype til lokal.
3. Sett URL-adressen til http://host.docker.internal:8000/v1
4. Trykk på Lagre.

Referanse: Hurtigstart / Åpne webgrensesnitt

Bruk åpent webgrensesnitt

Bruk nettleseren din til å koble til denne koblingen http://localhost:3000/ og begynn å chatte, Åpne WebUI oppdager automatisk modellen. Du kan holde beholderen aktiv og endre modeller under kjøring ved hjelp av vLLM, eller stoppe beholderen ved hjelp av kommandoseksjonen 4: Start Open WebUI Container.

Referanse: Hjem | Åpne webgrensesnitt