Så här använder du Open WebUI med vLLM på Dell Pro Max 16 Plus MB16250 med Qualcomm Inference Card i Linux

Förutsättningar

Slutför enhetskonfigurationen som utförs en gång Konfigurera Dell Pro Max 16 Plus med Qualcomm Inference Card i Linux.

Du måste skicka en Huffingface-token (HF_TOKEN) för att kunna använda den här modellen. Logga först in på Huggingface (skapa ett gratis konto om du inte har ett). Du måste sedan godkänna modellanvändningsvillkoren på modelllänken.

Ditt godkännande av modellåtkomst tar 5–10 minuter och du får en bekräftelse via e-post. När detta är klart skapar du sedan en token. Från Huggingface.

1. Klicka på din profilikon i det övre högra hörnet på Huggingface-webbplatsen.
2. I listrutan väljer du Inställningar.
3. I navigeringspanelen till vänster klickar du på Åtkomsttoken.
4. Klicka på knappen + Skapa ny token .
5. Ange ett namn för din token (till exempel "my-hf-token").
6. Välj knappen Läs (välj inte knapparna Finkornig eller Skriv).
7. Klicka på knappen Skapa token .
8. Tokenvärdet visas. Kopiera det här värdet omedelbart och spara det på en säker plats, eftersom det inte kommer att visas igen när du lämnar sidan.

Nu i en Ubuntu-terminal använder du huggingface-cli-inloggning för att ange din token som låter dig använda Llama-3.2-1B-Instruct-modellen från Huggingface. Om du inte har huggingface-cli installerat kan du behöva installera med hjälp av pip install huggingface-hub. Exempel på utdata.

Exempel på användning av my-hf-token HF_TOKEN

dell@dell:~$ huggingface-cli login
⚠️  Warning: 'huggingface-cli login' is deprecated. Use 'hf auth login' instead.

    _|    _|  _|    _|    _|_|_|    _|_|_|  _|_|_|  _|      _|    _|_|_|      _|_|_|_|    _|_|      _|_|_|  _|_|_|_|
    _|    _|  _|    _|  _|        _|          _|    _|_|    _|  _|            _|        _|    _|  _|        _|
    _|_|_|_|  _|    _|  _|  _|_|  _|  _|_|    _|    _|  _|  _|  _|  _|_|      _|_|_|    _|_|_|_|  _|        _|_|_|
    _|    _|  _|    _|  _|    _|  _|    _|    _|    _|    _|_|  _|    _|      _|        _|    _|  _|        _|
    _|    _|    _|_|      _|_|_|    _|_|_|  _|_|_|  _|      _|    _|_|_|      _|        _|    _|    _|_|_|  _|_|_|_|

    A token is already saved on your machine. Run `hf auth whoami` to get more information or `hf auth logout` if you want to log out.
    Setting a new token will erase the existing one.
    To log in, `huggingface_hub` requires a token generated from https://huggingface.co/settings/tokens .
Enter your token (input will not be visible): 
Add token as git credential? (Y/n) y
Token is valid (permission: read).
The token `my-hf-token` has been saved to /home/dell/.cache/huggingface/stored_tokens
Your token has been saved in your configured git credential helpers (store).
Your token has been saved to /home/dell/.cache/huggingface/token
Login successful.
The current active token is: `my-hf-token`
dell@dell:~$ HF_TOKEN=<INSERT YOUR TOKEN HERE>

Ladda ner Llama 3.2:1B Instruera fördefinierad QPC

I den här spelboken ska vi använda den förbyggda QPC för Llama 3.2:1B Instruct-Zentree-Qualcinn Precompiled Model Catalog for Cloud AI Accelerators.Varning: Detta är en osäker länk, använd på egen risk.

Följ stegen nedan för att ladda ner och extrahera QPC från arkivet. AI100-inferenskortet använder upp till två SoC:er (System on Chip) så vi laddar ner den specifika förbyggda versionen med hjälp av Zentree-nedladdningslänkadressen. Om du inte redan har curl installerat kan du installera det i terminalen med kommandot sudo apt install curl.

  # Use existing Downloads folder for model downloads
cd ~/Downloads
# Download QPC archive from Zentree as llama3.2-1b-instruct.tar.gz
curl -fSL https://dc00tk1pxen80.cloudfront.net/SDK1.20.4/meta-llama/Llama-3.2-1B-Instruct/Llama-3.2-1B-Instruct_qpc_16cores_128pl_8192cl_1fbs_2devices_mxfp6_mxint8.tar.gz -o llama3.2-1b-instruct.tar.gz
# Extract QPC archive
tar -xzvf llama3.2-1b-instruct.tar.gz
# Rename extracted directory to llama3.2-1b-instruct-qpc
mv $(tar -tzf llama3.2-1b-instruct.tar.gz | head -1 | cut -f1 -d"/") llama3.2-1b-instruct-qpc

Servera Lama 3.2:1B Instruera modellen med vLLM

Öppna Terminal och kör följande kommando.

Om du inte tidigare har använt den här versionen av AI100 Docker-behållaren hämtar den ~14 GB innan Docker-behållaren öppnas. Se till att du har konfigurerat HF_TOKEN innan du öppnar Docker-behållaren.

docker run --rm -it \
  --name qaic-bench \
  --device=/dev/accel/accel1 \
  --device=/dev/accel/accel2 \
  --network host \
  --ulimit nofile=1048576 \
  -e OMP_NUM_THREADS=8 \
  -e HF_TOKEN=$HF_TOKEN \
  -v ~/Downloads/llama3.2-1b-instruct-qpc:/root/qpc \
  ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 \
  /opt/vllm-env/bin/vllm serve meta-llama/Llama-3.2-1B-Instruct \
    --max-num-seq 1 \
    --max-model-len 8192 \
    --max-seq_len-to-capture 128 \
    --device qaic \
    --device-group 0,1 \
    --quantization mxfp6 \
    --kv-cache-dtype mxint8 \
    --override-qaic-config "qpc_path=/root/qpc/qpc"

Modellen är redo för slutsatsdragning när du ser meddelandet "Programstarten har slutförts".

Om du vill stoppa vLLM (ta bort modellen och stänga behållaren) trycker du på Ctrl+C i det här terminalfönstret. Större modeller kan ta upp till 1 minut att lasta ur.

Referenser: Användarhandbok för Docker – Qualcomm® Cloud AI SDK och vLLM – Användarhandbok för Qualcomm® Cloud AI SDK

Starta Open WebUI-behållare

Öppna en ny terminal och kör följande kommando.

docker run -d \
  -p 3000:8080 \
  -e WEBUI_AUTH=False \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui \
  ghcr.io/open-webui/open-webui:main-slim

Detta hämtar en behållare med Open WebUI om du inte tidigare har laddat ner den. Efter ~20 sekunder är Open WebUI tillgängligt i din webbläsare på följande länk: http://localhost:3000/

http://localhost:3000/

Containern fortsätter att köras i bakgrunden tills du stoppar containern. Använd följande kommandon i en terminal för att stoppa, starta om eller uppdatera containern.

Så här stoppar du behållaren: docker rm -f open-webui

Så här startar du om en befintlig behållare: docker start open-webui

Så här uppdaterar du behållaren: docker pull ghcr.io/open-webui/open-webui:main-slim

Referens: Snabbstart | Öppna WebUI

Konfigurera Open WebUI

Använd din webbläsare för följande länk http://localhost:3000/admin/settings/connections

1. Lägg till en OpenAI API-anslutning - på raden Hantera OpenAI API-anslutningar trycker du på + för anslutningstyp på höger sida.
2. Växla Anslutningstyp till Lokal.
3. Ställ in URL:en på http://host.docker.internal:8000/v1
4. Tryck på Spara.

Referens: Snabbstart / Öppna WebUI

Använd Open WebUI

Använd din webbläsare för att ansluta till den här länken http://localhost:3000/ och börja chatta, Open WebUI upptäcker automatiskt modellen. Du kan hålla containern aktiv och ändra modeller under som körs med hjälp av vLLM, eller stoppa containern med hjälp av kommandona avsnitt 4: Starta Open WebUI Container.

Referens: Hem | Öppna WebUI