So verwenden Sie die offene WebUI mit vLLM auf dem Dell Pro Max 16 Plus MB16250 mit Qualcomm-Inferenzkarte unter Linux

Voraussetzungen

Schließen Sie die einmalige Geräteeinrichtung ab: Anleitung zum Einrichten des Dell Pro Max 16 Plus mit Qualcomm-Inferenzkarte unter Linux.

Sie müssen ein Huffingface-Token (HF_TOKEN) übergeben, um dieses Modell verwenden zu können. Melden Sie sich zunächst bei Huggingface an (erstellen Sie ein kostenloses Konto, wenn Sie noch keines haben). Sie müssen dann die Nutzungsbedingungen für das Modell unter dem Link "Modell" akzeptieren.

Die Genehmigung für den Modellzugriff dauert 5 bis 10 Minuten und Sie erhalten eine Bestätigung per E-Mail. Sobald dies abgeschlossen ist, erstellen Sie als Nächstes ein Token. Aus dem Huggingface.

1. Klicken Sie auf Ihr Profilsymbol in der oberen rechten Ecke der Huggingface-Website.
2. Wählen Sie aus dem Drop-down-Menü die Option Settings aus.
3. Klicken Sie im linken Navigationsbereich auf Access Tokens.
4. Klicken Sie auf die Schaltfläche + Create new token .
5. Geben Sie einen Namen für Ihr Token an (z. B. "my-hf-token").
6. Wählen Sie die Schaltfläche Lesen aus (wählen Sie nicht die Schaltflächen "Differenziert" oder "Schreiben" aus).
7. Klicken Sie auf die Schaltfläche Create token .
8. Der Tokenwert wird angezeigt. Kopieren Sie diesen Wert sofort und speichern Sie ihn an einem sicheren Ort, da er nicht mehr angezeigt wird, wenn Sie die Seite verlassen.

Verwenden Sie jetzt in einem Ubuntu-Terminal huggingface-cli-login, um Ihr Token einzugeben, mit dem Sie das Llama-3.2-1B-Instruct-Modell von Huggingface verwenden können. Wenn Sie HuggingFace-CLI nicht installiert haben, müssen Sie möglicherweise mit pip install huggingface-hub. Beispielausgabe.

Beispiel für die Verwendung von my-hf-token HF_TOKEN

dell@dell:~$ huggingface-cli login
⚠️  Warning: 'huggingface-cli login' is deprecated. Use 'hf auth login' instead.

    _|    _|  _|    _|    _|_|_|    _|_|_|  _|_|_|  _|      _|    _|_|_|      _|_|_|_|    _|_|      _|_|_|  _|_|_|_|
    _|    _|  _|    _|  _|        _|          _|    _|_|    _|  _|            _|        _|    _|  _|        _|
    _|_|_|_|  _|    _|  _|  _|_|  _|  _|_|    _|    _|  _|  _|  _|  _|_|      _|_|_|    _|_|_|_|  _|        _|_|_|
    _|    _|  _|    _|  _|    _|  _|    _|    _|    _|    _|_|  _|    _|      _|        _|    _|  _|        _|
    _|    _|    _|_|      _|_|_|    _|_|_|  _|_|_|  _|      _|    _|_|_|      _|        _|    _|    _|_|_|  _|_|_|_|

    A token is already saved on your machine. Run `hf auth whoami` to get more information or `hf auth logout` if you want to log out.
    Setting a new token will erase the existing one.
    To log in, `huggingface_hub` requires a token generated from https://huggingface.co/settings/tokens .
Enter your token (input will not be visible): 
Add token as git credential? (Y/n) y
Token is valid (permission: read).
The token `my-hf-token` has been saved to /home/dell/.cache/huggingface/stored_tokens
Your token has been saved in your configured git credential helpers (store).
Your token has been saved to /home/dell/.cache/huggingface/token
Login successful.
The current active token is: `my-hf-token`
dell@dell:~$ HF_TOKEN=<INSERT YOUR TOKEN HERE>

Laden Sie Llama 3.2:1B Instruct Prebuilt QPC herunter

Für dieses Playbook verwenden wir den vorgefertigten QPC für den Llama 3.2:1B Instruct-Zentree-Qualcinn Precompiled Model Catalog für Cloud-KI-Beschleuniger.Warnung: Dies ist ein nicht sicherer Link. Die Verwendung erfolgt auf eigene Gefahr.

Führen Sie die folgenden Schritte aus, um den QPC aus dem Archiv herunterzuladen und zu extrahieren. Da die AI100-Inferenzkarte bis zu zwei SoCs (System on Chip) verwendet, laden wir diese spezifische vorgefertigte Version über die Zentree-Downloadlinkadresse herunter. Wenn Sie curl noch nicht installiert haben, können Sie es mit dem folgenden Befehl im Terminal installieren: sudo apt install curl.

  # Use existing Downloads folder for model downloads
cd ~/Downloads
# Download QPC archive from Zentree as llama3.2-1b-instruct.tar.gz
curl -fSL https://dc00tk1pxen80.cloudfront.net/SDK1.20.4/meta-llama/Llama-3.2-1B-Instruct/Llama-3.2-1B-Instruct_qpc_16cores_128pl_8192cl_1fbs_2devices_mxfp6_mxint8.tar.gz -o llama3.2-1b-instruct.tar.gz
# Extract QPC archive
tar -xzvf llama3.2-1b-instruct.tar.gz
# Rename extracted directory to llama3.2-1b-instruct-qpc
mv $(tar -tzf llama3.2-1b-instruct.tar.gz | head -1 | cut -f1 -d"/") llama3.2-1b-instruct-qpc

Bereitstellen des Llama 3.2:1B-Instruct-Modells mit vLLM

Öffnen Sie das Terminal und führen Sie den folgenden Befehl aus.

Wenn Sie diese Version des AI100-Docker-Containers noch nicht verwendet haben, werden ~14 GB abgerufen, bevor der Docker-Container geöffnet wird. Stellen Sie sicher, dass Sie Ihre HF_TOKEN eingerichtet haben, bevor Sie den Docker-Container öffnen.

docker run --rm -it \
  --name qaic-bench \
  --device=/dev/accel/accel1 \
  --device=/dev/accel/accel2 \
  --network host \
  --ulimit nofile=1048576 \
  -e OMP_NUM_THREADS=8 \
  -e HF_TOKEN=$HF_TOKEN \
  -v ~/Downloads/llama3.2-1b-instruct-qpc:/root/qpc \
  ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 \
  /opt/vllm-env/bin/vllm serve meta-llama/Llama-3.2-1B-Instruct \
    --max-num-seq 1 \
    --max-model-len 8192 \
    --max-seq_len-to-capture 128 \
    --device qaic \
    --device-group 0,1 \
    --quantization mxfp6 \
    --kv-cache-dtype mxint8 \
    --override-qaic-config "qpc_path=/root/qpc/qpc"

Das Modell ist für die Inferenzierung bereit, sobald die Meldung "Anwendungsstart abgeschlossen" angezeigt wird.

Um vLLM zu beenden (das Modell zu entladen und den Container zu schließen), drücken Sie in diesem Terminalfenster Strg+C. Bei größeren Modellen kann das Entladen bis zu einer Minute dauern.

Referenzen: Docker – Qualcomm® Cloud AI SDK – Benutzerhandbuch und vLLM – Qualcomm® Cloud AI SDK – Benutzerhandbuch

Öffnen des WebUI-Containers starten

Öffnen Sie ein neues Terminal und führen Sie den folgenden Befehl aus.

docker run -d \
  -p 3000:8080 \
  -e WEBUI_AUTH=False \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui \
  ghcr.io/open-webui/open-webui:main-slim

Dadurch wird ein Container mit Open WebUI abgerufen, wenn Sie ihn zuvor nicht heruntergeladen haben. Nach ~20 Sekunden ist Open WebUI in Ihrem Webbrowser unter folgendem Link verfügbar: http://localhost:3000/

http://localhost:3000/

Der Container wird weiterhin im Hintergrund ausgeführt, bis Sie den Container beenden. Verwenden Sie die folgenden Befehle in einem Terminal, um den Container zu beenden, neu zu starten oder zu aktualisieren.

So beenden Sie den Container: docker rm -f open-webui

So starten Sie einen vorhandenen Container neu: docker start open-webui

So aktualisieren Sie den Container: docker pull ghcr.io/open-webui/open-webui:main-slim

Referenz: Schnellstart | WebUI öffnen

Konfigurieren der Open WebUI

Verwenden Sie Ihren Browser für den folgenden Link http://localhost:3000/admin/settings/connections

1. Eine OpenAI-API-Verbindung hinzufügen – drücken Sie in der Zeile OpenAI-API-Verbindungen verwalten auf die Taste + für den Verbindungstyp auf der rechten Seite.
2. Schalten Sie den Verbindungstyp auf Lokal um.
3. Legen Sie die URL fest auf http://host.docker.internal:8000/v1
4. Klicken Sie auf Speichern.

Referenz: Schnellstart/Öffnen der WebUI

Open WebUI verwenden

Verwenden Sie Ihren Browser, um eine Verbindung zu diesem Link herzustellen http://localhost:3000/ und starten Sie den Chat, Open WebUI erkennt das Modell automatisch. Sie können den Container aktiv lassen und die darunter ausgeführten Modelle mithilfe von vLLM ändern oder den Container mithilfe des Befehlsabschnitts 4 beenden: Öffnen Sie den WebUI-Container.

Referenz: Startseite | WebUI öffnen