Jak používat rozhraní Open WebUI s nástrojem vLLM na počítači Dell Pro Max 16 Plus MB16250 s kartou Qualcomm Inference Card v systému Linux

Požadavky

Dokončete jednorázové nastavení zařízení Jak nastavit zařízení Dell Pro Max 16 Plus s kartou Qualcomm Inference v systému Linux.

Abyste mohli tento model používat, musíte předat token Huffingface (HF_TOKEN). Nejprve se přihlaste do Huggingface (vytvořte si bezplatný účet, pokud jej nemáte). Poté musíte odsouhlasit podmínky použití modelu uvedené na odkazu na model.

Schválení přístupu k modelu trvá 5 až 10 minut a obdržíte e-mailové potvrzení. Po dokončení vytvoříte token. Z objímajícího obličeje.

1. Klikněte na ikonu svého profilu v pravém horním rohu webu Huggingface.
2. V rozbalovací nabídce vyberte možnost Nastavení.
3. Na levém navigačním panelu klikněte na Přístupové tokeny.
4. Klikněte na tlačítko + Vytvořit nový token .
5. Zadejte název tokenu (například "my-hf-token").
6. Vyberte tlačítko Číst (nevybírejte tlačítka Jemně odstupňovaná nebo Zapsat).
7. Klikněte na tlačítko Vytvořit token .
8. Zobrazí se hodnota tokenu. Tuto hodnotu ihned zkopírujte a uložte na bezpečné místo, protože jakmile stránku opustíte, už se znovu nezobrazí.

Nyní v terminálu Ubuntu použijte přihlášení hugggingface-cli k zadání tokenu, který vám umožní používat model Llama-3.2-1B-Instruct od Huggingface. Pokud nemáte nainstalovaný hugggingface-cli, možná budete muset nainstalovat pomocí pip install huggingface-hub. Ukázkový výstup.

Ukázka použití HF_TOKEN my-hf-token

dell@dell:~$ huggingface-cli login
⚠️  Warning: 'huggingface-cli login' is deprecated. Use 'hf auth login' instead.

    _|    _|  _|    _|    _|_|_|    _|_|_|  _|_|_|  _|      _|    _|_|_|      _|_|_|_|    _|_|      _|_|_|  _|_|_|_|
    _|    _|  _|    _|  _|        _|          _|    _|_|    _|  _|            _|        _|    _|  _|        _|
    _|_|_|_|  _|    _|  _|  _|_|  _|  _|_|    _|    _|  _|  _|  _|  _|_|      _|_|_|    _|_|_|_|  _|        _|_|_|
    _|    _|  _|    _|  _|    _|  _|    _|    _|    _|    _|_|  _|    _|      _|        _|    _|  _|        _|
    _|    _|    _|_|      _|_|_|    _|_|_|  _|_|_|  _|      _|    _|_|_|      _|        _|    _|    _|_|_|  _|_|_|_|

    A token is already saved on your machine. Run `hf auth whoami` to get more information or `hf auth logout` if you want to log out.
    Setting a new token will erase the existing one.
    To log in, `huggingface_hub` requires a token generated from https://huggingface.co/settings/tokens .
Enter your token (input will not be visible): 
Add token as git credential? (Y/n) y
Token is valid (permission: read).
The token `my-hf-token` has been saved to /home/dell/.cache/huggingface/stored_tokens
Your token has been saved in your configured git credential helpers (store).
Your token has been saved to /home/dell/.cache/huggingface/token
Login successful.
The current active token is: `my-hf-token`
dell@dell:~$ HF_TOKEN=<INSERT YOUR TOKEN HERE>

Stáhněte si předem sestavený QPC Llama 3.2:1B Instruct

V tomto playbooku použijeme předem sestavený QPC pro předkompilovaný katalog modelů Llama 3.2:1B Instruct-Zentree-Qualcinn pro cloudové akcelerátory AI.Upozornění: Toto je nezabezpečený odkaz, který používáte na vlastní nebezpečí.

Chcete-li stáhnout a extrahovat QPC z archivu, postupujte podle níže uvedených kroků. Odvozovací karta AI100 používá až dva SoC (System on Chip), takže tuto konkrétní předem připravenou verzi stahujeme pomocí adresy odkazu ke stažení Zentree. Pokud ještě nemáte nainstalovaný curl, můžete jej nainstalovat do terminálu pomocí příkazu sudo apt install curl.

  # Use existing Downloads folder for model downloads
cd ~/Downloads
# Download QPC archive from Zentree as llama3.2-1b-instruct.tar.gz
curl -fSL https://dc00tk1pxen80.cloudfront.net/SDK1.20.4/meta-llama/Llama-3.2-1B-Instruct/Llama-3.2-1B-Instruct_qpc_16cores_128pl_8192cl_1fbs_2devices_mxfp6_mxint8.tar.gz -o llama3.2-1b-instruct.tar.gz
# Extract QPC archive
tar -xzvf llama3.2-1b-instruct.tar.gz
# Rename extracted directory to llama3.2-1b-instruct-qpc
mv $(tar -tzf llama3.2-1b-instruct.tar.gz | head -1 | cut -f1 -d"/") llama3.2-1b-instruct-qpc

Podávejte model Llama 3.2:1B Instruujte pomocí vLLM

Otevřete Terminál a spusťte následující příkaz.

Pokud jste tuto verzi kontejneru AI100 Docker ještě nepoužívali, před otevřením kontejneru Docker se načte ~14 GB. Před otevřením kontejneru Dockeru se ujistěte, že jste nastavili HF_TOKEN.

docker run --rm -it \
  --name qaic-bench \
  --device=/dev/accel/accel1 \
  --device=/dev/accel/accel2 \
  --network host \
  --ulimit nofile=1048576 \
  -e OMP_NUM_THREADS=8 \
  -e HF_TOKEN=$HF_TOKEN \
  -v ~/Downloads/llama3.2-1b-instruct-qpc:/root/qpc \
  ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 \
  /opt/vllm-env/bin/vllm serve meta-llama/Llama-3.2-1B-Instruct \
    --max-num-seq 1 \
    --max-model-len 8192 \
    --max-seq_len-to-capture 128 \
    --device qaic \
    --device-group 0,1 \
    --quantization mxfp6 \
    --kv-cache-dtype mxint8 \
    --override-qaic-config "qpc_path=/root/qpc/qpc"

Model je připravený k odvozování, jakmile se zobrazí zpráva "Spuštění aplikace dokončeno".

Chcete-li zastavit vLLM (uvolnění modelu a zavření kontejneru), stiskněte Ctrl+C v tomto okně terminálu. Vyložení větších modelů může trvat až 1 minutu.

Odkazy: Docker – Uživatelská příručka k sadě Qualcomm® Cloud AI SDK a vLLM – Uživatelská příručka Qualcomm® Cloud AI SDK

Spusťte kontejner Open WebUI

Otevřete nový terminál a spusťte následující příkaz.

docker run -d \
  -p 3000:8080 \
  -e WEBUI_AUTH=False \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui \
  ghcr.io/open-webui/open-webui:main-slim

Tím se načte kontejner s otevřeným webovým rozhraním, pokud jste si ho předtím nestáhli. Po ~20 sekundách Open WebUI je k dispozici ve vašem web prohlížeč na následujícím odkazu: http://localhost:3000/

http://localhost:3000/

Kontejner běží na pozadí, dokud ho nezastavíte. Pomocí následujících příkazů v terminálu můžete kontejner zastavit, restartovat nebo aktualizovat.

Zastavení kontejneru: docker rm -f open-webui

Restartování existujícího kontejneru: docker start open-webui

Aktualizace kontejneru: docker pull ghcr.io/open-webui/open-webui:main-slim

Odkazy: Rychlý průvodce | Otevřete webové rozhraní.

Konfigurace funkce Open WebUI

Použijte svůj prohlížeč pro následující odkaz http://localhost:3000/admin/settings/connections

1. Přidejte připojení OpenAI API - na řádku Spravovat připojení OpenAI API stiskněte + pro typ připojení na pravé straně.
2. Přepněte typ připojení na místní.
3. Nastavte adresu URL na http://host.docker.internal:8000/v1
4. Stiskněte tlačítko Uložit.

Odkazy: Rychlý start / Otevřít WebUI

Použijte Open WebUI

Pomocí prohlížeče se připojte k tomuto odkazu http://localhost:3000/ a začněte chatovat, Open WebUI automaticky detekuje model. Kontejner můžete ponechat aktivní a změnit modely, které jsou spuštěné pomocí vLLM, nebo kontejner zastavit pomocí příkazů v části 4: Spusťte kontejner Open WebUI.

Odkazy: Domů | Otevřete webové rozhraní.