Korzystanie z interfejsu Open WebUI z vLLM na komputerze Dell Pro Max 16 Plus MB16250 z kartą Qualcomm Inference w systemie Linux

Wymagania wstępne

Dokończ jednorazową konfigurację urządzenia Konfiguracja komputera Dell Pro Max 16 Plus z kartą Qualcomm Inference w systemie Linux.

Aby korzystać z tego modelu, musisz przekazać token Huffingface (HF_TOKEN). Najpierw zaloguj się do Huggingface (załóż darmowe konto, jeśli go nie masz). Następnie należy zaakceptować warunki użytkowania modelu pod łączem modelu.

Zatwierdzenie dostępu do modelu trwa 5–10 minut, a Ty otrzymasz wiadomość e-mail z potwierdzeniem. Po zakończeniu tego procesu należy utworzyć token. Od przytulającej się twarzy.

1. Kliknij ikonę swojego profilu w prawym górnym rogu witryny Huggingface.
2. Z menu rozwijanego wybierz opcję Ustawienia.
3. W panelu nawigacyjnym po lewej stronie kliknij Tokeny dostępu.
4. Kliknij przycisk + Utwórz nowy token .
5. Podaj nazwę tokenu (na przykład "my-hf-token").
6. Wybierz przycisk Odczyt (nie wybieraj przycisków Drobnoziarniste ani Zapis).
7. Kliknij przycisk Utwórz token .
8. Zostanie wyświetlona wartość tokena. Natychmiast skopiuj tę wartość i zapisz ją w bezpiecznym miejscu, ponieważ nie będzie wyświetlana ponownie po opuszczeniu strony.

Teraz w terminalu Ubuntu użyj loginu huggingface-cli, aby wprowadzić token, który umożliwia użycie modelu Llama-3.2-1B-Instruct z Huggingface. Jeśli nie masz zainstalowanego huggingface-cli, może być konieczne zainstalowanie przy użyciu pip install huggingface-hub. Przykładowe dane wyjściowe.

Przykładowe użycie my-hf-token HF_TOKEN

dell@dell:~$ huggingface-cli login
⚠️  Warning: 'huggingface-cli login' is deprecated. Use 'hf auth login' instead.

    _|    _|  _|    _|    _|_|_|    _|_|_|  _|_|_|  _|      _|    _|_|_|      _|_|_|_|    _|_|      _|_|_|  _|_|_|_|
    _|    _|  _|    _|  _|        _|          _|    _|_|    _|  _|            _|        _|    _|  _|        _|
    _|_|_|_|  _|    _|  _|  _|_|  _|  _|_|    _|    _|  _|  _|  _|  _|_|      _|_|_|    _|_|_|_|  _|        _|_|_|
    _|    _|  _|    _|  _|    _|  _|    _|    _|    _|    _|_|  _|    _|      _|        _|    _|  _|        _|
    _|    _|    _|_|      _|_|_|    _|_|_|  _|_|_|  _|      _|    _|_|_|      _|        _|    _|    _|_|_|  _|_|_|_|

    A token is already saved on your machine. Run `hf auth whoami` to get more information or `hf auth logout` if you want to log out.
    Setting a new token will erase the existing one.
    To log in, `huggingface_hub` requires a token generated from https://huggingface.co/settings/tokens .
Enter your token (input will not be visible): 
Add token as git credential? (Y/n) y
Token is valid (permission: read).
The token `my-hf-token` has been saved to /home/dell/.cache/huggingface/stored_tokens
Your token has been saved in your configured git credential helpers (store).
Your token has been saved to /home/dell/.cache/huggingface/token
Login successful.
The current active token is: `my-hf-token`
dell@dell:~$ HF_TOKEN=<INSERT YOUR TOKEN HERE>

Pobierz Lamę 3.2:1B Instrukcja wstępnie utworzonego QPC

W tym podręczniku użyjemy wstępnie utworzonego QPC dla Llama 3.2:1B Instruct-Zentree-Qualcinn Precompiled Model Catalog for Cloud AI Accelerators.Ostrzeżenie: To nie jest zabezpieczone łącze, używaj na własne ryzyko.

Wykonaj poniższe czynności, aby pobrać i rozpakować QPC z archiwum. Karta inferencyjna AI100 wykorzystuje do dwóch SoC (System on Chip), więc pobieramy tę konkretną, wstępnie skompilowaną wersję, korzystając z adresu linku do pobrania Zentree. Jeśli nie masz jeszcze zainstalowanego curl, możesz zainstalować go w terminalu za pomocą polecenia sudo apt install curl.

  # Use existing Downloads folder for model downloads
cd ~/Downloads
# Download QPC archive from Zentree as llama3.2-1b-instruct.tar.gz
curl -fSL https://dc00tk1pxen80.cloudfront.net/SDK1.20.4/meta-llama/Llama-3.2-1B-Instruct/Llama-3.2-1B-Instruct_qpc_16cores_128pl_8192cl_1fbs_2devices_mxfp6_mxint8.tar.gz -o llama3.2-1b-instruct.tar.gz
# Extract QPC archive
tar -xzvf llama3.2-1b-instruct.tar.gz
# Rename extracted directory to llama3.2-1b-instruct-qpc
mv $(tar -tzf llama3.2-1b-instruct.tar.gz | head -1 | cut -f1 -d"/") llama3.2-1b-instruct-qpc

Serwuj lamę 3.2:1B Instruuj model za pomocą vLLM

Otwórz Terminal i uruchom następujące polecenie.

Jeśli wcześniej nie korzystałeś z tej wersji kontenera AI100 Docker, pobiera ~14GB przed otwarciem kontenera Docker. Upewnij się, że skonfigurowałeś HF_TOKEN przed otwarciem kontenera platformy Docker.

docker run --rm -it \
  --name qaic-bench \
  --device=/dev/accel/accel1 \
  --device=/dev/accel/accel2 \
  --network host \
  --ulimit nofile=1048576 \
  -e OMP_NUM_THREADS=8 \
  -e HF_TOKEN=$HF_TOKEN \
  -v ~/Downloads/llama3.2-1b-instruct-qpc:/root/qpc \
  ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 \
  /opt/vllm-env/bin/vllm serve meta-llama/Llama-3.2-1B-Instruct \
    --max-num-seq 1 \
    --max-model-len 8192 \
    --max-seq_len-to-capture 128 \
    --device qaic \
    --device-group 0,1 \
    --quantization mxfp6 \
    --kv-cache-dtype mxint8 \
    --override-qaic-config "qpc_path=/root/qpc/qpc"

Model jest gotowy do wnioskowania po wyświetleniu komunikatu "Uruchamianie aplikacji zakończone".

Aby zatrzymać vLLM (rozładunek modelu i zamknięcie kontenera), naciśnij klawisze Ctrl+C w tym oknie terminala. Rozładunek większych modeli może potrwać do 1 minuty.

Referencje: Docker — podręcznik użytkownika zestawu Qualcomm® Cloud AI SDK oraz vLLM — podręcznik użytkownika zestawu Qualcomm® Cloud AI SDK

Uruchom kontener Open WebUI

Otwórz nowy terminal i uruchom następujące polecenie.

docker run -d \
  -p 3000:8080 \
  -e WEBUI_AUTH=False \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui \
  ghcr.io/open-webui/open-webui:main-slim

Spowoduje to pobranie kontenera z otwartym interfejsem WebUI, jeśli nie został on wcześniej pobrany. Po ~20 sekundach Open WebUI jest dostępny w przeglądarce internetowej pod następującym linkiem: http://localhost:3000/

http://localhost:3000/

Kontener będzie działał w tle do momentu zatrzymania kontenera. Użyj następujących poleceń w terminalu, aby zatrzymać, ponownie uruchomić lub zaktualizować kontener.

Aby zatrzymać kontener: docker rm -f open-webui

Aby ponownie uruchomić istniejący kontener: docker start open-webui

Aby zaktualizować kontener: docker pull ghcr.io/open-webui/open-webui:main-slim

Źródło: Szybki start | Otwórz WebUI

Konfiguracja otwartego interfejsu sieciowego

Skorzystaj z przeglądarki, aby uzyskać poniższe łącze http://localhost:3000/admin/settings/connections

1. Dodaj połączenie API OpenAI — w wierszu Zarządzaj połączeniami API OpenAI naciśnij + dla typu połączenia po prawej stronie.
2. Przełącz typ połączenia na Lokalne.
3. Ustaw adres URL na http://host.docker.internal:8000/v1
4. Naciśnij przycisk Zapisz.

Źródło: Szybkie uruchamianie / otwieranie interfejsu WebUI

Użyj otwartego interfejsu sieciowego

Użyj przeglądarki, aby połączyć się z tym linkiem http://localhost:3000/ i zacznij rozmawiać, Otwórz WebUI automatycznie wykryje model. Możesz zachować aktywny kontener i zmienić modele poniżej uruchomione przy użyciu vLLM lub zatrzymać kontener przy użyciu poleceń w sekcji 4: Uruchom kontener Open WebUI.

Źródło: Strona główna | Otwórz WebUI