Як використовувати Open WebUI з vLLM на Dell Pro Max 16 Plus MB16250 з картою Qualcomm Inference у Linux

Передумови

Завершіть одноразове налаштування пристрою Як налаштувати Dell Pro Max 16 Plus за допомогою карти Qualcomm Inference у Linux.

Щоб скористатися цією моделлю, потрібно скласти жетон Huffingface (HF_TOKEN). Спочатку увійдіть у Huggingface (створіть безкоштовний акаунт, якщо його у вас немає). Після цього ви повинні прийняти умови використання моделі за посиланням на модель.

Затвердження доступу до моделі займає 5-10 хвилин, і ви отримуєте підтвердження електронною поштою. Після цього ви створюєте токен. Від Hugging Face.

1. Натисніть на іконку профілю у верхньому правому куті сайту Huggingface.
2. У випадаючому меню виберіть Налаштування.
3. У лівій панелі навігації натисніть Access Tokens.
4. Натисніть кнопку + Створити новий токен .
5. Вкажіть назву для вашого токена (наприклад, «my-hf-token»).
6. Виберіть кнопку Read (не вибирайте кнопки Fine-grained або Write).
7. Натисніть кнопку Створити токен.
8. Відображається значення токена. Скопіюйте це значення негайно і збережіть його в безпечному місці, оскільки воно більше не відображатиметься після виходу зі сторінки.

Тепер у терміналі Ubuntu використовуйте login huggingface-cli, щоб ввести свій токен, який дозволяє використовувати модель Llama-3.2-1B-Instruct з Huggingface. Якщо у вас не встановлено huggingface-cli, можливо, доведеться встановити pip install huggingface-hub. Вихід вибірки.

Приклад використання my-hf-token HF_TOKEN

dell@dell:~$ huggingface-cli login
⚠️  Warning: 'huggingface-cli login' is deprecated. Use 'hf auth login' instead.

    _|    _|  _|    _|    _|_|_|    _|_|_|  _|_|_|  _|      _|    _|_|_|      _|_|_|_|    _|_|      _|_|_|  _|_|_|_|
    _|    _|  _|    _|  _|        _|          _|    _|_|    _|  _|            _|        _|    _|  _|        _|
    _|_|_|_|  _|    _|  _|  _|_|  _|  _|_|    _|    _|  _|  _|  _|  _|_|      _|_|_|    _|_|_|_|  _|        _|_|_|
    _|    _|  _|    _|  _|    _|  _|    _|    _|    _|    _|_|  _|    _|      _|        _|    _|  _|        _|
    _|    _|    _|_|      _|_|_|    _|_|_|  _|_|_|  _|      _|    _|_|_|      _|        _|    _|    _|_|_|  _|_|_|_|

    A token is already saved on your machine. Run `hf auth whoami` to get more information or `hf auth logout` if you want to log out.
    Setting a new token will erase the existing one.
    To log in, `huggingface_hub` requires a token generated from https://huggingface.co/settings/tokens .
Enter your token (input will not be visible): 
Add token as git credential? (Y/n) y
Token is valid (permission: read).
The token `my-hf-token` has been saved to /home/dell/.cache/huggingface/stored_tokens
Your token has been saved in your configured git credential helpers (store).
Your token has been saved to /home/dell/.cache/huggingface/token
Login successful.
The current active token is: `my-hf-token`
dell@dell:~$ HF_TOKEN=<INSERT YOUR TOKEN HERE>

Завантажте готовий QPC Llama 3.2:1B Instruct

Для цього підручника ми будемо використовувати готовий QPC для Llama 3.2:1B Instruct-Zentree-Qualcinn Precompiled Model Catalog для хмарних AI акселераторів.Увага: Це незахищене посилання, користуйтеся на власний ризик.

Виконайте кроки нижче, щоб завантажити та витягти QPC з архіву. Карта виведення AI100 використовує до двох SoC (System on Chip), тому ми завантажуємо саме цю готову версію, використовуючи адресу посилання для завантаження Zentree. Якщо у вас ще немає Curl, ви можете встановити його в терміналі за допомогою команди sudo apt install curl.

  # Use existing Downloads folder for model downloads
cd ~/Downloads
# Download QPC archive from Zentree as llama3.2-1b-instruct.tar.gz
curl -fSL https://dc00tk1pxen80.cloudfront.net/SDK1.20.4/meta-llama/Llama-3.2-1B-Instruct/Llama-3.2-1B-Instruct_qpc_16cores_128pl_8192cl_1fbs_2devices_mxfp6_mxint8.tar.gz -o llama3.2-1b-instruct.tar.gz
# Extract QPC archive
tar -xzvf llama3.2-1b-instruct.tar.gz
# Rename extracted directory to llama3.2-1b-instruct-qpc
mv $(tar -tzf llama3.2-1b-instruct.tar.gz | head -1 | cut -f1 -d"/") llama3.2-1b-instruct-qpc

Подайте модель інструкцій Llama 3.2:1B за допомогою vLLM

Відкрийте термінал і виконайте наступну команду.

Якщо ви раніше не користувалися цією версією контейнера Docker AI100, він отримує ~14GB перед відкриттям контейнера Docker. Переконайтеся, що ви налаштували свій HF_TOKEN перед відкриттям контейнера Docker.

docker run --rm -it \
  --name qaic-bench \
  --device=/dev/accel/accel1 \
  --device=/dev/accel/accel2 \
  --network host \
  --ulimit nofile=1048576 \
  -e OMP_NUM_THREADS=8 \
  -e HF_TOKEN=$HF_TOKEN \
  -v ~/Downloads/llama3.2-1b-instruct-qpc:/root/qpc \
  ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 \
  /opt/vllm-env/bin/vllm serve meta-llama/Llama-3.2-1B-Instruct \
    --max-num-seq 1 \
    --max-model-len 8192 \
    --max-seq_len-to-capture 128 \
    --device qaic \
    --device-group 0,1 \
    --quantization mxfp6 \
    --kv-cache-dtype mxint8 \
    --override-qaic-config "qpc_path=/root/qpc/qpc"

Модель готова до висновку, щойно ви побачите повідомлення «Запуск додатку завершено».

Щоб зупинити vLLM (розвантаження моделі та закриття контейнера), натисніть Ctrl+C у цьому термінальному вікні. Більші моделі можуть розвантажуватися до 1 хвилини.

Джерела: Docker - Посібник користувача Qualcomm® Cloud AI SDK та vLLM — Посібник користувача Qualcomm® Cloud AI SDK

Запуск Open WebUI Container

Відкрийте новий термінал і виконайте наступну команду.

docker run -d \
  -p 3000:8080 \
  -e WEBUI_AUTH=False \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui \
  ghcr.io/open-webui/open-webui:main-slim

Це завантажує контейнер з Open WebUI, якщо ви раніше його не завантажували. Через ~20 секунд Open WebUI доступний у вашому веб-браузері за наступним посиланням: http://localhost:3000/

http://localhost:3000/

Контейнер продовжує працювати у фоновому режимі, поки ви не зупините контейнер. Використовуйте наступні команди в терміналі, щоб зупинити, перезапустити або оновити контейнер.

Щоб зупинити контейнер: docker rm -f open-webui

Щоб перезапустити існуючий контейнер: docker start open-webui

Щоб оновити контейнер: docker pull ghcr.io/open-webui/open-webui:main-slim

Джерело: Швидкий початок | Відкритий WebUI

Налаштувати відкритий WebUI

Використовуйте свій браузер за наступним посиланням http://localhost:3000/admin/settings/connections

1. Додайте OpenAI API Connection — у рядку Manage OpenAI API Connections натисніть + для типу з'єднання праворуч.
2. Переключіть тип підключення на локальний.
3. Встановіть URL на http://host.docker.internal:8000/v1
4. Натисніть Зберегти.

Джерело: Швидкий старт / Відкрити WebUI

Використовуйте Open WebUI

Використовуйте свій браузер, щоб підключитися до цього посилання http://localhost:3000/ і починають спілкуватися, Open WebUI автоматично визначає модель. Ви можете тримати контейнер активним і змінювати моделі під ним за допомогою vLLM, або зупинити контейнер за допомогою розділу команд 4: Запустити Open WebUI Container.

Джерело: Головна | Відкритий WebUI