Utilisation d’Open WebUI avec vLLM sur la MB16250 Dell Pro Max 16 Plus avec carte d’inférence Qualcomm sous Linux

Configuration requise

Terminez la configuration unique de l’appareil Comment configurer la Dell Pro Max 16 Plus avec une carte d’inférence Qualcomm sous Linux.

Vous devez passer un jeton Huffingface (HF_TOKEN) pour utiliser ce modèle. Tout d’abord, connectez-vous à Huggingface (créez un compte gratuit si vous n’en avez pas). Vous devez ensuite accepter les conditions d’utilisation du modèle sur le lien du modèle.

L’approbation de l’accès à votre modèle prend entre 5 et 10 minutes, après quoi vous recevez une confirmation par e-mail. Une fois cette opération terminée, vous créez un jeton. De l’étreinte faciale.

1. Cliquez sur l’icône de votre profil dans le coin supérieur droit du site Web de Huggingface.
2. Dans le menu déroulant, sélectionnez Paramètres.
3. Dans le volet de navigation de gauche, cliquez sur Jetons d’accès.
4. Cliquez sur le bouton + Créer un jeton .
5. Donnez un nom à votre jeton (par exemple, « my-hf-token »).
6. Sélectionnez le bouton Lecture (ne sélectionnez pas les boutons Fine-Grained ou Write).
7. Cliquez sur le bouton Créer un jeton .
8. La valeur du jeton s’affiche. Copiez cette valeur immédiatement et enregistrez-la dans un emplacement sécurisé, car elle ne s’affichera plus une fois que vous aurez quitté la page.

Maintenant, dans un terminal Ubuntu, utilisez la connexion huggingface-cli pour entrer votre jeton qui vous permet d’utiliser le modèle Llama-3.2-1B-Instruct de Huggingface. Si vous n’avez pas installé huggingface-cli, vous devrez peut-être l’installer à l’aide de pip install huggingface-hub. Exemple de sortie.

Exemple d’utilisation du HF_TOKEN my-hf-token

dell@dell:~$ huggingface-cli login
⚠️  Warning: 'huggingface-cli login' is deprecated. Use 'hf auth login' instead.

    _|    _|  _|    _|    _|_|_|    _|_|_|  _|_|_|  _|      _|    _|_|_|      _|_|_|_|    _|_|      _|_|_|  _|_|_|_|
    _|    _|  _|    _|  _|        _|          _|    _|_|    _|  _|            _|        _|    _|  _|        _|
    _|_|_|_|  _|    _|  _|  _|_|  _|  _|_|    _|    _|  _|  _|  _|  _|_|      _|_|_|    _|_|_|_|  _|        _|_|_|
    _|    _|  _|    _|  _|    _|  _|    _|    _|    _|    _|_|  _|    _|      _|        _|    _|  _|        _|
    _|    _|    _|_|      _|_|_|    _|_|_|  _|_|_|  _|      _|    _|_|_|      _|        _|    _|    _|_|_|  _|_|_|_|

    A token is already saved on your machine. Run `hf auth whoami` to get more information or `hf auth logout` if you want to log out.
    Setting a new token will erase the existing one.
    To log in, `huggingface_hub` requires a token generated from https://huggingface.co/settings/tokens .
Enter your token (input will not be visible): 
Add token as git credential? (Y/n) y
Token is valid (permission: read).
The token `my-hf-token` has been saved to /home/dell/.cache/huggingface/stored_tokens
Your token has been saved in your configured git credential helpers (store).
Your token has been saved to /home/dell/.cache/huggingface/token
Login successful.
The current active token is: `my-hf-token`
dell@dell:~$ HF_TOKEN=<INSERT YOUR TOKEN HERE>

Télécharger le QPC préconstruit Llama 3.2:1B Instruct

Pour ce playbook, nous allons utiliser le QPC préconstruit pour le catalogue de modèles précompilés Llama 3.2:1B Instruct-Zentree-Qualcinn pour les accélérateurs d’IA dans le cloud.Avertissement: Il s’agit d’un lien non sécurisé, à utiliser à vos risques et périls.

Suivez les étapes ci-dessous pour télécharger et extraire le QPC de l’archive. La carte d’inférence AI100 utilise jusqu’à deux SoC (System on Chip), nous téléchargeons donc cette version préconstruite spécifique à l’aide de l’adresse du lien de téléchargement Zentree. Si curl n’est pas déjà installé, vous pouvez l’installer dans le terminal à l’aide de la commande sudo apt install curl.

  # Use existing Downloads folder for model downloads
cd ~/Downloads
# Download QPC archive from Zentree as llama3.2-1b-instruct.tar.gz
curl -fSL https://dc00tk1pxen80.cloudfront.net/SDK1.20.4/meta-llama/Llama-3.2-1B-Instruct/Llama-3.2-1B-Instruct_qpc_16cores_128pl_8192cl_1fbs_2devices_mxfp6_mxint8.tar.gz -o llama3.2-1b-instruct.tar.gz
# Extract QPC archive
tar -xzvf llama3.2-1b-instruct.tar.gz
# Rename extracted directory to llama3.2-1b-instruct-qpc
mv $(tar -tzf llama3.2-1b-instruct.tar.gz | head -1 | cut -f1 -d"/") llama3.2-1b-instruct-qpc

Servir le modèle Llama 3.2:1B Instruct à l’aide de vLLM

Ouvrez le Terminal et exécutez la commande suivante.

Si vous n’avez pas encore utilisé cette version du conteneur Docker AI100, il récupère ~14 Go avant d’ouvrir le conteneur Docker. Assurez-vous d’avoir configuré votre HF_TOKEN avant d’ouvrir le conteneur Docker.

docker run --rm -it \
  --name qaic-bench \
  --device=/dev/accel/accel1 \
  --device=/dev/accel/accel2 \
  --network host \
  --ulimit nofile=1048576 \
  -e OMP_NUM_THREADS=8 \
  -e HF_TOKEN=$HF_TOKEN \
  -v ~/Downloads/llama3.2-1b-instruct-qpc:/root/qpc \
  ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 \
  /opt/vllm-env/bin/vllm serve meta-llama/Llama-3.2-1B-Instruct \
    --max-num-seq 1 \
    --max-model-len 8192 \
    --max-seq_len-to-capture 128 \
    --device qaic \
    --device-group 0,1 \
    --quantization mxfp6 \
    --kv-cache-dtype mxint8 \
    --override-qaic-config "qpc_path=/root/qpc/qpc"

Le modèle est prêt pour l’inférence une fois que le message « Application startup complete » s’affiche.

Pour arrêter vLLM (déchargement du modèle et fermeture du conteneur), appuyez sur Ctrl+C dans cette fenêtre de terminal. Le déchargement des modèles plus grands peut prendre jusqu’à 1 minute.

Références Docker - Guide de l’utilisateur du SDK Qualcomm® Cloud AI et vLLM - Guide de l’utilisateur du SDK Qualcomm® Cloud AI

Lancer le conteneur Open WebUI

Ouvrez un nouveau terminal et exécutez la commande suivante.

docker run -d \
  -p 3000:8080 \
  -e WEBUI_AUTH=False \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui \
  ghcr.io/open-webui/open-webui:main-slim

Cela permet d’extraire un conteneur avec Open WebUI si vous ne l’avez pas déjà téléchargé. Après ~20 secondes, Open WebUI est disponible dans votre navigateur Web au lien suivant : http://localhost:3000/

http://localhost:3000/

Le conteneur continue de s’exécuter en arrière-plan jusqu’à ce que vous l’arrêtiez. Utilisez les commandes suivantes dans un terminal pour arrêter, redémarrer ou mettre à jour le conteneur.

Pour arrêter le conteneur : docker rm -f open-webui

Pour redémarrer un conteneur existant : docker start open-webui

Pour mettre à jour le conteneur : docker pull ghcr.io/open-webui/open-webui:main-slim

Références : Démarrage rapide | Ouvrir l’interface utilisateur Web

Configurer Open WebUI

Utilisez votre navigateur pour accéder au lien suivant http://localhost:3000/admin/settings/connections

1. Ajouter une connexion d’API OpenAI : sur la ligne Gérer les connexions d’API OpenAI, appuyez sur le signe + pour le type de connexion sur le côté droit.
2. Définissez Type de connexion sur Local.
3. Définissez l’URL sur http://host.docker.internal:8000/v1
4. Cliquez sur Enregistrer.

Références : Démarrage rapide/Ouvrir l’interface utilisateur Web

Utiliser Open WebUI

Utilisez votre navigateur pour vous connecter à ce lien http://localhost:3000/ et commencez à discuter, Open WebUI détecte automatiquement le modèle. Vous pouvez maintenir le conteneur actif et changer de modèle en cours d’exécution à l’aide de vLLM, ou arrêter le conteneur à l’aide des commandes de la section 4 : Lancez Open WebUI Container.

Références : Accueil | Ouvrir l’interface utilisateur Web