LinuxのQualcomm推論カードを搭載したDell Pro Max 16 Plus MB16250でvLLMを使用してOpen WebUIを使用する方法

必要条件

「 LinuxでQualcomm推論カードを使用してDell Pro Max 16 Plusをセットアップする方法」の1回限りのデバイス セットアップを完了します。

このモデルを使用するには、Huffingface トークン (HF_TOKEN) を渡す必要があります。まず、 Huggingface にログインします(アカウントをお持ちでない場合は、無料のアカウントを作成してください)。次に、 モデル リンクでモデルの使用条件に同意する必要があります。

モデル アクセスの承認には 5 分から 10 分かかり、確認メールが届きます。これが完了したら、次にトークンを作成します。抱擁顔から。

1. HuggingfaceのWebサイトの右上隅にある プロフィールアイコン をクリックします。
2. ドロップダウン メニューから、[ Settings]を選択します。
3. 左側のナビゲーション パネルで、 Access Tokensをクリックします。
4. [+ Create new token] ボタンをクリックします。
5. トークン の名前 を指定します (例: "my-hf-token")。
6. [読み取り] ボタンを選択します ([きめ細かな] ボタンや [書き込み] ボタンは選択しないでください)。
7. [ トークンの作成 ] ボタンをクリックします。
8. トークン値が表示されます。この値をすぐにコピー して安全な場所に保存します。ページを離れると、再度表示されないためです。

Ubuntuターミナルでhuggingface-cli loginを使用してトークンを入力し、HuggingfaceのLlama-3.2-1B-Instructモデルを使用できるようにします。huggingface-cli がインストールされていない場合は、 pip install huggingface-hubの詳細を確認してください。サンプル出力。

my-hf-token HF_TOKENの使用例

dell@dell:~$ huggingface-cli login
⚠️  Warning: 'huggingface-cli login' is deprecated. Use 'hf auth login' instead.

    _|    _|  _|    _|    _|_|_|    _|_|_|  _|_|_|  _|      _|    _|_|_|      _|_|_|_|    _|_|      _|_|_|  _|_|_|_|
    _|    _|  _|    _|  _|        _|          _|    _|_|    _|  _|            _|        _|    _|  _|        _|
    _|_|_|_|  _|    _|  _|  _|_|  _|  _|_|    _|    _|  _|  _|  _|  _|_|      _|_|_|    _|_|_|_|  _|        _|_|_|
    _|    _|  _|    _|  _|    _|  _|    _|    _|    _|    _|_|  _|    _|      _|        _|    _|  _|        _|
    _|    _|    _|_|      _|_|_|    _|_|_|  _|_|_|  _|      _|    _|_|_|      _|        _|    _|    _|_|_|  _|_|_|_|

    A token is already saved on your machine. Run `hf auth whoami` to get more information or `hf auth logout` if you want to log out.
    Setting a new token will erase the existing one.
    To log in, `huggingface_hub` requires a token generated from https://huggingface.co/settings/tokens .
Enter your token (input will not be visible): 
Add token as git credential? (Y/n) y
Token is valid (permission: read).
The token `my-hf-token` has been saved to /home/dell/.cache/huggingface/stored_tokens
Your token has been saved in your configured git credential helpers (store).
Your token has been saved to /home/dell/.cache/huggingface/token
Login successful.
The current active token is: `my-hf-token`
dell@dell:~$ HF_TOKEN=<INSERT YOUR TOKEN HERE>

Llama 3.2:1B Instruct prebuilt QPC のダウンロード

このプレイブックでは、 Llama 3.2:1B Instruct-Zentree-Qualcinn Precompiled Model Catalog for Cloud AI Accelerators に事前構築済みの QPC を使用します。警告：これは安全でないリンクです。個人の責任で使用してください。

次の手順に従って、アーカイブから QPC をダウンロードして抽出します。AI100推論カードは最大2つのSoC(System on Chip)を使用するため、Zentreeのダウンロードリンクアドレスを使用して、その特定のビルド済みバージョンをダウンロードします。curlをまだインストールしていない場合は、コマンドを使用してターミナルにインストールできます sudo apt install curlの詳細を確認してください。

  # Use existing Downloads folder for model downloads
cd ~/Downloads
# Download QPC archive from Zentree as llama3.2-1b-instruct.tar.gz
curl -fSL https://dc00tk1pxen80.cloudfront.net/SDK1.20.4/meta-llama/Llama-3.2-1B-Instruct/Llama-3.2-1B-Instruct_qpc_16cores_128pl_8192cl_1fbs_2devices_mxfp6_mxint8.tar.gz -o llama3.2-1b-instruct.tar.gz
# Extract QPC archive
tar -xzvf llama3.2-1b-instruct.tar.gz
# Rename extracted directory to llama3.2-1b-instruct-qpc
mv $(tar -tzf llama3.2-1b-instruct.tar.gz | head -1 | cut -f1 -d"/") llama3.2-1b-instruct-qpc

Llama 3.2:1Bの提供 vLLMを使用したモデルへの指示

ターミナルを開き、次のコマンドを実行します。

このバージョンのAI100 Dockerコンテナを使用したことがない場合は、Dockerコンテナを開く前に~14GBがフェッチされます。Dockerコンテナを開く前に、HF_TOKENをセットアップしていることを確認してください。

docker run --rm -it \
  --name qaic-bench \
  --device=/dev/accel/accel1 \
  --device=/dev/accel/accel2 \
  --network host \
  --ulimit nofile=1048576 \
  -e OMP_NUM_THREADS=8 \
  -e HF_TOKEN=$HF_TOKEN \
  -v ~/Downloads/llama3.2-1b-instruct-qpc:/root/qpc \
  ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 \
  /opt/vllm-env/bin/vllm serve meta-llama/Llama-3.2-1B-Instruct \
    --max-num-seq 1 \
    --max-model-len 8192 \
    --max-seq_len-to-capture 128 \
    --device qaic \
    --device-group 0,1 \
    --quantization mxfp6 \
    --kv-cache-dtype mxint8 \
    --override-qaic-config "qpc_path=/root/qpc/qpc"

"アプリケーションの起動が完了しました" というメッセージが表示されたら、モデルを推論する準備が整います。

vLLM(モデルをアンロードしてコンテナを閉じる)を停止するには、このターミナルウィンドウでCtrl+Cを押します。大規模なモデルでは、アンロードに最大1分かかる場合があります。

リファレンス：Docker - Qualcomm® Cloud AI SDKユーザーガイド および vLLM - Qualcomm® Cloud AI SDKユーザーガイド

Open WebUI Containerの起動

新しいターミナルを開き、次のコマンドを実行します。

docker run -d \
  -p 3000:8080 \
  -e WEBUI_AUTH=False \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui \
  ghcr.io/open-webui/open-webui:main-slim

これにより、Open WebUIでコンテナをフェッチします(以前にダウンロードしていない場合)。~20秒後、次のリンクのWebブラウザーでWebUIを開くことができます。 http://localhost:3000/

http://localhost:3000/

コンテナを停止するまで、コンテナはバックグラウンドで実行され続けます。ターミナルで次のコマンドを使用して、コンテナーを停止、再起動、または更新します。

コンテナを停止するには、次のようにします。 docker rm -f open-webui

既存のコンテナを再起動するには、次の手順を実行します。 docker start open-webui

コンテナをアップデートするには、次の手順を実行します。 docker pull ghcr.io/open-webui/open-webui:main-slim

リファレンス：クイックスタート |WebUIを開く

Open WebUIの構成

お使いのブラウザーで次のリンクにアクセスしてください http://localhost:3000/admin/settings/connections

1. OpenAI API 接続を追加する - [Manage OpenAI API Connections] (OpenAI API 接続の管理) 行で、右側の接続タイプの [+] を押します。
2. [Connection Type]を[Local]に切り替えます。
3. URLを次のように設定します http://host.docker.internal:8000/v1
4. [Save]を押します。

リファレンス：クイック スタート/WebUIを開く

Open WebUIの使用

お使いのブラウザーを使用してこのリンクに接続します http://localhost:3000/ チャットを開始すると、Open WebUIがモデルを自動検出します。vLLMを使用してコンテナをアクティブな状態に保ち、その下のモデルを変更するか、セクション4コマンドを使用してコンテナを停止することができます。Open WebUI Containerを起動します。

リファレンス：ホーム |WebUIを開く