Linux'ta Qualcomm Çıkarım Kartına sahip Dell Pro Max 16 Plus MB16250 da vLLM ile Açık WebUI Kullanma

Önkoşullar

Tek seferlik aygıt kurulumunu tamamlayın Linux ta Qualcomm Çıkarım Kartı ile Dell Pro Max 16 Plus Kurulumu.

Bu modeli kullanmak için bir Huffingface belirteci (HF_TOKEN) geçirmeniz gerekir. İlk olarak, Huggingface'e giriş yapın (hesabınız yoksa ücretsiz bir hesap oluşturun). Daha sonra model bağlantısındaki model kullanım koşullarını kabul etmeniz gerekir.

Model erişim onayınız 5-10 dakika sürer ve bir e-posta onayı alırsınız. Bu tamamlandıktan sonra bir belirteç oluşturursunuz. Huggingface'den.

1. Huggingface web sitesinin sağ üst köşesindeki profil simgenize tıklayın.
2. Açılır menüden Ayarlar öğesini seçin.
3. Sol taraftaki gezinme panelinde Erişim Belirteçleri'ne tıklayın.
4. + Yeni belirteç oluştur düğmesine tıklayın.
5. Belirteciniz için bir ad girin (örneğin, "my-hf-token").
6. Oku düğmesini seçin (İnce Parçalı veya Yazma düğmelerini seçmeyin).
7. Create token düğmesine tıklayın.
8. Belirteç değeri görüntülenir. Bu değeri hemen kopyalayın ve sayfadan ayrıldıktan sonra bir daha gösterilmeyeceği için güvenli bir konuma kaydedin.

Şimdi bir Ubuntu terminalinde, Huggingface'in Llama-3.2-1B-Instruct modelini kullanmanıza izin veren belirtecinizi girmek için huggingface-cli oturum açma bilgilerini kullanın. Huggingface-cli yüklü değilse, kullanarak yüklemeniz gerekebilir. pip install huggingface-hub. Örnek çıktı.

my-hf-token HF_TOKEN örnek kullanımı

dell@dell:~$ huggingface-cli login
⚠️  Warning: 'huggingface-cli login' is deprecated. Use 'hf auth login' instead.

    _|    _|  _|    _|    _|_|_|    _|_|_|  _|_|_|  _|      _|    _|_|_|      _|_|_|_|    _|_|      _|_|_|  _|_|_|_|
    _|    _|  _|    _|  _|        _|          _|    _|_|    _|  _|            _|        _|    _|  _|        _|
    _|_|_|_|  _|    _|  _|  _|_|  _|  _|_|    _|    _|  _|  _|  _|  _|_|      _|_|_|    _|_|_|_|  _|        _|_|_|
    _|    _|  _|    _|  _|    _|  _|    _|    _|    _|    _|_|  _|    _|      _|        _|    _|  _|        _|
    _|    _|    _|_|      _|_|_|    _|_|_|  _|_|_|  _|      _|    _|_|_|      _|        _|    _|    _|_|_|  _|_|_|_|

    A token is already saved on your machine. Run `hf auth whoami` to get more information or `hf auth logout` if you want to log out.
    Setting a new token will erase the existing one.
    To log in, `huggingface_hub` requires a token generated from https://huggingface.co/settings/tokens .
Enter your token (input will not be visible): 
Add token as git credential? (Y/n) y
Token is valid (permission: read).
The token `my-hf-token` has been saved to /home/dell/.cache/huggingface/stored_tokens
Your token has been saved in your configured git credential helpers (store).
Your token has been saved to /home/dell/.cache/huggingface/token
Login successful.
The current active token is: `my-hf-token`
dell@dell:~$ HF_TOKEN=<INSERT YOUR TOKEN HERE>

Llama 3.2:1B Instruct önceden oluşturulmuş QPC'yi indirin

Bu playbook'ta, Bulut Yapay Zeka Hızlandırıcıları için Llama 3.2:1B Instruct-Zentree-Qualcinn Önceden Derlenmiş Model Kataloğu için önceden oluşturulmuş QPC'yi kullanacağız.Uyarı: Bu güvenli olmayan bir bağlantıdır, riski size ait olmak üzere kullanın.

QPC'yi indirmek ve arşivden çıkarmak için aşağıdaki adımları izleyin. AI100 çıkarım kartı iki adede kadar SoC (Çip Üzerinde Sistem) kullanır, bu nedenle Zentree indirme bağlantı adresini kullanarak bu belirli önceden oluşturulmuş sürümü indiririz. Curl yüklü değilse, komutu kullanarak terminale kurabilirsiniz. sudo apt install curl.

  # Use existing Downloads folder for model downloads
cd ~/Downloads
# Download QPC archive from Zentree as llama3.2-1b-instruct.tar.gz
curl -fSL https://dc00tk1pxen80.cloudfront.net/SDK1.20.4/meta-llama/Llama-3.2-1B-Instruct/Llama-3.2-1B-Instruct_qpc_16cores_128pl_8192cl_1fbs_2devices_mxfp6_mxint8.tar.gz -o llama3.2-1b-instruct.tar.gz
# Extract QPC archive
tar -xzvf llama3.2-1b-instruct.tar.gz
# Rename extracted directory to llama3.2-1b-instruct-qpc
mv $(tar -tzf llama3.2-1b-instruct.tar.gz | head -1 | cut -f1 -d"/") llama3.2-1b-instruct-qpc

Lama'yı servis edin 3.2:1B vLLM kullanarak modele talimat verin

Terminal'i açın ve aşağıdaki komutu çalıştırın.

AI100 Docker kapsayıcısının bu sürümünü daha önce kullanmadıysanız, Docker kapsayıcısını açmadan önce ~14GB getirir. Docker kapsayıcısını açmadan önce HF_TOKEN ınızı kurduğunuzdan emin olun.

docker run --rm -it \
  --name qaic-bench \
  --device=/dev/accel/accel1 \
  --device=/dev/accel/accel2 \
  --network host \
  --ulimit nofile=1048576 \
  -e OMP_NUM_THREADS=8 \
  -e HF_TOKEN=$HF_TOKEN \
  -v ~/Downloads/llama3.2-1b-instruct-qpc:/root/qpc \
  ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 \
  /opt/vllm-env/bin/vllm serve meta-llama/Llama-3.2-1B-Instruct \
    --max-num-seq 1 \
    --max-model-len 8192 \
    --max-seq_len-to-capture 128 \
    --device qaic \
    --device-group 0,1 \
    --quantization mxfp6 \
    --kv-cache-dtype mxint8 \
    --override-qaic-config "qpc_path=/root/qpc/qpc"

"Uygulama başlangıcı tamamlandı" iletisini gördüğünüzde model çıkarım için hazırdır.

vLLM'yi durdurmak için (modeli boşaltmak ve kabı kapatmak), bu terminal penceresinde Ctrl+C tuşlarına basın. Daha büyük modellerin boşaltılması 1 dakika kadar sürebilir.

Referanslar: Docker - Qualcomm® Cloud AI SDK Kullanıcı Kılavuzu ve vLLM - Qualcomm® Cloud AI SDK Kullanıcı Kılavuzu

Open WebUI Kapsayıcısını Başlat

Yeni bir terminal açın ve aşağıdaki komutu çalıştırın.

docker run -d \
  -p 3000:8080 \
  -e WEBUI_AUTH=False \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui \
  ghcr.io/open-webui/open-webui:main-slim

Bu, daha önce indirmediyseniz Open WebUI'a sahip bir kapsayıcı getirir. ~20 saniye sonra Open WebUI'ı web tarayıcınızda aşağıdaki bağlantıdan kullanabilirsiniz: http://localhost:3000/

http://localhost:3000/

Kapsayıcı, siz kapsayıcıyı durdurana kadar arka planda çalışmaya devam eder. Kapsayıcıyı durdurmak, yeniden başlatmak veya güncelleştirmek için bir terminalde aşağıdaki komutları kullanın.

Kapsayıcıyı durdurmak için: docker rm -f open-webui

Mevcut bir kapsayıcıyı yeniden başlatmak için: docker start open-webui

Kapsayıcıyı güncelleştirmek için: docker pull ghcr.io/open-webui/open-webui:main-slim

Referans: Hızlı Başlangıç | WebUI'yi açın

Open WebUI'yi yapılandırma

Aşağıdaki bağlantı için tarayıcınızı kullanın http://localhost:3000/admin/settings/connections

1. Bir OpenAI API Bağlantısı ekleyin - OpenAI API Bağlantılarını Yönet satırında Bağlantı türü için sağ taraftaki + düğmesine basın.
2. Bağlantı türünü yerel olarak değiştirin.
3. URL'yi http://host.docker.internal:8000/v1
4. Kaydet e basın.

Referans: Hızlı Başlangıç / WebUI'yi Aç

Open WebUI'yi kullanma

Bu bağlantıya bağlanmak için tarayıcınızı kullanın http://localhost:3000/ ve sohbete başlayın, WebUI'yi açın, modeli otomatik olarak algılar. Kapsayıcıyı etkin tutabilir ve vLLM'yi kullanarak çalışan modelleri değiştirebilir veya bölüm 4'teki komutları kullanarak kapsayıcıyı durdurabilirsiniz: Open WebUI Kapsayıcısı'nı başlatın.

Referans: Anasayfa | WebUI'yi açın