Open WebUI:n käyttäminen vLLM:n kanssa Dell Pro Max 16 Plus -MB16250:ssä Qualcommin päättelykortin kanssa Linuxissa

Edellytykset

Viimeistele laitteen kertamääritys Dell Pro Max 16 Plusin määrittäminen Qualcomm-päättelykortilla Linuxissa.

Sinun on läpäistävä Huffingface-tunnus (HF_TOKEN), jotta voit käyttää tätä mallia. Kirjaudu ensin sisään Huggingfaceen (luo ilmainen tili, jos sinulla ei ole sellaista). Tämän jälkeen sinun on hyväksyttävä mallin käyttöehdot mallilinkissä.

Mallin käyttöoikeushyväksyntä kestää 5–10 minuuttia, ja saat sähköpostivahvistuksen. Kun tämä on valmis, luot seuraavaksi tunnuksen. Huggingfacesta.

1. Napsauta profiilikuvakettasi Huggingface-verkkosivuston oikeassa yläkulmassa.
2. Valitse avattavasta valikosta Asetukset.
3. Valitse vasemmanpuoleisesta siirtymispaneelista Käyttöoikeustunnukset.
4. Napsauta + Luo uusi tunnus -painiketta.
5. Anna tunnuksellesi nimi (esimerkiksi "my-hf-token").
6. Valitse lukupainike (älä valitse Hienojakoinen- tai Kirjoita-painiketta).
7. Napsauta Luo tunnus -painiketta.
8. Tunnuksen arvo tulee näkyviin. Kopioi tämä arvo välittömästi ja tallenna se turvalliseen paikkaan, koska sitä ei näytetä uudelleen, kun poistut sivulta.

Nyt Ubuntu-päätteessä käytä huggingface-cli-kirjautumistunnusta syöttääksesi tunnuksesi, jonka avulla voit käyttää Huggingfacen Llama-3.2-1B-Instruct-mallia. Jos sinulla ei ole huggingface-cli-asennettuna, sinun on ehkä asennettava käyttämällä pip install huggingface-hub. Näytteen tulostus.

Esimerkki my-hf-token-HF_TOKEN käytöstä

dell@dell:~$ huggingface-cli login
⚠️  Warning: 'huggingface-cli login' is deprecated. Use 'hf auth login' instead.

    _|    _|  _|    _|    _|_|_|    _|_|_|  _|_|_|  _|      _|    _|_|_|      _|_|_|_|    _|_|      _|_|_|  _|_|_|_|
    _|    _|  _|    _|  _|        _|          _|    _|_|    _|  _|            _|        _|    _|  _|        _|
    _|_|_|_|  _|    _|  _|  _|_|  _|  _|_|    _|    _|  _|  _|  _|  _|_|      _|_|_|    _|_|_|_|  _|        _|_|_|
    _|    _|  _|    _|  _|    _|  _|    _|    _|    _|    _|_|  _|    _|      _|        _|    _|  _|        _|
    _|    _|    _|_|      _|_|_|    _|_|_|  _|_|_|  _|      _|    _|_|_|      _|        _|    _|    _|_|_|  _|_|_|_|

    A token is already saved on your machine. Run `hf auth whoami` to get more information or `hf auth logout` if you want to log out.
    Setting a new token will erase the existing one.
    To log in, `huggingface_hub` requires a token generated from https://huggingface.co/settings/tokens .
Enter your token (input will not be visible): 
Add token as git credential? (Y/n) y
Token is valid (permission: read).
The token `my-hf-token` has been saved to /home/dell/.cache/huggingface/stored_tokens
Your token has been saved in your configured git credential helpers (store).
Your token has been saved to /home/dell/.cache/huggingface/token
Login successful.
The current active token is: `my-hf-token`
dell@dell:~$ HF_TOKEN=<INSERT YOUR TOKEN HERE>

Lataa laama 3.2:1B Ohjeista valmiiksi rakennettu QPC

Tässä pelikirjassa aiomme käyttää valmiiksi rakennettua QPC: tä laama 3.2: 1B Instruct-Zentree-Qualcinn Precompiled Model Catalog for Cloud AI Accelerators.Varoitus: Tämä on suojaamaton linkki, käytä omalla vastuullasi.

Lataa ja pura QPC arkistosta seuraavasti. AI100-päättelykortti käyttää enintään kahta SoC: ta (System on Chip), joten lataamme kyseisen valmiin version käyttämällä Zentree-latauslinkin osoitetta. Jos sinulla ei ole curlia jo asennettuna, voit asentaa sen päätelaitteeseen komennolla sudo apt install curl.

  # Use existing Downloads folder for model downloads
cd ~/Downloads
# Download QPC archive from Zentree as llama3.2-1b-instruct.tar.gz
curl -fSL https://dc00tk1pxen80.cloudfront.net/SDK1.20.4/meta-llama/Llama-3.2-1B-Instruct/Llama-3.2-1B-Instruct_qpc_16cores_128pl_8192cl_1fbs_2devices_mxfp6_mxint8.tar.gz -o llama3.2-1b-instruct.tar.gz
# Extract QPC archive
tar -xzvf llama3.2-1b-instruct.tar.gz
# Rename extracted directory to llama3.2-1b-instruct-qpc
mv $(tar -tzf llama3.2-1b-instruct.tar.gz | head -1 | cut -f1 -d"/") llama3.2-1b-instruct-qpc

Laaman tarjoilu 3.2:1B Mallin ohjeistaminen vLLM:n avulla

Avaa Pääte ja suorita seuraava komento.

Jos et ole aiemmin käyttänyt tätä AI100 Docker -säilön versiota, se hakee ~14 Gt ennen Docker-säilön avaamista. Varmista, että olet määrittänyt HF_TOKEN ennen Docker-säilön avaamista.

docker run --rm -it \
  --name qaic-bench \
  --device=/dev/accel/accel1 \
  --device=/dev/accel/accel2 \
  --network host \
  --ulimit nofile=1048576 \
  -e OMP_NUM_THREADS=8 \
  -e HF_TOKEN=$HF_TOKEN \
  -v ~/Downloads/llama3.2-1b-instruct-qpc:/root/qpc \
  ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 \
  /opt/vllm-env/bin/vllm serve meta-llama/Llama-3.2-1B-Instruct \
    --max-num-seq 1 \
    --max-model-len 8192 \
    --max-seq_len-to-capture 128 \
    --device qaic \
    --device-group 0,1 \
    --quantization mxfp6 \
    --kv-cache-dtype mxint8 \
    --override-qaic-config "qpc_path=/root/qpc/qpc"

Malli on valmis päättelyyn, kun näet viestin "Sovelluksen käynnistys valmis".

Voit pysäyttää vLLM:n (purkaa mallin ja sulkea säilön) painamalla Ctrl+C tässä pääteikkunassa. Suurempien mallien purkaminen voi kestää enintään 1 minuutin.

Viitteet: Docker – Qualcomm® Cloud AI SDK -käyttöopas ja vLLM – Qualcomm® Cloud AI SDK -käyttöopas

Käynnistä Open WebUI Container

Avaa uusi pääte ja suorita seuraava komento.

docker run -d \
  -p 3000:8080 \
  -e WEBUI_AUTH=False \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui \
  ghcr.io/open-webui/open-webui:main-slim

Tämä hakee säilön, jossa on avoin verkkokäyttöliittymä, jos et ole aiemmin ladannut sitä. ~20 sekunnin kuluttua Avaa verkkokäyttöliittymä on käytettävissä selaimessasi seuraavasta linkistä: http://localhost:3000/

http://localhost:3000/

Säilö toimii taustalla, kunnes pysäytät säilön. Voit pysäyttää, käynnistää tai päivittää säilön päätteessä seuraavilla komennoilla.

Säiliön pysäyttäminen: docker rm -f open-webui

Voit käynnistää aiemmin luodun säilön uudelleen seuraavasti: docker start open-webui

Säilön päivittäminen: docker pull ghcr.io/open-webui/open-webui:main-slim

Viite: Pika-aloitus | Avaa verkkokäyttöliittymä

Määritä avoin verkkokäyttöliittymä

Käytä selaintasi seuraavan linkin saamiseksi http://localhost:3000/admin/settings/connections

1. Lisää OpenAI API -yhteys linjalle OpenAI API -yhteyksien hallinta Paina yhteystyypin +-merkkiä oikealla puolella.
2. Vaihda yhteystyypiksi Local.
3. Määritä URL-osoitteeksi http://host.docker.internal:8000/v1
4. Paina Tallenna-näppäintä.

Viite: Pika-aloitus / Avaa verkkokäyttöliittymä

Käytä avointa verkkokäyttöliittymää

Yhdistä selaimella tähän linkkiin http://localhost:3000/ ja aloita keskustelu, Open WebUI tunnistaa mallin automaattisesti. Voit pitää säilön aktiivisena ja vaihtaa sen alla olevaa mallia vLLM:n avulla tai pysäyttää säilön komennoilla osa 4: Käynnistä Open WebUI Container.

Viite: Etusivu | Avaa verkkokäyttöliittymä