Konfiguracja komputera Dell Pro Max 16 Plus z kartą Qualcomm Inference w systemie Linux

Summary: Dowiedz się, jak skonfigurować komputer Dell Pro Max 16 Plus MB16250 z kartą Qualcomm Inference w systemie Linux.

This article applies to This article does not apply to This article is not tied to any specific product. Not all product versions are identified in this article.
Check out other resources

Instructions

Konfigurowanie komputera Dell Pro Max 16 Plus z kartą Qualcomm Inference w systemie Linux

Przedstawiamy notebook Dell Pro Max 16 Plus z kartą Qualcomm AI100 Inference!

Wykonaj poniższe jednorazowe czynności konfiguracyjne, aby przygotować kartę do obciążeń roboczych związanych z wnioskowaniem AI przy użyciu systemu Ubuntu 24.04 na stacji roboczej Dell Pro Max 16 Plus. Gwarantuje to, że stacja robocza i karta mają odpowiednie oprogramowanie i konfigurację bazową konfiguracji, aby można było od razu zacząć korzystać z karty.

  1. Weryfikacja instalacji karty AI100.

    Skorzystaj z następujących opcji lspci Polecenie sprawdzenia, czy karta jest zainstalowana w notebooku: 
    lspci | grep Qualcomm

    To polecenie powoduje wyświetlenie dwóch (2) wpisów urządzenia Qualcomm a100 PCIe dla karty AI100. 
    dell@dell:~$ lspci | grep Qualcomm
 04:00.0 Processing accelerators: Qualcomm Technologies, Inc Device a100
 05:00.0 Processing accelerators: Qualcomm Technologies, Inc Device a100
 dell@dell:~$

     

  2. Aktualizowanie systemu BIOS na stacji roboczej Dell Pro Max 16 Plus.

    Zaktualizuj system BIOS stacji roboczej, aby upewnić się, że notebook obsługuje najnowszą kartę inferencyjną AI100. Użyj następujących poleceń, aby sprawdzić dostępność aktualizacji systemu BIOS, a następnie uaktualnić go, jeśli aktualizacja jest dostępna:
    Polecenia sprawdzania dostępności aktualizacji systemu BIOS: 
    sudo fwupdmgr refresh --force
 sudo fwupdmgr upgrade

    Przykładowe dane wyjściowe zaktualizowano do najnowszej wersji systemu BIOS. 
    dell@dell:~$ sudo fwupdmgr refresh --force
 Updating lvfs
 Downloading…          [*************************************]
 Successfully downloaded new metadata: 7 local devices supported
 dell@dell:~$ sudo fwupdmgr upgrade
 Devices with no available firmware updates:
 • Integrated Webcam 8M
 • PC811 SED SK hynix 2048GB
 • TPM
 • UEFI Device Firmware
 • UEFI dbx
 • USB4 host controller
 
 Perform operation? [Y|n]: Y
 Waiting…          [***************************************]
 Successfully installed firmware
 Do not turn off your computer or remove the AC adapter while the update is in progress.
 An update requires a reboot to complete. Restart now? [y|N]:

    Sprawdź, czy zainstalowano system BIOS w wersji 2.22 lub nowszej, korzystając z dmidecode : Sprawdzanie istniejącej wersji oprogramowania wewnętrznego systemu BIOS. 
    sudo dmidecode -t 0

     

  3. Aktualizowanie systemu operacyjnego Ubuntu (OS) na stacji roboczej Dell Pro Max 16 Plus

    Przy następnej aktualizacji systemu operacyjnego Ubuntu na stacji roboczej obsługa karty wnioskowania AI100 zostanie zintegrowana z systemem Ubuntu 24.04. Aktualizacja systemu Ubuntu zapewnia dostępność najnowszych aktualizacji modułów jądra i oprogramowania wewnętrznego AI100 dla danej karty.
    Aby zaktualizować Ubuntu, użyj "Software Updater" systemu Ubuntu w menu aplikacji komputerowych lub użyj następujących poleceń w terminalu:
    Polecenia służące do aktualizacji oprogramowania Ubuntu w terminalu: 
    sudo apt-get update
 sudo apt-get upgrade
 sudo reboot
     

    Po pobraniu, zainstalowaniu i zaktualizowaniu systemu Ubuntu przez notebooka uruchom ponownie stację roboczą, aby upewnić się, że nastąpią zmiany czasu rozruchu jądra.

    Sprawdź, czy zaktualizowane jądro systemu Ubuntu ma wersję 6.14.0-1017-oem lub nowszą. Ta wersja zawiera podpisane moduły jądra, które obsługują AI100 z włączoną funkcją bezpiecznego rozruchu. Użyj następującego polecenia, aby sprawdzić wersję jądra.


    Sprawdzenie, czy jądro systemu Linux jest w wersji 6.14.0-1017-oem lub nowszej.  
    dell@dell:~$ uname -r
 6.14.0-1017-oem

     

    dell@dell:~$ uname -r
 6.14.0-1017-oem

    Następnie sprawdź, czy pakiet oprogramowania wewnętrznego systemu Linux, który zawiera oprogramowanie wewnętrzne AI100, jest w wersji 2.22 lub nowszej, używając następującego polecenia wiersza poleceń:

    Sprawdzanie, czy oprogramowanie wewnętrzne systemu Linux jest w wersji 2.22 lub nowszej. 
    dell@dell:~$ dpkg-query --list linux-firmware
 Desired=Unknown/Install/Remove/Purge/Hold
 | Status=Not/Inst/Conf-files/Unpacked/halF-conf/Half-inst/trig-aWait/Trig-pend
 |/ Err?=(none)/Reinst-required (Status,Err: uppercase=bad)
 ||/ Name Version Architecture Description
 +++-==============-================================-============-=================================
 ii linux-firmware 20240318.git3b128b60-0ubuntu2.22 amd64 Firmware for Linux kernel drivers
 dell@dell:~$

     

  4. Aktualizowanie parametrów jądra GRUB.

    Aby w pełni korzystać z karty inferencyjnej Qualcomm AI100, wyłącz funkcję o nazwie PCIe Access Control System (ACS). Jest to wymagane do pełnej obsługi fragmentowania tensora przy użyciu obu urządzeń AI100 na karcie Qualcomm AI100. Wyłącz ACS na przełączniku PCIe na karcie AI100. Umożliwia to pełny dostęp do danych między dwoma urządzeniami AI100 i wszystkie 64 GB wbudowanej pamięci RAM podczas wnioskowania na obu.

    Odbywa się to poprzez przekazanie parametru jądra systemu Linux, który jest dodawany do konfiguracji GRUB w celu obsługi karty inferencyjnej Qualcomm AI100. Parametry jądra to konfiguracje przekazywane do jądra Linuksa podczas rozruchu, które instruują jądro, jak skonfigurować określone funkcje. W takim przypadku usługa ACS jest wyłączana dla karty AI100. Powoduje to dodanie parametru jądra do pliku konfiguracyjnego GRUB.

    Otwórz plik konfiguracyjny GRUB z uprawnieniami użytkownika root za pomocą edytora tekstu.

    Edytuj plik konfiguracyjny GRUB /etc/default/grub.   
    sudo nano /etc/default/grub

     

    sudo nano /etc/default/grub

     

     Edytuj plik GRUB_CMDLINE_LINUX_DEFAULT , aby dodać pci=disable_acs_redir (wyłącz ACS na przełączniku PCIe karty AI100). Upewnij się, że masz dokładną składnię poniżej. Upewnij się również, że jest tylko jeden GRUB_CMDLINE_LINUX_DEFAULT wiersz w polu /etc/default/grub (w razie potrzeby połącz opcje jądra w jednej linii).

    Zmień GRUB_CMDLINE_LINUX_DEFAULT Linii. 
    GRUB_CMDLINE_LINUX_DEFAULT="quiet splash pci=disable_acs_redir=03:00.0\;03:01.0"

     

    Naciśnij klawisze CTRL+X, wybierz Y i naciśnij klawisz Enter, aby zapisać zmiany konfiguracji. Teraz uruchom następujące polecenie i uruchom ponownie, aby odnieść skutek.


    Wygeneruj ponownie konfigurację GRUB. 
    sudo update-grub
 sudo reboot

     

    Sprawdź zmiany za pomocą następujących poleceń po ponownym uruchomieniu.

    Sprawdź zmiany konfiguracji GRUB. 
    dell@dell:~$ cat /proc/cmdline
 BOOT_IMAGE=/boot/vmlinuz-6.14.0-1016-oem root=UUID=cd20aec8-6b44-45f7-bca5-307240cec24b ro quiet splash
 pci=disable_acs_redir=03:00.0;03:01.0 vt.handoff=7

     

    dell@dell:~$ cat /proc/cmdline
 BOOT_IMAGE=/boot/vmlinuz-6.14.0-1016-oem root=UUID=cd20aec8-6b44-45f7-bca5-307240cec24b ro quiet splash
 pci=disable_acs_redir=03:00.0;03:01.0 vt.handoff=7


    Sprawdź, czy ACS jest wyłączony za pomocą dmesg. Komunikaty dla "Skonfigurowanego ACS" są wyświetlane w następujący sposób: 
    dell@dell:~$ sudo dmesg | grep ACS
 [ 0.000000] Command line: BOOT_IMAGE=/boot/vmlinuz-6.14.0-1016-oem root=UUID=cd20aec8-6b44-45f7-bca5-307240cec24b ro quiet splash pcie_port_m=force pci=disable_acs_redir=03:00.0;03:01.0 vt.handoff=7
 [ 0.141658] Kernel command line: BOOT_IMAGE=/boot/vmlinuz-6.14.0-1016-oem root=UUID=cd20aec8-6b44-45f7-bca5-307240cec24b ro quiet splash pcie_port_m=force pci=disable_acs_redir=03:00.0;03:01.0 vt.handoff=7
 [ 0.741030] pci 0000:03:00.0: Configured ACS to 0x0000
 [ 0.745422] pci 0000:03:01.0: Configured ACS to 0x0000

     

  5. Instalowanie programu Docker

    Najszybszą ścieżką do uruchamiania wnioskowania na karcie AI100 jest użycie wstępnie utworzonych kontenerów AI100 Docker, które obejmują obsługę karty wnioskowania Qualcomm AI100. Wstępnie utworzony kontener platformy Docker zapewnia gotowe do użycia środowisko do uruchamiania obciążeń wnioskowania. Kontener zawiera Qualcomm AI100 Platform and Apps SDK i łańcuch narzędzi, środowisko Python, Qualcomm Efficient Transformers do kompilowania modeli sztucznej inteligencji i uruchamiania wnioskowania, a także zawiera gotowe do użycia vLLM i Triton wsparcie dla karty wnioskowania AI100.

    Aby zainstalować platformę Docker w systemie Ubuntu, użyj następującego polecenia:

    sudo snap install docker

     

    Aby uruchomić platformę docker jako zwykły użytkownik, uruchom następujące polecenia.
    Polecenia umożliwiające uruchamianie dockera jako zwykły użytkownik.  
    # create and join the docker group
 sudo addgroup --system docker
 sudo adduser $USER docker
 newgrp docker
 
 # disable and re-enable the docker snap if you added the group while Docker Engine was running
 sudo snap disable docker
 sudo snap enable docker

     

    # create and join the docker group
 sudo addgroup --system docker
 sudo adduser $USER docker
 newgrp docker
 
 # disable and re-enable the docker snap if you added the group while Docker Engine was running
 sudo snap disable docker
 sudo snap enable docker

    Prefiks wszystkich poleceń dockera za pomocą sudo jest wymagany, jeśli użytkownik nie został dodany do grupy docker: 
    sudo docker run ...

     

    Źródło: Przyciąganie do okna dokowanego Kliknięcie tego hiperłącza powoduje wyświetlenie strony spoza witryny Dell Technologies.

    Alternatywnie Dockera można zainstalować za pomocą apt Debian Docker Docs Kliknięcie tego hiperłącza powoduje wyświetlenie strony spoza witryny Dell Technologies.

    Po zainstalowaniu oprogramowania Docker przetestuj instalację w następujący sposób:

    Sprawdź, czy platforma Docker instaluje się za pomocą hello-world: 
    dell@dell:~$ docker run hello-world
 Unable to find image 'hello-world:latest' locally
 latest: Pulling from library/hello-world
 17eec7bbc9d7: Pull complete
 Digest: sha256:d4aaab6242e0cace87e2ec17a2ed3d779d18fbfd03042ea58f2995626396a274
 Status: Downloaded newer image for hello-world:latest
 
 Hello from Docker!
 This message shows that your installation appears to be working correctly.
 ...

     

  6. Karta do wnioskowania Dell Pro Max 16 Plus do stacji roboczej AI100 jest teraz gotowa do pracy!

    Na tym kończy się jednorazowa konfiguracja wymagana do korzystania z karty wnioskowania AI100. W następnych sekcjach pokazano, jak używać narzędzi AI100 do sprawdzania stanu karty i uruchamiania początkowego prostego wnioskowania w celu sprawdzenia, czy karta AI100 działa.

     

  7. Sprawdzanie karty AI100

    Sprawdź kartę AI100 i uruchom początkowe wnioskowanie przy użyciu wstępnie utworzonego kontenera platformy Docker AI100 zawierającego wszystkie zestawy SDK platformy i aplikacji AI100, łańcuch narzędzi oraz narzędzia do wnioskowania vLLM i Triton wymagane do korzystania z karty.

    Jeśli kontener AI100 Docker jest uruchamiany po raz pierwszy, to polecenie również pobiera kontener. Obraz kontenera Docker AI100 to pobieranie ~14 GB. Aby uruchomić kontener AI100 Docker, użyj następującego polecenia:


    Uruchom kontener platformy Docker AI100. 
    docker run --rm -it \
 --privileged \
 --device=/dev/accel/accel1 \
 --device=/dev/accel/accel2 \
 --network host \
 --ulimit nofile=1048576 \
 -e OMP_NUM_THREADS=8 \
 ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 \
 /bin/bash


    Po pobraniu i uruchomieniu kontenera AI100 Docker na ekranie wyświetlane są następujące dane wyjściowe:
    Przykładowe dane wyjściowe po uruchomieniu kontenera AI100 Docker. 
    dell@dell:~$ docker run --rm -it --device=/dev/accel/accel1 --device=/dev/accel/accel2 --network host --ulimit nofile=1048576 -e OMP_NUM_THREADS=8 -v ~/Downloads/qwen3_coder_qpc:/root/qpc/ ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 /bin/bash
 ==================================
 == Qualcomm Cloud AI Containers ==
 ==================================
 
 Platform SDK version: 1.20.6.0
 Apps SDK version: 1.20.6.0
 
 This container image and its contents are governed by the terms of
 the license at /usr/share/doc/CONTAINER_LICENSE.txt. By pulling and
 using the container, you accept the terms and conditions of this license.
 
 root@dell:~#

     

    dell@dell:~$ docker run --rm -it --device=/dev/accel/accel1 --device=/dev/accel/accel2 --network host --ulimit nofile=1048576 -e OMP_NUM_THREADS=8 -v ~/Downloads/qwen3_coder_qpc:/root/qpc/ ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 /bin/bash
 ==================================
 == Qualcomm Cloud AI Containers ==
 ==================================
 
 Platform SDK version: 1.20.6.0
 Apps SDK version: 1.20.6.0
 
 This container image and its contents are governed by the terms of
 the license at /usr/share/doc/CONTAINER_LICENSE.txt. By pulling and
 using the container, you accept the terms and conditions of this license.
 
 root@dell:~#


    Korzystanie z AI100 qaic-util -q , aby dostarczyć tekstowe dane wyjściowe stanu karty AI100, jak w poniższych przykładowych danych wyjściowych.
    Przykładowe dane wyjściowe dla qaic-util -q 
    root@dell:~# qaic-util -q
 LRT QC_IMAGE_VERSION: LRT.AIC.13.2.1.20.6.0
 LRT IMAGE_VARIANT: LRT.AIC.REL
 Number of devices queried: 2
 QID 0
 Status:Ready
 ...

     

    Podgląd stanu siatki jest możliwy za pomocą qaic-util -t 1 polecenie, które okresowo aktualizuje stan karty. Poniższe przykładowe dane wyjściowe pokazują, że karta AI100 jest w stanie bezczynności. Karta AI100 zawiera dwa urządzenia AI100, z których każde jest wyposażone w 16 rdzeni obliczeniowych procesora sygnału neuronowego (NSP). Każde urządzenie ma 32 GB pamięci, co daje łącznie 64 GB na karcie:

    Przykładowe dane wyjściowe bezczynności dla qaic-util -t 1. 
    root@dell:~# qaic-util -t 1

    Przykładowe dane wyjściowe bezczynności dla qaic-util -t 1

    Oto kolejna próbka qaic-util dane wyjściowe, gdy na karcie AI100 jest uruchomione obciążenie wnioskowania AI. W tym przypadku pokazuje większy model - qwen3-coder:30b. Dane wyjściowe pokazują, że wszystkie 16 NSP jest używanych w każdym urządzeniu AI100, temperatura karty wzrosła do 47 ° C z niższych temperatur bezczynności, że każda część AI100 zużywa ~13 GB każda, co daje łącznie 26 GB dla modelu, całkowita moc zużyta przez płytkę wynosi 51 z maksimum 75 W, i że częstotliwość NSP wzrosła dla obciążenia roboczego do 1100 MHz.


    Przykładowe dane wyjściowe dla AI100 z uruchomieniem wnioskowania przy użyciu qaic-util -t 1. 
    root@dell:~# qaic-util -t 1

    Przykładowe dane wyjściowe dla AI100 uruchamiającego wnioskowanie przy użyciu qaic-util -t 1
    Aby zresetować kartę AI100, użyj przycisku qaic-util -s . To polecenie wymaga uprawnień sprzętowych wewnątrz kontenera wymagających parametru wiersza polecenia "-privileged" podczas uruchamiania kontenera. Poniższe przykładowe dane wyjściowe pokazują użycie qaic util -s Następuje qaic-util -t 1 do monitorowania stanu karty. Nieprawidłowe wartości pól, jak w przykładowych danych wyjściowych poniżej, są wyświetlane do momentu zakończenia resetowania przez kartę:


    Przykładowe dane wyjściowe resetowania karty AI100 za pomocą qaic-util -s i qaic-util -t 1. 
    root@dell:~# qaic-util -s
 Resetting all devices…
 0000:04:00.0:
 0000:04:00.0 success
 0000:05:00.0:
 0000:05:00.0 success
 root@dell:~# qaic-util -t 1

    Przykładowe dane wyjściowe resetowania karty AI100 za pomocą qaic-util -s i qaic-util -t 1
    Użyj jednego monitu systemowego, aby wyświetlić stan karty AI100 przy użyciu kontenera AI100 Docker w następujący sposób.


    Uruchom kontener platformy Docker AI100. 
    docker run --rm -it \
 --privileged \
 --device=/dev/accel/accel1 \
 --device=/dev/accel/accel2 \
 --network host \
 --ulimit nofile=1048576 \
 -e OMP_NUM_THREADS=8 \
 ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 \
 qaic-util -t 1

     

    docker run --rm -it \
 --privileged \
 --device=/dev/accel/accel1 \
 --device=/dev/accel/accel2 \
 --network host \
 --ulimit nofile=1048576 \
 -e OMP_NUM_THREADS=8 \
 ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 \
 qaic-util -t 1

     

    Uwaga: Linie wyjściowe błędów są widoczne podczas uruchamiania qaic-util -s i qaic-util -t 1 poleceń i na wyjściu sieciowym pokazującym "Nieprawidłowy" dla temperatury i mocy płyty / TDP oraz "0.00 W" wyświetlany dla mocy SoC. Istnieją zmiany w locie upstream, aby rozwiązać ten problem w nadchodzących aktualizacjach kontenera Ubuntu OS i AI100 Docker.

     

  8. Uruchamianie wnioskowania testowego

    W tej sekcji pokazano, jak uruchomić szybki test wnioskowania na karcie AI100. Użyj tego testu wnioskowania, aby zweryfikować funkcjonalność karty AI100.

    Użyj polecenia wiersza poleceń qaic-runner , aby uruchomić pierwsze obciążenie wnioskowania testowego. Użyj -d aby określić docelowe urządzenie AI100, -a , aby określić liczbę dostawców usług sieciowych do użycia, oraz -n dla liczby iteracji:


    Przykładowe wnioskowanie testowe przy użyciu qaic-runner. 
    docker run --rm -it \
 --device=/dev/accel/accel1 \
 --device=/dev/accel/accel2 \
 --network host \
 --ulimit nofile=1048576 \
 -e OMP_NUM_THREADS=8 \
 ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 \
 qaic-runner -t /opt/qti-aic/test-data/aic100/v2/1nsp/1nsp-conv-hmx/ -a 16 -n 5000 -d 0

     

    docker run --rm -it \
 --device=/dev/accel/accel1 \
 --device=/dev/accel/accel2 \
 --network host \
 --ulimit nofile=1048576 \
 -e OMP_NUM_THREADS=8 \
 ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 \
 qaic-runner -t /opt/qti-aic/test-data/aic100/v2/1nsp/1nsp-conv-hmx/ -a 16 -n 5000 -d 0


    Przykładowe dane wyjściowe, takie jak poniższe, są wyświetlane na ekranie:
    Przykładowe dane wyjściowe do uruchamiania wnioskowania testowego. 
    dell@dell:~$ docker run --rm -it \
 --device=/dev/accel/accel1 \
 --device=/dev/accel/accel2 \
 --network host \
 --ulimit nofile=1048576 \
 -e OMP_NUM_THREADS=8 \
 ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 \
 qaic-runner -t /opt/qti-aic/test-data/aic100/v2/1nsp/1nsp-conv-hmx/ -a 16 -n 5000 -d 0
 loading /opt/qti-aic/dev/lib/x86_64/libQAic.so
 ---- Stats ----
 InferenceCnt 5000 TotalDuration 22544us BatchSize 1 Inf/Sec 221788.502

     

  9. Przydatne łącza

    Poniższa tabela zawiera listę kluczowych i przydatnych zasobów AI100 oraz linki, aby rozpocząć maksymalne wykorzystanie karty wnioskowania AI100.

    • Podręcznik Kliknięcie tego hiperłącza powoduje wyświetlenie strony spoza witryny Dell Technologies.użytkownika Qualcomm AI100: Punkt wyjścia dla wszystkich tematów AI100 - obszerny podręcznik użytkownika AI100
    • Biblioteka Kliknięcie tego hiperłącza powoduje wyświetlenie strony spoza witryny Dell Technologies.wydajnych transformatorów Qualcomm: Biblioteka przyspieszająca wydajne uruchamianie wielu LLM z HuggingFace na Qualcomm AI100
    • KonteneryKliknięcie tego hiperłącza powoduje wyświetlenie strony spoza witryny Dell Technologies. QAIC: Kontenery platformy Docker zawierające łańcuch narzędzi AI100, w tym obsługę vLLM i Triton przy użyciu systemu Ubuntu 24.04
    • Kontenery QAIC - 24.04 najnowszeKliknięcie tego hiperłącza powoduje wyświetlenie strony spoza witryny Dell Technologies.: Kontener Docker QAIC w wersji 24.04 jest zalecany do użycia z kartą wnioskowania AI100
    • Blog Kliknięcie tego hiperłącza powoduje wyświetlenie strony spoza witryny Dell Technologies.programistów Qualcomm Efficient Transformers: Świetny przegląd efektywnych transformatorów z łatwymi i szybkimi przykładami
    • http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/ Kliknięcie tego hiperłącza powoduje wyświetlenie strony spoza witryny Dell Technologies.: Zapoznaj się z wykazem, aby uzyskać wstępnie skompilowane modele do pobrania i uruchomienia na karcie AI100 (modele utworzone dla dwóch układów SoC)
      Uwaga: Ten adres URL nie jest łączem HTTPS. Używaj na własne ryzyko.
    Uwaga: Przejdź do witryny pomocy technicznej i użyj słowa kluczowego "Linux ", aby wyświetlić inne artykuły firmy Dell związane z MB16250 Dell Pro Max 16 Plus z notebookiem Al100:

  10. Wstępnie utworzone modele AI100

    Poniższa tabela zawiera migawkę modeli sztucznej inteligencji, które są wstępnie utworzone do uruchamiania w kontenerze platformy Docker AI100 (na przykład przy użyciu vLLM).

    Karta wnioskowania AI100 uruchamia modele przy użyciu formatu Qualcomm Program Container (QPC). Komputery QPC można budować z modeli Huggingface przy użyciu zestawów SDK platformy i aplikacji AI100 lub używać wstępnie utworzonych QPC modeli AI z internetowego katalogu Zentree pod następującym linkiem. Komputery QPC są tworzone z myślą o liczbie urządzeń AI100 na karcie — komputer Dell Pro Max 16 Plus z kartą Qualcomm Inference Card obsługuje komputery QPC przeznaczone do pracy na jednym lub dwóch układach SoC (system AI100 na chipie). Komputer QPC zbudowany dla dwóch urządzeń AI100 wykorzystuje fragmentowanie tensorowe, aby móc uruchamiać duże modele przy użyciu obliczeń dwóch urządzeń AI100 w pełnych 64 GB pamięci na karcie.

    Wyświetl kartę katalogu pod następującym łączem dla http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/ Kliknięcie tego hiperłącza powoduje wyświetlenie strony spoza witryny Dell Technologies..

    Uwaga: Te adresy URL nie są linkami HTTPS. Używaj na własne ryzyko.

     

    Rodzina modeli Architektura modelu Model reprezentatywny Typ modelu Wersja QAIC SDK Automatyczna klasa QEff Zadanie Łącze QPC
    BERT BERTModel BAAI/bge-large-en-v1.5 Model osadzania 1.19.6 Model QEFFAutoModel Osadzanie tekstu Źródło: qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.19.6/bge-large-en-v1.5/Kliknięcie tego hiperłącza powoduje wyświetlenie strony spoza witryny Dell Technologies.
    BERT BERTModel BAAI/bge-m3 Model osadzania 1.19.6 Model QEFFAutoModel Osadzanie tekstu Źródło: qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.19.6/bge-m3/Kliknięcie tego hiperłącza powoduje wyświetlenie strony spoza witryny Dell Technologies.
    BERT BERTModel BAAI/bge-base-en-v1.5 Model osadzania 1.19.6 Model QEFFAutoModel Osadzanie tekstu http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.19.6/bge-base-en-v1.5/ Kliknięcie tego hiperłącza powoduje wyświetlenie strony spoza witryny Dell Technologies.
    DeepSeek-R1-Destylacja-Lama LamaForCausalLM Valdemardi/DeepSeek-R1-Destylacja-Lama-70B-AWQ Model językowy tylko tekstowy 1.20.4 QEFFAutoModelForCausalLM Generowanie tekstu http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/DeepSeek-R1-Distill-Llama-70B-AWQ/ Kliknięcie tego hiperłącza powoduje wyświetlenie strony spoza witryny Dell Technologies.
    DeepSeek-R1-Destylacja-Lama LamaForCausalLM Casperhansen/Deepseek-R1-Distill-Lama-8B-AWQ Model językowy tylko tekstowy 1.20.4 QEFFAutoModelForCausalLM Generowanie tekstu Źródło: qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/deepseek-r1-distill-llama-8b-awq/Kliknięcie tego hiperłącza powoduje wyświetlenie strony spoza witryny Dell Technologies.
    DeepSeek-R1-Destylacja-Qwen Qwen2ForCausalLM Valdemardi/DeepSeek-R1-Destylacja-Lama-32B-AWQ Model językowy tylko tekstowy 1.20.4 QEFFAutoModelForCausalLM Generowanie tekstu http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/DeepSeek-R1-Distill-Qwen-32B-AWQ/ Kliknięcie tego hiperłącza powoduje wyświetlenie strony spoza witryny Dell Technologies.
    DeepSeek-R1-Destylacja-Qwen Qwen2ForCausalLM Casperhansen/Deepseek-R1-Destylacja-Qwen-7B-AWQ Model językowy tylko tekstowy 1.20.4 QEFFAutoModelForCausalLM Generowanie tekstu Źródło: qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/deepseek-r1-distill-qwen-7b-awq/Kliknięcie tego hiperłącza powoduje wyświetlenie strony spoza witryny Dell Technologies.
    Gemma3 powiedział: Gemma3ForConditionalGeneration Google/gemma-3-4b-it Multimodalny model językowy 1.20.4 QEFFAutoModelForImageTextToText Modele języka wizyjnego (generowanie tekstu + obrazu) http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/gemma-3-4b-it/ Kliknięcie tego hiperłącza powoduje wyświetlenie strony spoza witryny Dell Technologies.
    GPT-OSS GptOssForCausalLM OpenAI/GPT-OSS-20B Model językowy tylko tekstowy 1.20.4 QEFFAutoModeForCausalLM Generowanie tekstu http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/gpt-oss-20b/ Kliknięcie tego hiperłącza powoduje wyświetlenie strony spoza witryny Dell Technologies.
    Granit-3.2 GranitForCausalLM ibm-granit/granite-3.2-8b-instrukcja Model językowy tylko tekstowy 1.20.4 QEFFAutoModelForCausalLM Generowanie tekstu Źródło: qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/granite-3.2-8b-instruct/Kliknięcie tego hiperłącza powoduje wyświetlenie strony spoza witryny Dell Technologies.
    Granit-3.3 GranitForCausalLM ibm-granit/granit-3.3-8b-instrukcja Model językowy tylko tekstowy 1.20.4 QEFFAutoModelForCausalLM Generowanie tekstu Źródło: http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/granite-3.3-8b-instruct/Kliknięcie tego hiperłącza powoduje wyświetlenie strony spoza witryny Dell Technologies.
    Lama 3.1 LamaForCausalLM meta-lama/lama-3.1-8B-instrukcja Model językowy tylko tekstowy 1.20.4 QEFFAutoModelForCausalLM Generowanie tekstu http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Llama-3.1-8B/ Kliknięcie tego hiperłącza powoduje wyświetlenie strony spoza witryny Dell Technologies.
    Lama 3.1 Nemotron LamaForCausalLM ibnzterrell/nvidia-lama-3.1-nemotron-70B-instrukcja-HF-AWQ-INT4 Model językowy tylko tekstowy 1.20.4 QEFFAutoModelForCausalLM Generowanie tekstu http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Nvidia-Llama-3.1-Nemotron-70B-Instruct-HF-AWQ-INT4/ Kliknięcie tego hiperłącza powoduje wyświetlenie strony spoza witryny Dell Technologies.
    Lama 3.1 Nemotron LamaForCausalLM nvidia/Lama-3.1-Nemotron-Nano-8B-v1 Model językowy tylko tekstowy 1.20.4 QEFFAutoModelForCausalLM Generowanie tekstu Źródło: http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Llama-3.1-Nemotron-Nano-8B-v1/Kliknięcie tego hiperłącza powoduje wyświetlenie strony spoza witryny Dell Technologies.
    Lama 3.2 LamaForCausalLM meta-lama/lama-3.2-1B Model językowy tylko tekstowy 1.20.4 QEFFAutoModelForCausalLM Generowanie tekstu http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Llama-3.2-1B/ Kliknięcie tego hiperłącza powoduje wyświetlenie strony spoza witryny Dell Technologies.
    Lama 3.2 LamaForCausalLM meta-lama/Lama-3.2-3B Model językowy tylko tekstowy 1.20.4 QEFFAutoModelForCausalLM Generowanie tekstu http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Llama-3.2-3B/ Kliknięcie tego hiperłącza powoduje wyświetlenie strony spoza witryny Dell Technologies.
    Lama 3.2 LamaForCausalLM meta-lama/lama-3.2-3B-instrukcja Model językowy tylko tekstowy 1.20.4 QEFFAutoModelForCausalLM Generowanie tekstu Źródło: qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Llama-3.2-3B-Instruct/Kliknięcie tego hiperłącza powoduje wyświetlenie strony spoza witryny Dell Technologies.
    Lama 3.2 MllamaForConditionalGeneration meta-lama/lama-3.2-11B-wizja-instrukcja Multimodalny model językowy 1.20.4 QEFFAutoModelForImageTextToText Modele języka wizyjnego (generowanie tekstu + obrazu) Źródło: http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Llama-3.2-11B-Vision-Instruct/Kliknięcie tego hiperłącza powoduje wyświetlenie strony spoza witryny Dell Technologies.
    Lama 3.2 Poinstruować LamaForCausalLM meta-lama/lama-3.2-1B-instrukcja Model językowy tylko tekstowy 1.20.4 QEFFAutoModelForCausalLM Generowanie tekstu http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Llama-3.2-1B-Instruct/ Kliknięcie tego hiperłącza powoduje wyświetlenie strony spoza witryny Dell Technologies.
    Lama 3.x LamaForCausalLM Docelowego: Meta-Lama-3.1-70B-Instrukcja-AWQ-INT4
    Wersja robocza: lama-3.2-1B-instrukcja    		 Dekodowanie spekulacyjne (SpD) 1.20.4 QEFFAutoModelForCausalLM Generowanie tekstu Źródło: qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/spd/meta-llama/Kliknięcie tego hiperłącza powoduje wyświetlenie strony spoza witryny Dell Technologies.
    Lama 3.x LamaForCausalLM Cel: casperhansen/llama-3.3-70b-instruct-awq
    Projekt: meta-llama/llama-3.2-1B-instruct    		 Dekodowanie spekulacyjne (SpD) 1.20.4 QEFFAutoModelForCausalLM Generowanie tekstu Źródło: http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/spd/llama33-70b-awq__draft-llama32-1b/Kliknięcie tego hiperłącza powoduje wyświetlenie strony spoza witryny Dell Technologies.
    Mistral MistralForCausalLM mistralai/Mistral-7B-instrukcja-v0.1 Model językowy tylko tekstowy 1.20.4 QEFFAutoModelForCausalLM Generowanie tekstu http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Mistral-7B-Instruct-v0.1/ Kliknięcie tego hiperłącza powoduje wyświetlenie strony spoza witryny Dell Technologies.
    Phi-4 Phi3ForCausalLM Microsoft/PHI-4 Model językowy tylko tekstowy 1.20.4 QEFFAutoModelForCausalLM Generowanie tekstu http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/phi-4/ Kliknięcie tego hiperłącza powoduje wyświetlenie strony spoza witryny Dell Technologies.
    Qwen3 powiedział: Qwen3Moe powiedział: Qwen/Qwen3-30B-A3B-instrukcja-2507 Model językowy tylko tekstowy 1.20.4 QEFFAutoModelForCausalLM Generowanie tekstu http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Qwen3-30B-A3B-Instruct-2507/ Kliknięcie tego hiperłącza powoduje wyświetlenie strony spoza witryny Dell Technologies.
    Qwen3-Coder Qwen3Moe powiedział: Qwen/Qwen3-Coder-30B-A3B-Instrukcja Model językowy tylko tekstowy 1.20.4 QEFFAutoModelForCausalLM Generowanie kodu http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Qwen3-Coder-30B-A3B-Instruct/ Kliknięcie tego hiperłącza powoduje wyświetlenie strony spoza witryny Dell Technologies.
    Sarvamai powiedział: Sarvamai powiedział: sarvamai/sarvam-1 Model językowy tylko tekstowy 1.20.4 QEFFAutoModelForCausalLM Generowanie tekstu Nacisk na język indyjski http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/sarvam-1/ Kliknięcie tego hiperłącza powoduje wyświetlenie strony spoza witryny Dell Technologies.
    SDXL (język SDXL) StableDiffusionForTextToImage stabilnośćai/stabilna-dyfuzja-xl-base-1.0 Multimodalny model językowy 1.20.4 AutoPipelineForText2Image Modele języka wizyjnego (generowanie tekstu + obrazu) Źródło: http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/stable-diffusion-xl-base-1.0/Kliknięcie tego hiperłącza powoduje wyświetlenie strony spoza witryny Dell Technologies.
    SDXL Turbo StableDiffusionForTextToImage StabilnośćAI/SDXL-Turbo Multimodalny model językowy 1.20.4 AutoPipelineForText2Image Modele języka wizyjnego (generowanie tekstu + obrazu) http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/sdxl_turbo/ Kliknięcie tego hiperłącza powoduje wyświetlenie strony spoza witryny Dell Technologies.
    Szept Szept openai/whisper-base Model audio 1.20.4 QEFFAutoModelForSpeechSeq2Seq Automatyczne rozpoznawanie mowy (transkrypcja) http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/whisper-base/ Kliknięcie tego hiperłącza powoduje wyświetlenie strony spoza witryny Dell Technologies.
    Szept Szept openai/szept-duży-v3-turbo Model audio 1.20.4 QEFFAutoModelForSpeechSeq2Seq Automatyczne rozpoznawanie mowy (transkrypcja) http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/whisper-large-v3-turbo/ Kliknięcie tego hiperłącza powoduje wyświetlenie strony spoza witryny Dell Technologies.
    Szept Szept openai/whisper-large Model audio 1.20.4 QEFFAutoModelForSpeechSeq2Seq Automatyczne rozpoznawanie mowy (transkrypcja) Źródło: qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/whisper-large/Kliknięcie tego hiperłącza powoduje wyświetlenie strony spoza witryny Dell Technologies.
    Szept Szept openai/whisper-medium Model audio 1.20.4 QEFFAutoModelForSpeechSeq2Seq Automatyczne rozpoznawanie mowy (transkrypcja) http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/whisper-medium/ Kliknięcie tego hiperłącza powoduje wyświetlenie strony spoza witryny Dell Technologies.
    Szept Szept OpenAI/Whisper-Small Model audio 1.20.4 QEFFAutoModelForSpeechSeq2Seq Automatyczne rozpoznawanie mowy (transkrypcja) http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/whisper-small/ Kliknięcie tego hiperłącza powoduje wyświetlenie strony spoza witryny Dell Technologies.
    Szept Szept openai-szept-malutki Model audio 1.20.4 QEFFAutoModelForSpeechSeq2Seq Automatyczne rozpoznawanie mowy (transkrypcja) http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/whisper-tiny/ Kliknięcie tego hiperłącza powoduje wyświetlenie strony spoza witryny Dell Technologies.
    XLM-RoBERTa XLMRobertaModel intfloat/wielojęzyczny-E5-large Model osadzania 1.20.4 Model QEFFAutoModel Osadzanie tekstu http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/multilingual-e5-large/ Kliknięcie tego hiperłącza powoduje wyświetlenie strony spoza witryny Dell Technologies.
    XLM-RoBERTa XLMRobertaModel intfloat/wielojęzyczny-E5-mały Model osadzania 1.19.6 Model QEFFAutoModel Osadzanie tekstu Źródło: qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.19.6/multilingual-e5-small/Kliknięcie tego hiperłącza powoduje wyświetlenie strony spoza witryny Dell Technologies.


Powrót do góry

Affected Products

Dell Pro Max 16 Plus MB16250
Article Properties
Article Number: 000393093
Article Type: How To
Last Modified: 24 May 2026
Version:  9
Find answers to your questions from other Dell users
Support Services
Check if your device is covered by Support Services.