Slik setter du opp Dell Pro Max 16 Plus med Qualcomm Inference Card i Linux

Summary: Finn ut hvordan du konfigurerer Dell Pro Max 16 Plus MB16250 med Qualcomm Inference Card i Linux.

Affected Products

This article applies to This article does not apply to This article is not tied to any specific product. Not all product versions are identified in this article.

Check out other resources

Instructions

Konfigurere Dell Pro Max 16 Plus med Qualcomm Inference Card i Linux

Velkommen til Dell Pro Max 16 Plus med Qualcomm AI100 inferenskort!

Følg disse trinnene for engangsoppsett nedenfor for å klargjøre kortet for workloader med AI-konklusjoner ved hjelp av Ubuntu 24.04 på Dell Pro Max 16 Plus-arbeidsstasjonen. Dette sikrer at arbeidsstasjonen og kortet har riktig programvare- og konfigurasjonsgrunnlinjeoppsett for å hoppe rett inn i bruk av kortet.

Verifisere installasjonen av AI100-kortet.
Bruk følgende lspci Kommando for å bekrefte at kortet er installert på den bærbare PC-en:
```
lspci | grep Qualcomm
```
Denne kommandoen viser to (2) oppføringer for Qualcomm a100 PCIe-enheten for AI100-kortet.
```
dell@dell:~$ lspci | grep Qualcomm
 04:00.0 Processing accelerators: Qualcomm Technologies, Inc Device a100
 05:00.0 Processing accelerators: Qualcomm Technologies, Inc Device a100
 dell@dell:~$
```

Oppdatering av BIOS på Dell Pro Max 16 Plus-arbeidsstasjonen.

Oppdater BIOS for arbeidsstasjonen for å sikre at den bærbare PC-en har den nyeste støtten for AI100-inferenskortet. Bruk følgende kommandoer for å se etter BIOS-oppdateringer og deretter oppgradere hvis en oppdatering er tilgjengelig:
Kommandoer for å se etter BIOS-oppdateringer:

sudo fwupdmgr refresh --force
 sudo fwupdmgr upgrade

Eksempel på utdataoppdatering til den nyeste BIOS.

dell@dell:~$ sudo fwupdmgr refresh --force
 Updating lvfs
 Downloading…          [*************************************]
 Successfully downloaded new metadata: 7 local devices supported
 dell@dell:~$ sudo fwupdmgr upgrade
 Devices with no available firmware updates:
 • Integrated Webcam 8M
 • PC811 SED SK hynix 2048GB
 • TPM
 • UEFI Device Firmware
 • UEFI dbx
 • USB4 host controller
 
 Perform operation? [Y|n]: Y
 Waiting…          [***************************************]
 Successfully installed firmware
 Do not turn off your computer or remove the AC adapter while the update is in progress.
 An update requires a reboot to complete. Restart now? [y|N]:

Kontroller at BIOS-versjon 2.22 eller nyere er installert ved hjelp av dmidecode Kommandoen: Kontrollerer eksisterende BIOS-fastvareversjon.

sudo dmidecode -t 0

Oppdatering av Ubuntu-operativsystemet (OS) på Dell Pro Max 16 Plus-arbeidsstasjonen
Ved neste oppdatering av Ubuntu OS på arbeidsstasjonen er støtte for AI100-inferenskortet integrert i Ubuntu 24.04. Oppdatering av Ubuntu sikrer at de nyeste kjernemodulene og AI100-fastvareoppdateringene er tilgjengelige for kortet ditt.
For å oppdatere Ubuntu - bruk enten Ubuntu "Software Updater" i desktop Apps-menyen, eller bruk følgende kommandoer i en terminal:
Kommandoer for å oppdatere Ubuntu-programvaren i terminalen:
```
sudo apt-get update
 sudo apt-get upgrade
 sudo reboot
```
Når den bærbare datamaskinen laster ned, installerer og oppdaterer Ubuntu, starter du arbeidsstasjonen på nytt for å sikre at eventuelle endringer i oppstartstiden for kjernen finner sted.

Kontroller at den oppdaterte Ubuntu-kjernen er versjon 6.14.0-1017-OEM eller nyere. Denne versjonen inkluderer de signerte kjernemodulene som støtter AI100 med sikker oppstart aktivert. Bruk følgende kommando for å sjekke kjerneversjonen.

Bekrefter at Linux-kjernen er versjon 6.14.0-1017-OEM eller nyere.
```
dell@dell:~$ uname -r
 6.14.0-1017-oem
```
```
dell@dell:~$ uname -r
 6.14.0-1017-oem
```
Deretter kontrollerer du at Linux-fastvarepakken som inkluderer AI100-fastvaren er versjon 2.22 eller nyere ved hjelp av denne kommandolinjekommandoen:

Verifisering av Linux firmware er versjon 2.22 eller nyere.
```
dell@dell:~$ dpkg-query --list linux-firmware
 Desired=Unknown/Install/Remove/Purge/Hold
 | Status=Not/Inst/Conf-files/Unpacked/halF-conf/Half-inst/trig-aWait/Trig-pend
 |/ Err?=(none)/Reinst-required (Status,Err: uppercase=bad)
 ||/ Name Version Architecture Description
 +++-==============-================================-============-=================================
 ii linux-firmware 20240318.git3b128b60-0ubuntu2.22 amd64 Firmware for Linux kernel drivers
 dell@dell:~$
```
Oppdatering av GRUB-kjerneparametere.
Hvis du vil bruke Qualcomm AI100-inferenskortet fullt ut, må du deaktivere funksjonen som kalles PCIe Access Control System (ACS). Dette kreves for å støtte tensorkutting fullt ut ved hjelp av begge AI100-enhetene på Qualcomm AI100-kortet. Deaktiver ACS på PCIe-bryteren på AI100-kortet. Dette gir full datatilgang mellom de to AI100-enhetene og alle 64 GB innebygd RAM når du kjører inferens på tvers av begge.
Dette gjøres ved å sende en Linux-kjerneparameter som legges til GRUB-konfigurasjonen for å støtte Qualcomm AI100-inferenskortet. Kjerneparametere er konfigurasjoner som sendes til Linux-kjernen under oppstart som instruerer kjernen om hvordan visse funksjoner skal konfigureres. I dette tilfellet deaktiveres ACS for AI100-kortet. Å legge til en kjerneparameter i GRUB-konfigurasjonsfilen gjør dette.

Åpne GRUB-konfigurasjonsfilen med rotrettigheter ved hjelp av et tekstredigeringsprogram.
Rediger GRUB-konfigurasjonsfilen /etc/default/grub.
```
sudo nano /etc/default/grub
```
```
sudo nano /etc/default/grub
```
Rediger ikonet GRUB_CMDLINE_LINUX_DEFAULT linje for å legge til pci=disable_acs_redir (deaktiver ACS på PCIe-svitsjen for AI100-kortet). Sørg for å ha den nøyaktige syntaksen nedenfor. Sørg også for at det bare er én GRUB_CMDLINE_LINUX_DEFAULT linje i /etc/default/grub fil (slå sammen kjernealternativer om nødvendig, på en linje).

Endring GRUB_CMDLINE_LINUX_DEFAULT Linje.
```
GRUB_CMDLINE_LINUX_DEFAULT="quiet splash pci=disable_acs_redir=03:00.0\;03:01.0"
```
Trykk CTRL+X, velg J, og trykk enter for å lagre konfigurasjonsendringene. Kjør nå følgende, og start på nytt for å tre i kraft.

Regenerere GRUB-konfigurasjonen.
```
sudo update-grub
 sudo reboot
```
Kontroller endringene ved hjelp av følgende kommandoer etter omstart.
Bekreft at GRUB-konfigurasjonen er endret.
```
dell@dell:~$ cat /proc/cmdline
 BOOT_IMAGE=/boot/vmlinuz-6.14.0-1016-oem root=UUID=cd20aec8-6b44-45f7-bca5-307240cec24b ro quiet splash
 pci=disable_acs_redir=03:00.0;03:01.0 vt.handoff=7
```
```
dell@dell:~$ cat /proc/cmdline
 BOOT_IMAGE=/boot/vmlinuz-6.14.0-1016-oem root=UUID=cd20aec8-6b44-45f7-bca5-307240cec24b ro quiet splash
 pci=disable_acs_redir=03:00.0;03:01.0 vt.handoff=7
```
Kontroller at ACS er deaktivert ved hjelp av dmesg. Meldinger for "Configured ACS" vises som nedenfor:
```
dell@dell:~$ sudo dmesg | grep ACS
 [ 0.000000] Command line: BOOT_IMAGE=/boot/vmlinuz-6.14.0-1016-oem root=UUID=cd20aec8-6b44-45f7-bca5-307240cec24b ro quiet splash pcie_port_m=force pci=disable_acs_redir=03:00.0;03:01.0 vt.handoff=7
 [ 0.141658] Kernel command line: BOOT_IMAGE=/boot/vmlinuz-6.14.0-1016-oem root=UUID=cd20aec8-6b44-45f7-bca5-307240cec24b ro quiet splash pcie_port_m=force pci=disable_acs_redir=03:00.0;03:01.0 vt.handoff=7
 [ 0.741030] pci 0000:03:00.0: Configured ACS to 0x0000
 [ 0.745422] pci 0000:03:01.0: Configured ACS to 0x0000
```
Installere Docker

Den raskeste veien til å kjøre inferens på AI100-kortet er å bruke forhåndsbygde AI100 Docker-beholdere som inkluderer støtte for Qualcomm AI100-inferenskortet. Den forhåndsbygde Docker-beholderen gir et bruksklart miljø for å kjøre inferensarbeidsbelastningene. Beholderen inkluderer Qualcomm AI100 Platform og Apps SDK-er og verktøykjede, Python-miljø, Qualcomm Efficient Transformers for kompilering av AI-modeller og kjøring av slutninger, samt inkludert bruksklar vLLM og Triton-støtte for AI100-slutningskortet.

For å installere Docker i Ubuntu, bruk følgende kommando:
```
sudo snap install docker
```
Hvis du vil kjøre docker som en vanlig bruker, kjører du følgende kommandoer.
Kommandoer for å kjøre docker som en vanlig bruker.
```
# create and join the docker group
 sudo addgroup --system docker
 sudo adduser $USER docker
 newgrp docker
 
 # disable and re-enable the docker snap if you added the group while Docker Engine was running
 sudo snap disable docker
 sudo snap enable docker
```
```
# create and join the docker group
 sudo addgroup --system docker
 sudo adduser $USER docker
 newgrp docker
 
 # disable and re-enable the docker snap if you added the group while Docker Engine was running
 sudo snap disable docker
 sudo snap enable docker
```
Prefiks for alle docker-kommandoer med sudo er nødvendig hvis brukeren ikke er lagt til i docker-gruppen:
```
sudo docker run ...
```
Referanse: Docker Snap

Alternativt kan Docker installeres ved hjelp av apt Debian Docker Docs

Når Docker er installert, tester du installasjonen på følgende måte:
Bekreft at Docker installeres med hello-world:
```
dell@dell:~$ docker run hello-world
 Unable to find image 'hello-world:latest' locally
 latest: Pulling from library/hello-world
 17eec7bbc9d7: Pull complete
 Digest: sha256:d4aaab6242e0cace87e2ec17a2ed3d779d18fbfd03042ea58f2995626396a274
 Status: Downloaded newer image for hello-world:latest
 
 Hello from Docker!
 This message shows that your installation appears to be working correctly.
 ...
```
Dell Pro Max 16 Plus AI100-inferenskortet for arbeidsstasjonen er nå klart!

Dette fullfører engangsoppsettet som kreves for å bruke AI100-slutningskortet. De neste avsnittene viser hvordan du bruker AI100-verktøy til å se statusen til kortet og kjører innledende enkel slutning for å kontrollere at AI100-kortet er i drift.
Kontrollere AI100-kortet

Kontroller AI100-kortet, og kjør den innledende slutningen ved hjelp av en forhåndsbygd AI100 Docker-beholder som inneholder alle AI100-plattform- og app-SDK-ene, verktøykjeden og vLLM- og Triton-slutningsverktøyene som kreves for å bruke kortet.

Hvis dette er første gang AI100 Docker-beholderen kjøres, henter denne kommandoen også beholderen. Avbildningen av AI100 Docker-beholderen er ~14 GB nedlasting. Hvis du vil starte AI100 Docker-beholderen, bruker du følgende kommando:

Start AI100 Docker-beholderen.
```
docker run --rm -it \
 --privileged \
 --device=/dev/accel/accel1 \
 --device=/dev/accel/accel2 \
 --network host \
 --ulimit nofile=1048576 \
 -e OMP_NUM_THREADS=8 \
 ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 \
 /bin/bash
```
Når AI100 Docker-beholderen er hentet og kjørt, vises resultatet på skjermen slik:
Prøveutdata etter start av AI100 Docker-beholderen.
```
dell@dell:~$ docker run --rm -it --device=/dev/accel/accel1 --device=/dev/accel/accel2 --network host --ulimit nofile=1048576 -e OMP_NUM_THREADS=8 -v ~/Downloads/qwen3_coder_qpc:/root/qpc/ ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 /bin/bash
 ==================================
 == Qualcomm Cloud AI Containers ==
 ==================================
 
 Platform SDK version: 1.20.6.0
 Apps SDK version: 1.20.6.0
 
 This container image and its contents are governed by the terms of
 the license at /usr/share/doc/CONTAINER_LICENSE.txt. By pulling and
 using the container, you accept the terms and conditions of this license.
 
 root@dell:~#
```
```
dell@dell:~$ docker run --rm -it --device=/dev/accel/accel1 --device=/dev/accel/accel2 --network host --ulimit nofile=1048576 -e OMP_NUM_THREADS=8 -v ~/Downloads/qwen3_coder_qpc:/root/qpc/ ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 /bin/bash
 ==================================
 == Qualcomm Cloud AI Containers ==
 ==================================
 
 Platform SDK version: 1.20.6.0
 Apps SDK version: 1.20.6.0
 
 This container image and its contents are governed by the terms of
 the license at /usr/share/doc/CONTAINER_LICENSE.txt. By pulling and
 using the container, you accept the terms and conditions of this license.
 
 root@dell:~#
```
Bruk AI100 qaic-util -q -kommandoen for å gi tekstutdata for tilstanden til AI100-kortet, som i følgende eksempelutdata.
Utdata ved sampling av qaic-util -q
```
root@dell:~# qaic-util -q
 LRT QC_IMAGE_VERSION: LRT.AIC.13.2.1.20.6.0
 LRT IMAGE_VARIANT: LRT.AIC.REL
 Number of devices queried: 2
 QID 0
 Status:Ready
 ...
```
En visning av rutenettstatus er mulig ved hjelp av qaic-util -t 1-kommando som regelmessig oppdaterer kortstatus. Følgende eksempelutdata viser AI100-kortet når det er inaktivt. AI100-kortet inkluderer to AI100-enheter, hver med 16 Neural Signal Processor (NSP) datakjerner. Hver enhet viser 32 GB minne, totalt 64 GB på kortet:
Eksempel på tomgangsutdata for qaic-util -t 1.
```
root@dell:~# qaic-util -t 1
```
Her er et annet eksempel qaic-util utgang mens AI100-kortet kjører en arbeidsbelastning for AI-slutninger. I dette tilfellet viser den en større modell - qwen3-coder: 30b. Utgangen viser at alle 16 NSP-er brukes på hver AI100-enhet, korttemperaturen har økt til 47C fra lavere tomgangstemperaturer, at hver AI100-del bruker ~ 13 GB hver, totalt 26 GB for modellen, den totale effekten som brukes til brettet er 51 av maksimalt 75 W, og at NSP-frekvensen har økt for arbeidsbelastningen til 1100 Mhz.

Eksempelutdata for AI100 som kjører inferens ved hjelp av qaic-util -t 1.
```
root@dell:~# qaic-util -t 1
```
Hvis du vil tilbakestille AI100-kortet, bruker du qaic-util -s Kommandoen. Denne kommandoen krever maskinvaretillatelse inne i beholderen som krever kommandolinjeparameteren "-privileged" når beholderen kjøres. Følgende eksempelutdata viser ved hjelp av qaic util -s etterfulgt av qaic-util -t 1 for å overvåke kortstatusen. Ugyldige feltverdier som i eksempelutdataene nedenfor vises til kortet fullfører tilbakestillingen:

Sampling av utdata fra AI100-kort ved hjelp av qaic-util -s og qaic-util -t 1.
```
root@dell:~# qaic-util -s
 Resetting all devices…
 0000:04:00.0:
 0000:04:00.0 success
 0000:05:00.0:
 0000:05:00.0 success
 root@dell:~# qaic-util -t 1
```
Bruk én enkelt systemledetekst for å vise AI100-kortstatus ved hjelp av AI100 Docker-beholderen på følgende måte.

Start AI100 Docker-beholderen.
```
docker run --rm -it \
 --privileged \
 --device=/dev/accel/accel1 \
 --device=/dev/accel/accel2 \
 --network host \
 --ulimit nofile=1048576 \
 -e OMP_NUM_THREADS=8 \
 ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 \
 qaic-util -t 1
```
```
docker run --rm -it \
 --privileged \
 --device=/dev/accel/accel1 \
 --device=/dev/accel/accel2 \
 --network host \
 --ulimit nofile=1048576 \
 -e OMP_NUM_THREADS=8 \
 ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 \
 qaic-util -t 1
```
Merk: Det vises feilutgangslinjer når du kjører qaic-util -s og qaic-util -t 1 kommandoer og i rutenettet som viser "Ugyldig" for temperatur og kortstrøm/TDP og "0,00 W" vist for SoC-strøm. Det er endringer i oppstrømsflyvninger for å håndtere dette i kommende oppdateringer av Ubuntu OS- og AI100 Docker-containere.

Kjøre testinferens

Denne delen viser hvordan du kjører en rask slutningstest på AI100-kortet. Bruk denne slutningstesten til å verifisere funksjonaliteten til AI100-kortet.

Bruk kommandolinjekommandoen qaic-runner for å kjøre den første workloaden for testinferens. Bruk -d for å spesifisere mål-AI100-enheten, -a for å angi antall NSP-er som skal brukes, og -n For antall iterasjoner:

Eksempel på testinferens ved hjelp av qaic-runner.

docker run --rm -it \
 --device=/dev/accel/accel1 \
 --device=/dev/accel/accel2 \
 --network host \
 --ulimit nofile=1048576 \
 -e OMP_NUM_THREADS=8 \
 ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 \
 qaic-runner -t /opt/qti-aic/test-data/aic100/v2/1nsp/1nsp-conv-hmx/ -a 16 -n 5000 -d 0

docker run --rm -it \
 --device=/dev/accel/accel1 \
 --device=/dev/accel/accel2 \
 --network host \
 --ulimit nofile=1048576 \
 -e OMP_NUM_THREADS=8 \
 ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 \
 qaic-runner -t /opt/qti-aic/test-data/aic100/v2/1nsp/1nsp-conv-hmx/ -a 16 -n 5000 -d 0

Eksempel på utdata som følgende skjermer på skjermen:
Samplingsutdata for kjøring av testinferens.

dell@dell:~$ docker run --rm -it \
 --device=/dev/accel/accel1 \
 --device=/dev/accel/accel2 \
 --network host \
 --ulimit nofile=1048576 \
 -e OMP_NUM_THREADS=8 \
 ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 \
 qaic-runner -t /opt/qti-aic/test-data/aic100/v2/1nsp/1nsp-conv-hmx/ -a 16 -n 5000 -d 0
 loading /opt/qti-aic/dev/lib/x86_64/libQAic.so
 ---- Stats ----
 InferenceCnt 5000 TotalDuration 22544us BatchSize 1 Inf/Sec 221788.502

Nyttige koblinger

Tabellen nedenfor inneholder en liste over viktige og nyttige AI100-ressurser og koblinger for å begynne å få mest mulig ut av AI100-inferenskortet.
- Brukerveiledning for Qualcomm AI100: Utgangspunkt for alle emner AI100 - omfattende AI100 brukerveiledning
- Qualcomm Efficient Transformers Library: Bibliotek for å akselerere kjøring av mange LLM-er fra HuggingFace performant på Qualcomm AI100
- QAIC-beholdere: Docker-beholdere som inkluderer AI100-verktøykjeden, inkludert støtte for vLLM og Triton, ved hjelp av Ubuntu 24.04
- QAIC-beholdere - 24.04 siste: Docker QAIC-beholder som bruker 24.04, anbefales å bruke med AI100-inferenskortet
- Qualcomm Efficient Transformers Developer Blog: Stor oversikt over effektive transformatorer med enkle og raske eksempler
- http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/ : Se katalogen for forhåndskompilerte modeller som kan lastes ned og kjøres på AI100-kortet (modeller bygget for to SoC-er)
  Merk: Denne URL-adressen er ikke en HTTPS-kobling. Bruk på egen risiko.
Merk: Gå til nettstedet for kundestøtte og bruk filternøkkelordet Linux for å se andre Dell-artikler tilknyttet Dell Pro Max 16 Plus MB16250 med bærbar Al100-PC:
- Artikkelside for Dell Pro Max 16 Plus MB16250

AI100 forhåndsbygde modeller

Tabellen nedenfor inneholder et øyeblikksbilde av AI-modeller som er forhåndsbygd for å kjøre inne i AI100 Docker-beholderen (for eksempel ved hjelp av vLLM).

AI100-inferenskortet kjører modeller ved hjelp av et QPC-format (Qualcomm Program Container). QPC-er kan bygges fra Huggingface-modeller ved hjelp av AI100-plattformen og applikasjons-SDK-er, eller bruke forhåndsbygde QPC-er med AI-modell fra den nettbaserte Zentree-katalogen på følgende lenke. QPC-er er bygd målrettet mot antallet AI100-enheter på kortet – Dell Pro Max 16 Plus med Qualcomm Inference Card støtter QPC-er som er bygget for å kjøre på én eller to SoC-er (AI100 System on a Chip). En QPC bygget for to AI100-enheter bruker tensorkutting for å kunne kjøre store modeller ved hjelp av databehandling av to AI100-enheter over hele 64 GB minne på kortet.

Se katalogfanen på følgende lenke for http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/ .

Merk: Disse URL-adressene er ikke HTTPS-koblinger. Bruk på egen risiko.

Modellfamilie	Modellarkitektur	Representativ modell	Modelltype	QAIC SDK-versjon	QEff Auto Class	Oppgave	QPC-kobling
BERT	BERTModel	BAAI/bge-stor-en-v1.5	Innebyggingsmodell	1.19.6	QEFFAutoModel	Innebygging av tekst	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.19.6/bge-large-en-v1.5/
BERT	BERTModel	BAAI/bge-m3	Innebyggingsmodell	1.19.6	QEFFAutoModel	Innebygging av tekst	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.19.6/bge-m3/
BERT	BERTModel	BAAI/bge-base-en-v1.5	Innebyggingsmodell	1.19.6	QEFFAutoModel	Innebygging av tekst	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.19.6/bge-base-en-v1.5/
DeepSeek-R1-Distill-Llama	LamaForCausalLM	Valdemardi / DeepSeek-R1-Distill-Lama-70B-AWQ	Språkmodell med ren tekst	1.20.4	QEFFAutoModelForCausalLM	Tekst-generering	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/DeepSeek-R1-Distill-Llama-70B-AWQ/
DeepSeek-R1-Distill-Llama	LamaForCausalLM	Casperhansen/Deepseek-R1-Distill-Lama-8B-AWQ	Språkmodell med ren tekst	1.20.4	QEFFAutoModelForCausalLM	Tekst-generering	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/deepseek-r1-distill-llama-8b-awq/
DeepSeek-R1-Distill-Qwen	Qwen2ForCausalLM	Valdemardi/DeepSeek-R1-Distill-Lama-32B-AWQ	Språkmodell med ren tekst	1.20.4	QEFFAutoModelForCausalLM	Tekst-generering	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/DeepSeek-R1-Distill-Qwen-32B-AWQ/
DeepSeek-R1-Distill-Qwen	Qwen2ForCausalLM	Casperhansen/Deepseek-R1-Distill-QWEN-7B-AWQ	Språkmodell med ren tekst	1.20.4	QEFFAutoModelForCausalLM	Tekst-generering	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/deepseek-r1-distill-qwen-7b-awq/
Gemma3	Gemma3ForConditionalGeneration	google/gemma-3-4b-it	Multimodal språkmodell	1.20.4	QEFFAutoModelForImageTextToText	Vision-language modeller (tekst + bilde gen)	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/gemma-3-4b-it/
GPT-OSS	GptOssForCausalLM	OpenAI/GPT-OSS-20B	Språkmodell med ren tekst	1.20.4	QEFFAutoModeForCausalLM	Tekstgenerering	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/gpt-oss-20b/
Granitt-3.2	GraniteForCausalLM	IBM-granitt / granitt-3.2-8b-instruere	Språkmodell med ren tekst	1.20.4	QEFFAutoModelForCausalLM	Tekstgenerering	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/granite-3.2-8b-instruct/
Granitt-3.3	GraniteForCausalLM	IBM-granitt / granitt-3.3-8b-instruere	Språkmodell med ren tekst	1.20.4	QEFFAutoModelForCausalLM	Tekstgenerering	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/granite-3.3-8b-instruct/
Lama 3.1	LamaForCausalLM	meta-lama / lama-3.1-8B-instruere	Språkmodell med ren tekst	1.20.4	QEFFAutoModelForCausalLM	Tekstgenerering	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Llama-3.1-8B/
Lama 3.1 Nemotron	LamaForCausalLM	ibnzterrell / NVIDIA-Lama-3.1-Nemotron-70B-Instruct-HF-AWQ-INT4	Språkmodell med ren tekst	1.20.4	QEFFAutoModelForCausalLM	Tekstgenerering	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Nvidia-Llama-3.1-Nemotron-70B-Instruct-HF-AWQ-INT4/
Lama 3.1 Nemotron	LamaForCausalLM	NVIDIA/Lama-3.1-Nemotron-Nano-8B-v1	Språkmodell med ren tekst	1.20.4	QEFFAutoModelForCausalLM	Tekstgenerering	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Llama-3.1-Nemotron-Nano-8B-v1/
Lama 3.2	LamaForCausalLM	meta-lama/lama-3.2-1B	Språkmodell med ren tekst	1.20.4	QEFFAutoModelForCausalLM	Tekstgenerering	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Llama-3.2-1B/
Lama 3.2	LamaForCausalLM	meta-lama/lama-3.2-3B	Språkmodell med ren tekst	1.20.4	QEFFAutoModelForCausalLM	Tekstgenerering	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Llama-3.2-3B/
Lama 3.2	LamaForCausalLM	meta-lama/lama-3.2-3B-instruere	Språkmodell med ren tekst	1.20.4	QEFFAutoModelForCausalLM	Tekstgenerering	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Llama-3.2-3B-Instruct/
Lama 3.2	MllamaForConditionalGeneration	meta-lama / lama-3.2-11B-visjon-instruere	Multimodal språkmodell	1.20.4	QEFFAutoModelForImageTextToText	Vision-language modeller (tekst + bilde gen)	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Llama-3.2-11B-Vision-Instruct/
Lama 3.2 Instruere	LamaForCausalLM	meta-lama/lama-3.2-1B-instruere	Språkmodell med ren tekst	1.20.4	QEFFAutoModelForCausalLM	Tekstgenerering	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Llama-3.2-1B-Instruct/
Lama 3.x	LamaForCausalLM	Målet: Meta-Llama-3.1-70B-Instruct-AWQ-INT4 Draft: Lama-3.2-1B-instruere	Spekulativ dekoding (SpD)	1.20.4	QEFFAutoModelForCausalLM	Tekstgenerering	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/spd/meta-llama/
Lama 3.x	LamaForCausalLM	Target: casperhansen/llama-3.3-70b-instruct-awq Draft: meta-llama/Llama-3.2-1B-Instruct	Spekulativ dekoding (SpD)	1.20.4	QEFFAutoModelForCausalLM	Tekstgenerering	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/spd/llama33-70b-awq__draft-llama32-1b/
Mistral	MistralForCausalLM	mistralai/Mistral-7B-Instruct-v0.1	Språkmodell med ren tekst	1.20.4	QEFFAutoModelForCausalLM	Tekst-generering	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Mistral-7B-Instruct-v0.1/
Phi-4	Phi3ForCausalLM	Microsoft/PHI-4	Språkmodell med ren tekst	1.20.4	QEFFAutoModelForCausalLM	Tekstgenerering	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/phi-4/
Qwen3	Qwen3Moe	Qwen/Qwen3-30B-A3B-Instruct-2507	Språkmodell med ren tekst	1.20.4	QEFFAutoModelForCausalLM	Tekstgenerering	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Qwen3-30B-A3B-Instruct-2507/
Qwen3-koder	Qwen3Moe	Qwen/Qwen3-Coder-30B-A3B-Instruct	Språkmodell med ren tekst	1.20.4	QEFFAutoModelForCausalLM	Kodegenerering	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Qwen3-Coder-30B-A3B-Instruct/
Sarvamai	Sarvamai	Sarvamai/Sarvam-1	Språkmodell med ren tekst	1.20.4	QEFFAutoModelForCausalLM	Tekstgenerering Indisk språkfokus	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/sarvam-1/
SDXL	StableDiffusionForTextToImage	stabilitetai/stabil-diffusjon-XL-base-1.0	Multimodal språkmodell	1.20.4	AutoPipelineForText2Image	Vision-language modeller (tekst + bilde gen)	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/stable-diffusion-xl-base-1.0/
SDXL Turbo	StableDiffusionForTextToImage	StabilitetAI/SDXL-Turbo	Multimodal språkmodell	1.20.4	AutoPipelineForText2Image	Vision-language modeller (tekst + bilde gen)	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/sdxl_turbo/
Hviske	Hviske	openai/hviske-base	Lydmodell	1.20.4	QEFFAutoModelForSpeechSeq2Seq	Automatisk talegjenkjenning (transkripsjon)	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/whisper-base/
Hviske	Hviske	OpenAI/hviske-stor-V3-turbo	Lydmodell	1.20.4	QEFFAutoModelForSpeechSeq2Seq	Automatisk talegjenkjenning (transkripsjon)	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/whisper-large-v3-turbo/
Hviske	Hviske	OpenAI/hviske-stor	Lydmodell	1.20.4	QEFFAutoModelForSpeechSeq2Seq	Automatisk talegjenkjenning (transkripsjon)	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/whisper-large/
Hviske	Hviske	openai/hviske-medium	Lydmodell	1.20.4	QEFFAutoModelForSpeechSeq2Seq	Automatisk talegjenkjenning (transkripsjon)	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/whisper-medium/
Hviske	Hviske	openai/hviske-liten	Lydmodell	1.20.4	QEFFAutoModelForSpeechSeq2Seq	Automatisk talegjenkjenning (transkripsjon)	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/whisper-small/
Hviske	Hviske	openai-hviske-liten	Lydmodell	1.20.4	QEFFAutoModelForSpeechSeq2Seq	Automatisk talegjenkjenning (transkripsjon)	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/whisper-tiny/
XLM-RoBERTa	XLMRobertaModel	Intfloat/Multilingual-E5-large	Innebyggingsmodell	1.20.4	QEFFAutoModel	Innebygging av tekst	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/multilingual-e5-large/
XLM-RoBERTa	XLMRobertaModel	Intfloat/flerspråklig-E5-liten	Innebyggingsmodell	1.19.6	QEFFAutoModel	Innebygging av tekst	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.19.6/multilingual-e5-small/

Tilbake til toppen

Affected Products

Dell Pro Max 16 Plus MB16250

Article Number: 000393093

Article Type: How To

Last Modified: 24 May 2026

Version: 9

Check if your device is covered by Support Services.

Slik setter du opp Dell Pro Max 16 Plus med Qualcomm Inference Card i Linux

Summary: Finn ut hvordan du konfigurerer Dell Pro Max 16 Plus MB16250 med Qualcomm Inference Card i Linux.

Instructions

Affected Products

Instructions

Konfigurere Dell Pro Max 16 Plus med Qualcomm Inference Card i Linux

Verifisere installasjonen av AI100-kortet.

Oppdatering av BIOS på Dell Pro Max 16 Plus-arbeidsstasjonen.

Oppdatering av Ubuntu-operativsystemet (OS) på Dell Pro Max 16 Plus-arbeidsstasjonen

Oppdatering av GRUB-kjerneparametere.

Installere Docker

Dell Pro Max 16 Plus AI100-inferenskortet for arbeidsstasjonen er nå klart!

Kontrollere AI100-kortet

Kjøre testinferens

Nyttige koblinger

AI100 forhåndsbygde modeller

Affected Products

Article Properties

Find answers to your questions from other Dell users

Support Services

Article Properties

Find answers to your questions from other Dell users

Support Services

Slik setter du opp Dell Pro Max 16 Plus med Qualcomm Inference Card i Linux

Summary: Finn ut hvordan du konfigurerer Dell Pro Max 16 Plus MB16250 med Qualcomm Inference Card i Linux.

Detailed Article

Instructions

Affected Products

Instructions

Konfigurere Dell Pro Max 16 Plus med Qualcomm Inference Card i Linux

Verifisere installasjonen av AI100-kortet.

Oppdatering av BIOS på Dell Pro Max 16 Plus-arbeidsstasjonen.

Oppdatering av Ubuntu-operativsystemet (OS) på Dell Pro Max 16 Plus-arbeidsstasjonen

Oppdatering av GRUB-kjerneparametere.

Installere Docker

Dell Pro Max 16 Plus AI100-inferenskortet for arbeidsstasjonen er nå klart!

Kontrollere AI100-kortet

Kjøre testinferens

Nyttige koblinger

AI100 forhåndsbygde modeller

Affected Products

Article Properties

Find answers to your questions from other Dell users

Support Services

Article Properties

Find answers to your questions from other Dell users

Support Services