Sådan opsætter du Dell Pro Max 16 Plus med Qualcomm Inference Card i Linux

Summary: Få mere at vide om, hvordan du konfigurerer Dell Pro Max 16 Plus MB16250 med Qualcomm Inference Card i Linux.

Affected Products

This article applies to This article does not apply to This article is not tied to any specific product. Not all product versions are identified in this article.

Check out other resources

Instructions

Opsætning af Dell Pro Max 16 Plus med Qualcomm Inference Card i Linux

Velkommen til din Dell Pro Max 16 Plus med Qualcomm AI100-inferenskort!

Følg nedenstående engangsopsætningstrin for at gøre kortet klar til AI-inferensworkloads ved hjælp af Ubuntu 24.04 på Dell Pro Max 16 Plus-arbejdsstationen. Dette sikrer, at arbejdsstationen og kortet har den rigtige software- og konfigurationsbasislinjeopsætning, så de kan springe direkte i gang med at bruge kortet.

Kontrol af AI100-kortinstallationen.

Brug følgende lspci Kommando til at kontrollere, at kortet er installeret på den bærbare computer:

lspci | grep Qualcomm

Denne kommando viser to (2) Qualcomm a100 PCIe-enhedsposter for AI100-kortet.

dell@dell:~$ lspci | grep Qualcomm
 04:00.0 Processing accelerators: Qualcomm Technologies, Inc Device a100
 05:00.0 Processing accelerators: Qualcomm Technologies, Inc Device a100
 dell@dell:~$

Opdatering af BIOS på Dell Pro Max 16 Plus-arbejdsstationen.

Opdater arbejdsstationens BIOS for at sikre, at den bærbare computer har den nyeste understøttelse af AI100-inferenskortet. Brug følgende kommandoer til at søge efter BIOS-opdateringer og derefter opgradere, hvis der findes en opdatering:
Kommandoer til at søge efter BIOS-opdateringer:

sudo fwupdmgr refresh --force
 sudo fwupdmgr upgrade

Eksempel på output, opdatering til den nyeste BIOS.

dell@dell:~$ sudo fwupdmgr refresh --force
 Updating lvfs
 Downloading…          [*************************************]
 Successfully downloaded new metadata: 7 local devices supported
 dell@dell:~$ sudo fwupdmgr upgrade
 Devices with no available firmware updates:
 • Integrated Webcam 8M
 • PC811 SED SK hynix 2048GB
 • TPM
 • UEFI Device Firmware
 • UEFI dbx
 • USB4 host controller
 
 Perform operation? [Y|n]: Y
 Waiting…          [***************************************]
 Successfully installed firmware
 Do not turn off your computer or remove the AC adapter while the update is in progress.
 An update requires a reboot to complete. Restart now? [y|N]:

Kontroller, at BIOS-version 2.22 eller nyere er installeret ved hjælp af dmidecode Kommando: Kontrollerer eksisterende BIOS-firmwareversion.

sudo dmidecode -t 0

Opdatering af Ubuntu-operativsystemet (OS) på din Dell Pro Max 16 Plus-arbejdsstation
Ved den næste opdatering til Ubuntu OS på arbejdsstationen er understøttelse af AI100-inferenskortet integreret i Ubuntu 24.04. Opdatering af Ubuntu sikrer, at de nyeste kernemoduler og AI100-firmwareopdateringer er tilgængelige til dit kort.
For at opdatere Ubuntu - brug enten Ubuntu "Software Updater" i menuen Desktop Apps eller brug følgende kommandoer i en terminal:
Kommandoer til at opdatere din Ubuntu-software i terminalen:
```
sudo apt-get update
 sudo apt-get upgrade
 sudo reboot
```
Når den bærbare computer downloader, installerer og opdaterer Ubuntu, skal du genstarte arbejdsstationen for at sikre, at eventuelle ændringer i opstartstidspunktet for kernen finder sted.

Kontroller, at din opdaterede Ubuntu-kerne er version 6.14.0-1017-oem eller nyere. Denne version indeholder de signerede kernemoduler, der understøtter din AI100 med Secure Boot aktiveret. Brug følgende kommando til at kontrollere kerneversionen.

Bekræftelse af at Linux-kernen er version 6.14.0-1017-oem eller nyere.
```
dell@dell:~$ uname -r
 6.14.0-1017-oem
```
```
dell@dell:~$ uname -r
 6.14.0-1017-oem
```
Kontroller derefter, at Linux-firmwarepakken, der indeholder AI100-firmwaren, er version 2.22 eller nyere ved hjælp af denne kommandolinjekommando:

Bekræftelse af at Linux-firmwaren er version 2.22 eller nyere.
```
dell@dell:~$ dpkg-query --list linux-firmware
 Desired=Unknown/Install/Remove/Purge/Hold
 | Status=Not/Inst/Conf-files/Unpacked/halF-conf/Half-inst/trig-aWait/Trig-pend
 |/ Err?=(none)/Reinst-required (Status,Err: uppercase=bad)
 ||/ Name Version Architecture Description
 +++-==============-================================-============-=================================
 ii linux-firmware 20240318.git3b128b60-0ubuntu2.22 amd64 Firmware for Linux kernel drivers
 dell@dell:~$
```
Opdatering af GRUB-kerneparametre.
Hvis du vil bruge Qualcomm AI100-inferenskortet fuldt ud, skal du deaktivere funktionen PCIe Access Control System (ACS). Dette er nødvendigt for at understøtte tensor-udskæring fuldt ud ved hjælp af begge AI100-enheder på Qualcomm AI100-kortet. Deaktiver ACS på PCIe-switchen på AI100-kortet. Dette giver fuld dataadgang mellem de to AI100-enheder og alle 64 GB indbygget RAM, når der køres inferens på tværs af begge.
Dette gøres ved at overføre en Linux-kerneparameter, der føjes til GRUB-konfigurationen for at understøtte Qualcomm AI100-inferenskortet. Kerneparametre er konfigurationer, der overføres til Linux-kernen under opstart, og som instruerer kernen i, hvordan visse funktioner konfigureres. I dette tilfælde deaktiveres ACS for AI100-kortet. Tilføjelse af en kerneparameter til GRUB-konfigurationsfilen gør dette.

Åbn GRUB-konfigurationsfilen med root-rettigheder ved hjælp af en teksteditor.
Rediger GRUB-konfigurationsfilen /etc/default/grub.
```
sudo nano /etc/default/grub
```
```
sudo nano /etc/default/grub
```
Rediger GRUB_CMDLINE_LINUX_DEFAULT linje for at tilføje pci=disable_acs_redir (deaktiver ACS på AI100-kortets PCIe-switch). Sørg for at have den nøjagtige syntaks nedenfor. Sørg også for, at der kun er en GRUB_CMDLINE_LINUX_DEFAULT linje i /etc/default/grub fil (flet kerneindstillinger om nødvendigt på en linje).

Udskift GRUB_CMDLINE_LINUX_DEFAULT Linje.
```
GRUB_CMDLINE_LINUX_DEFAULT="quiet splash pci=disable_acs_redir=03:00.0\;03:01.0"
```
Tryk på CTRL+X, vælg Y, og tryk på Enter for at gemme konfigurationsændringerne. Kør nu følgende og genstart for at træde i kraft.

Regenerer GRUB-konfigurationen.
```
sudo update-grub
 sudo reboot
```
Kontroller ændringerne ved hjælp af følgende kommandoer efter genstart.
Bekræft ændringer i GRUB-konfigurationen.
```
dell@dell:~$ cat /proc/cmdline
 BOOT_IMAGE=/boot/vmlinuz-6.14.0-1016-oem root=UUID=cd20aec8-6b44-45f7-bca5-307240cec24b ro quiet splash
 pci=disable_acs_redir=03:00.0;03:01.0 vt.handoff=7
```
```
dell@dell:~$ cat /proc/cmdline
 BOOT_IMAGE=/boot/vmlinuz-6.14.0-1016-oem root=UUID=cd20aec8-6b44-45f7-bca5-307240cec24b ro quiet splash
 pci=disable_acs_redir=03:00.0;03:01.0 vt.handoff=7
```
Kontroller, at ACS er deaktiveret ved hjælp af dmesg. Meddelelser om "Konfigureret ACS" vises som følger:
```
dell@dell:~$ sudo dmesg | grep ACS
 [ 0.000000] Command line: BOOT_IMAGE=/boot/vmlinuz-6.14.0-1016-oem root=UUID=cd20aec8-6b44-45f7-bca5-307240cec24b ro quiet splash pcie_port_m=force pci=disable_acs_redir=03:00.0;03:01.0 vt.handoff=7
 [ 0.141658] Kernel command line: BOOT_IMAGE=/boot/vmlinuz-6.14.0-1016-oem root=UUID=cd20aec8-6b44-45f7-bca5-307240cec24b ro quiet splash pcie_port_m=force pci=disable_acs_redir=03:00.0;03:01.0 vt.handoff=7
 [ 0.741030] pci 0000:03:00.0: Configured ACS to 0x0000
 [ 0.745422] pci 0000:03:01.0: Configured ACS to 0x0000
```
Installer Docker

Den hurtigste vej til at køre inferens på AI100-kortet er at bruge færdigbyggede AI100 Docker-objektbeholdere, der understøtter Qualcomm AI100-inferenskortet. Den færdigbyggede Docker-beholder giver et miljø, der er klar til brug, til at køre inferensarbejdsbelastningerne. Containeren omfatter Qualcomm AI100 Platform and Apps SDK'er og værktøjskæde, Python-miljø, Qualcomm Efficient Transformers til kompilering af AI-modeller og kørsel af inferenser samt inklusive klar til brug vLLM og Triton-understøttelse af AI100-inferenskortet.

For at installere Docker i Ubuntu skal du bruge følgende kommando:
```
sudo snap install docker
```
For at køre docker som en normal bruger skal du køre følgende kommandoer.
Kommandoer til at køre docker som en normal bruger.
```
# create and join the docker group
 sudo addgroup --system docker
 sudo adduser $USER docker
 newgrp docker
 
 # disable and re-enable the docker snap if you added the group while Docker Engine was running
 sudo snap disable docker
 sudo snap enable docker
```
```
# create and join the docker group
 sudo addgroup --system docker
 sudo adduser $USER docker
 newgrp docker
 
 # disable and re-enable the docker snap if you added the group while Docker Engine was running
 sudo snap disable docker
 sudo snap enable docker
```
Forfiks alle docker-kommandoer med sudo er påkrævet, hvis brugeren ikke føjes til docker-gruppen:
```
sudo docker run ...
```
Reference: Docker-snap

Alternativt kan Docker installeres ved hjælp af apt Debian Docker Docs

Når Docker er installeret, skal du teste installationen som følger:
Bekræft, at Docker installeres med hello-world:
```
dell@dell:~$ docker run hello-world
 Unable to find image 'hello-world:latest' locally
 latest: Pulling from library/hello-world
 17eec7bbc9d7: Pull complete
 Digest: sha256:d4aaab6242e0cace87e2ec17a2ed3d779d18fbfd03042ea58f2995626396a274
 Status: Downloaded newer image for hello-world:latest
 
 Hello from Docker!
 This message shows that your installation appears to be working correctly.
 ...
```
Dell Pro Max 16 Plus AI100-arbejdsstationens AI100-inferenskort er nu klar til brug!

Dermed fuldføres den engangsopsætning, der kræves for at bruge AI100-inferenskortet. De næste afsnit viser, hvordan du bruger AI100-værktøjer til at se kortets status og køre den første simple inferens for at kontrollere, at AI100-kortet fungerer.
Kontrol af AI100-kortet

Kontrollér AI100-kortet, og kør den første fornuftslutning ved hjælp af en færdigbygget AI100 Docker-beholder, der indeholder alle AI100 Platform og Apps SDK'er, værktøjskæde og vLLM- og Triton-inferensværktøjer, der kræves for at bruge kortet.

Hvis det er første gang, AI100 Docker-objektbeholderen køres, henter denne kommando også beholderen. AI100 Docker-beholderbilledet er ~14 GB download. Brug følgende kommando til at starte AI100 Docker-beholderen:

Start AI100 Docker-beholderen.
```
docker run --rm -it \
 --privileged \
 --device=/dev/accel/accel1 \
 --device=/dev/accel/accel2 \
 --network host \
 --ulimit nofile=1048576 \
 -e OMP_NUM_THREADS=8 \
 ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 \
 /bin/bash
```
Når AI100 Docker-beholderen er hentet og kørt, vises output som dette på skærmen:
Eksempeloutput efter start af AI100 Docker-beholderen.
```
dell@dell:~$ docker run --rm -it --device=/dev/accel/accel1 --device=/dev/accel/accel2 --network host --ulimit nofile=1048576 -e OMP_NUM_THREADS=8 -v ~/Downloads/qwen3_coder_qpc:/root/qpc/ ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 /bin/bash
 ==================================
 == Qualcomm Cloud AI Containers ==
 ==================================
 
 Platform SDK version: 1.20.6.0
 Apps SDK version: 1.20.6.0
 
 This container image and its contents are governed by the terms of
 the license at /usr/share/doc/CONTAINER_LICENSE.txt. By pulling and
 using the container, you accept the terms and conditions of this license.
 
 root@dell:~#
```
```
dell@dell:~$ docker run --rm -it --device=/dev/accel/accel1 --device=/dev/accel/accel2 --network host --ulimit nofile=1048576 -e OMP_NUM_THREADS=8 -v ~/Downloads/qwen3_coder_qpc:/root/qpc/ ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 /bin/bash
 ==================================
 == Qualcomm Cloud AI Containers ==
 ==================================
 
 Platform SDK version: 1.20.6.0
 Apps SDK version: 1.20.6.0
 
 This container image and its contents are governed by the terms of
 the license at /usr/share/doc/CONTAINER_LICENSE.txt. By pulling and
 using the container, you accept the terms and conditions of this license.
 
 root@dell:~#
```
Brug AI100 qaic-util -q kommando til at levere tekstoutput af AI100-kortets tilstand, som i følgende eksempeloutput.
Eksempel på output for qaic-util -q
```
root@dell:~# qaic-util -q
 LRT QC_IMAGE_VERSION: LRT.AIC.13.2.1.20.6.0
 LRT IMAGE_VARIANT: LRT.AIC.REL
 Number of devices queried: 2
 QID 0
 Status:Ready
 ...
```
Det er muligt at få vist gitterstatus ved hjælp af ikonet qaic-util -t 1 kommando, som periodisk opdaterer kortstatus. Følgende eksempeloutput viser AI100-kortet som inaktivt. AI100-kortet indeholder to AI100-enheder, hver med 16 NSP-beregningskerner (Neural Signal Processor). Hver enhed viser 32 GB hukommelse, i alt 64 GB på kortet:
Eksempel på inaktiv output til qaic-util -t 1.
```
root@dell:~# qaic-util -t 1
```
Her er et andet eksempel qaic-util output, mens AI100-kortet kører en AI-inferensarbejdsbelastning. I dette tilfælde viser den en større model - qwen3-coder:30b. Outputtet viser, at alle 16 NSP'er bruges på hver AI100-enhed, korttemperaturen er steget til 47C fra lavere tomgangstemperaturer, at hver AI100-del bruger ~ 13 GB hver, i alt 26 GB til modellen, den samlede effekt, der bruges til brættet, er 51 ud af maksimalt 75 W, og at NSP-frekvensen er steget for arbejdsbyrden til 1100 MHz.

Eksempeloutput for AI100, der kører inferens ved hjælp af qaic-util -t 1.
```
root@dell:~# qaic-util -t 1
```
Hvis du vil nulstille AI100-kortet, skal du bruge ikonet qaic-util -s Kommando. Denne kommando kræver hardwaretilladelse inde i beholderen, der kræver kommandolinjeparameteren "-privilegeret", når containeren køres. Følgende eksempeloutput viser ved hjælp af qaic util -s efterfulgt af qaic-util -t 1 for at overvåge kortstatus. Ugyldige feltværdier som i eksempeloutputtet nedenfor vises, indtil kortet fuldfører nulstillingen:

Eksempel på output af AI100-kortnulstilling ved hjælp af qaic-util -s og qaic-util -t 1.
```
root@dell:~# qaic-util -s
 Resetting all devices…
 0000:04:00.0:
 0000:04:00.0 success
 0000:05:00.0:
 0000:05:00.0 success
 root@dell:~# qaic-util -t 1
```
Brug en enkelt systemprompt til at få vist AI100-kortstatus ved hjælp af AI100 Docker-beholderen på følgende måde.

Start AI100 Docker-beholderen.
```
docker run --rm -it \
 --privileged \
 --device=/dev/accel/accel1 \
 --device=/dev/accel/accel2 \
 --network host \
 --ulimit nofile=1048576 \
 -e OMP_NUM_THREADS=8 \
 ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 \
 qaic-util -t 1
```
```
docker run --rm -it \
 --privileged \
 --device=/dev/accel/accel1 \
 --device=/dev/accel/accel2 \
 --network host \
 --ulimit nofile=1048576 \
 -e OMP_NUM_THREADS=8 \
 ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 \
 qaic-util -t 1
```
Bemærk: Der ses fejloutputlinjer, når du kører qaic-util -s og qaic-util -t 1 kommandoer og i gitterudgangen, der viser "Ugyldig" for temperatur og kortstrøm/TDP og "0,00 W" vist for SoC-effekt. Der er ændringer under flyvning opstrøms for at løse dette i kommende Ubuntu OS- og AI100 Docker-containeropdateringer.

Løbetestslutning

Dette afsnit viser, hvordan du kører en hurtig fornuftslutningstest på AI100-kortet. Brug denne interferenstest til at kontrollere AI100-kortets funktionalitet.

Brug kommandolinjekommandoen qaic-runner for at køre den første arbejdsbelastning for testinferens. Brug -d for at specificere AI100-målenheden, -a at angive antallet af NSP'er, der skal anvendes, og -n for antallet af iterationer:

Eksempel på testslutning ved hjælp af qaic-runner.

docker run --rm -it \
 --device=/dev/accel/accel1 \
 --device=/dev/accel/accel2 \
 --network host \
 --ulimit nofile=1048576 \
 -e OMP_NUM_THREADS=8 \
 ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 \
 qaic-runner -t /opt/qti-aic/test-data/aic100/v2/1nsp/1nsp-conv-hmx/ -a 16 -n 5000 -d 0

docker run --rm -it \
 --device=/dev/accel/accel1 \
 --device=/dev/accel/accel2 \
 --network host \
 --ulimit nofile=1048576 \
 -e OMP_NUM_THREADS=8 \
 ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 \
 qaic-runner -t /opt/qti-aic/test-data/aic100/v2/1nsp/1nsp-conv-hmx/ -a 16 -n 5000 -d 0

Eksempel på output som følgende vises på skærmen:
Prøveoutput til kørsel af testinferens.

dell@dell:~$ docker run --rm -it \
 --device=/dev/accel/accel1 \
 --device=/dev/accel/accel2 \
 --network host \
 --ulimit nofile=1048576 \
 -e OMP_NUM_THREADS=8 \
 ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 \
 qaic-runner -t /opt/qti-aic/test-data/aic100/v2/1nsp/1nsp-conv-hmx/ -a 16 -n 5000 -d 0
 loading /opt/qti-aic/dev/lib/x86_64/libQAic.so
 ---- Stats ----
 InferenceCnt 5000 TotalDuration 22544us BatchSize 1 Inf/Sec 221788.502

Nyttige links

Tabellen nedenfor indeholder en liste over vigtige og nyttige AI100-ressourcer og links til at begynde at få mest muligt ud af AI100-inferenskortet.
- Brugervejledning til Qualcomm AI100: Udgangspunkt for alle emner AI100 – omfattende brugervejledning til AI100
- Qualcomm Efficient Transformers Bibliotek: Bibliotek for at fremskynde kørsel af mange LLM'er fra HuggingFace performantly på Qualcomm AI100
- QAIC-beholdere: Docker-beholdere, der indeholder AI100-værktøjskæden, herunder understøttelse af vLLM og Triton ved hjælp af Ubuntu 24.04
- QAIC Containere - 24.04 seneste: Docker QAIC-beholder med 24.04 anbefales til brug sammen med AI100-inferenskortet
- Qualcomm Efficient Transformers Udvikler Blog: Fantastisk overblik over effektive transformere med nemme og hurtige eksempler
- http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/ : Se kataloget over prækompilerede modeller, der skal downloades og køres på AI100-kortet (modeller bygget til to SoC'er)
  Bemærk: Denne URL-adresse er ikke et HTTPS-link. Brug på egen risiko.
Bemærk: Gå til supportwebstedet, og brug filternøgleordet Linux for at se andre Dell-artikler, der er knyttet til Dell Pro Max 16 Plus MB16250 med Al100-bærbar:
- Artikelside for Dell Pro Max 16 Plus MB16250

AI100 Færdigbyggede modeller

Tabellen herunder indeholder et øjebliksbillede af AI-modeller, der er forudbygget til at køre inde i AI100 Docker-containeren (f.eks. ved hjælp af vLLM).

AI100-inferenskortet kører modeller ved hjælp af et QPC-format (Qualcomm Program Container). QPC'er kan bygges fra Huggingface-modeller ved hjælp af AI100 Platform and Apps SDK'er eller bruge forudbyggede AI-model-QPC'er fra Zentree-kataloget online på følgende link. QPC'er er bygget med henblik på antallet af AI100-enheder på kortet – Dell Pro Max 16 Plus med Qualcomm-inferenskort understøtter QPC'er, der er bygget til at køre på en eller to SoC'er (AI100-system på en chip). En QPC, der er bygget til to AI100-enheder, bruger tensor-slicing for at kunne køre store modeller ved hjælp af beregningen af to AI100-enheder på tværs af de fulde 64 GB hukommelse på kortet.

Se katalogfanen på følgende link for http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/ .

Bemærk: Disse webadresser er ikke HTTPS-links. Brug på egen risiko.

Model Familie	Model arkitektur	Repræsentativ model	Modeltype	QAIC SDK-version	QEff Auto Class	Opgave	QPC-link
BERT	BERTModel	BAAI/bge-large-da-v1.5	Indlejring af model	1.19.6	QEFFAutoModel	Indlejring af tekst	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.19.6/bge-large-en-v1.5/
BERT	BERTModel	BAAI/BGE-m3	Indlejring af model	1.19.6	QEFFAutoModel	Indlejring af tekst	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.19.6/bge-m3/
BERT	BERTModel	BAAI/bge-base-da-v1.5	Indlejring af model	1.19.6	QEFFAutoModel	Indlejring af tekst	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.19.6/bge-base-en-v1.5/
DeepSeek-R1-destillation-lama	LlamaForCausalLM	Valdemardi/DeepSeek-R1-destillation-lama-70B-AWQ	Sprogmodel kun med tekst	1.20.4	QEFFAutoModelForCausalLM	Tekst-generation	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/DeepSeek-R1-Distill-Llama-70B-AWQ/
DeepSeek-R1-destillation-lama	LlamaForCausalLM	Casperhansen/DeepSeek-R1-destillering-lama-8B-AWQ	Sprogmodel kun med tekst	1.20.4	QEFFAutoModelForCausalLM	Tekst-generation	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/deepseek-r1-distill-llama-8b-awq/
DeepSeek-R1-destillering-qwen	Qwen2ForCausalLM	Valdemardi/DeepSeek-R1-destillation-lama-32B-AWQ	Sprogmodel kun med tekst	1.20.4	QEFFAutoModelForCausalLM	Tekst-generation	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/DeepSeek-R1-Distill-Qwen-32B-AWQ/
DeepSeek-R1-destillering-qwen	Qwen2ForCausalLM	Casperhansen/DeepSeek-R1-Distill-QWEN-7B-AWQ	Sprogmodel kun med tekst	1.20.4	QEFFAutoModelForCausalLM	Tekst-generation	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/deepseek-r1-distill-qwen-7b-awq/
Gemma3	Gemma3ForConditionalGeneration	Google/gemma-3-4b-it	Multimodal sprogmodel	1.20.4	QEFFAutoModelForImageTextToText	Vision-sprogmodeller (tekst + billedgen)	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/gemma-3-4b-it/
GPT-OSS	GptOssForCausalLM	openai/GPT-OSS-20B	Sprogmodel kun med tekst	1.20.4	QEFFAutoModeForCausalLM	Generering af tekst	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/gpt-oss-20b/
Granit-3.2	GraniteForCausalLM	IBM-granit/granit-3.2-8B-instruktion	Sprogmodel kun med tekst	1.20.4	QEFFAutoModelForCausalLM	Generering af tekst	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/granite-3.2-8b-instruct/
Granit-3.3	GraniteForCausalLM	IBM-granit/granit-3.3-8B-instruere	Sprogmodel kun med tekst	1.20.4	QEFFAutoModelForCausalLM	Generering af tekst	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/granite-3.3-8b-instruct/
Lama 3,1	LlamaForCausalLM	meta-lama/lama-3.1-8B-instruktion	Sprogmodel kun med tekst	1.20.4	QEFFAutoModelForCausalLM	Generering af tekst	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Llama-3.1-8B/
Lama 3.1 Nemotron	LlamaForCausalLM	ibnzterrell/nvidia-lama-3.1-nemotron-70B-instruere-HF-AWQ-INT4	Sprogmodel kun med tekst	1.20.4	QEFFAutoModelForCausalLM	Generering af tekst	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Nvidia-Llama-3.1-Nemotron-70B-Instruct-HF-AWQ-INT4/
Lama 3.1 Nemotron	LlamaForCausalLM	nvidia/lama-3.1-nemotron-nano-8B-v1	Sprogmodel kun med tekst	1.20.4	QEFFAutoModelForCausalLM	Generering af tekst	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Llama-3.1-Nemotron-Nano-8B-v1/
Lama 3,2	LlamaForCausalLM	meta-lama/lama-3.2-1B	Sprogmodel kun med tekst	1.20.4	QEFFAutoModelForCausalLM	Generering af tekst	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Llama-3.2-1B/
Lama 3,2	LlamaForCausalLM	meta-lama/lama-3.2-3B	Sprogmodel kun med tekst	1.20.4	QEFFAutoModelForCausalLM	Generering af tekst	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Llama-3.2-3B/
Lama 3,2	LlamaForCausalLM	meta-lama/lama-3.2-3B-instruktion	Sprogmodel kun med tekst	1.20.4	QEFFAutoModelForCausalLM	Generering af tekst	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Llama-3.2-3B-Instruct/
Lama 3,2	MllamaForConditionalGeneration	meta-lama/lama-3.2-11B-vision-instruktion	Multimodal sprogmodel	1.20.4	QEFFAutoModelForImageTextToText	Vision-sprogmodeller (tekst + billedgen)	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Llama-3.2-11B-Vision-Instruct/
Lama 3.2 Instruere	LlamaForCausalLM	meta-lama/lama-3.2-1B-instruktion	Sprogmodel kun med tekst	1.20.4	QEFFAutoModelForCausalLM	Generering af tekst	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Llama-3.2-1B-Instruct/
Lama 3.x	LlamaForCausalLM	Mål: Meta-lama-3.1-70B-instrukt-AWQ-INT4 Kladde: Lama-3.2-1B-instruktion	Spekulativ afkodning (SpD)	1.20.4	QEFFAutoModelForCausalLM	Generering af tekst	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/spd/meta-llama/
Lama 3.x	LlamaForCausalLM	Mål: casperhansen/llama-3.3-70b-instruct-awq Kladde: meta-lama/lama-3.2-1B-Instruct	Spekulativ afkodning (SpD)	1.20.4	QEFFAutoModelForCausalLM	Generering af tekst	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/spd/llama33-70b-awq__draft-llama32-1b/
Mistral	MistralForCausalLM	mistralai/mistral-7B-Instruct-v0.1	Sprogmodel kun med tekst	1.20.4	QEFFAutoModelForCausalLM	Tekst-generation	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Mistral-7B-Instruct-v0.1/
Phi-4	Phi3ForCausalLM	Microsoft/PHI-4	Sprogmodel kun med tekst	1.20.4	QEFFAutoModelForCausalLM	Generering af tekst	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/phi-4/
Qwen3	Qwen3Moe	Qwen/Qwen3-30B-A3B-Instruct-2507	Sprogmodel kun med tekst	1.20.4	QEFFAutoModelForCausalLM	Generering af tekst	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Qwen3-30B-A3B-Instruct-2507/
Qwen3-koder	Qwen3Moe	Qwen/Qwen3-Coder-30B-A3B-Instruere	Sprogmodel kun med tekst	1.20.4	QEFFAutoModelForCausalLM	Generering af kode	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Qwen3-Coder-30B-A3B-Instruct/
Sarvamai	Sarvamai	SarvaMai/Sarvam-1	Sprogmodel kun med tekst	1.20.4	QEFFAutoModelForCausalLM	Tekstgenerering Indisk sprogfokus	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/sarvam-1/
SDXL	StableDiffusionForTextToImage	STABILITETAI/STABIL-DIFFUSION-XL-BASE-1.0	Multimodal sprogmodel	1.20.4	AutoPipelineForText2Image	Vision-sprogmodeller (tekst + billedgen)	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/stable-diffusion-xl-base-1.0/
SDXL Turbo	StableDiffusionForTextToImage	STABILITETAI/SDXL-TURBO	Multimodal sprogmodel	1.20.4	AutoPipelineForText2Image	Vision-sprogmodeller (tekst + billedgen)	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/sdxl_turbo/
Hviske	Hviske	openai/hviske-base	Lydmodel	1.20.4	QEFFAutoModelForSpeechSeq2Seq	Automatisk talegenkendelse (transskription)	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/whisper-base/
Hviske	Hviske	Openai/hvisken-stor-V3-turbo	Lydmodel	1.20.4	QEFFAutoModelForSpeechSeq2Seq	Automatisk talegenkendelse (transskription)	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/whisper-large-v3-turbo/
Hviske	Hviske	Openai/hviske-stor	Lydmodel	1.20.4	QEFFAutoModelForSpeechSeq2Seq	Automatisk talegenkendelse (transskription)	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/whisper-large/
Hviske	Hviske	Openai/hviske-mellem	Lydmodel	1.20.4	QEFFAutoModelForSpeechSeq2Seq	Automatisk talegenkendelse (transskription)	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/whisper-medium/
Hviske	Hviske	Openai/hvisken-lille	Lydmodel	1.20.4	QEFFAutoModelForSpeechSeq2Seq	Automatisk talegenkendelse (transskription)	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/whisper-small/
Hviske	Hviske	openai-hviske-lille	Lydmodel	1.20.4	QEFFAutoModelForSpeechSeq2Seq	Automatisk talegenkendelse (transskription)	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/whisper-tiny/
XLM-RoBERTa	XLMRobertaModel	intfloat/flersproget-E5-large	Indlejring af model	1.20.4	QEFFAutoModel	Indlejring af tekst	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/multilingual-e5-large/
XLM-RoBERTa	XLMRobertaModel	intfloat/flersproget-E5-Small	Indlejring af model	1.19.6	QEFFAutoModel	Indlejring af tekst	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.19.6/multilingual-e5-small/

Tilbage til toppen

Affected Products

Dell Pro Max 16 Plus MB16250

Article Number: 000393093

Article Type: How To

Last Modified: 24 May 2026

Version: 9

Check if your device is covered by Support Services.

Sådan opsætter du Dell Pro Max 16 Plus med Qualcomm Inference Card i Linux

Summary: Få mere at vide om, hvordan du konfigurerer Dell Pro Max 16 Plus MB16250 med Qualcomm Inference Card i Linux.

Instructions

Affected Products

Instructions

Opsætning af Dell Pro Max 16 Plus med Qualcomm Inference Card i Linux

Kontrol af AI100-kortinstallationen.

Opdatering af BIOS på Dell Pro Max 16 Plus-arbejdsstationen.

Opdatering af Ubuntu-operativsystemet (OS) på din Dell Pro Max 16 Plus-arbejdsstation

Opdatering af GRUB-kerneparametre.

Installer Docker

Dell Pro Max 16 Plus AI100-arbejdsstationens AI100-inferenskort er nu klar til brug!

Kontrol af AI100-kortet

Løbetestslutning

Nyttige links

AI100 Færdigbyggede modeller

Affected Products

Article Properties

Find answers to your questions from other Dell users

Support Services

Article Properties

Find answers to your questions from other Dell users

Support Services

Sådan opsætter du Dell Pro Max 16 Plus med Qualcomm Inference Card i Linux

Summary: Få mere at vide om, hvordan du konfigurerer Dell Pro Max 16 Plus MB16250 med Qualcomm Inference Card i Linux.

Detailed Article

Instructions

Affected Products

Instructions

Opsætning af Dell Pro Max 16 Plus med Qualcomm Inference Card i Linux

Kontrol af AI100-kortinstallationen.

Opdatering af BIOS på Dell Pro Max 16 Plus-arbejdsstationen.

Opdatering af Ubuntu-operativsystemet (OS) på din Dell Pro Max 16 Plus-arbejdsstation

Opdatering af GRUB-kerneparametre.

Installer Docker

Dell Pro Max 16 Plus AI100-arbejdsstationens AI100-inferenskort er nu klar til brug!

Kontrol af AI100-kortet

Løbetestslutning

Nyttige links

AI100 Færdigbyggede modeller

Affected Products

Article Properties

Find answers to your questions from other Dell users

Support Services

Article Properties

Find answers to your questions from other Dell users

Support Services