De Dell Pro Max 16 Plus instellen met Qualcomm inferentiekaart in Linux

Summary: Ontdek hoe u de Dell Pro Max 16 Plus MB16250 met Qualcomm Inference Card instelt in Linux.

This article applies to This article does not apply to This article is not tied to any specific product. Not all product versions are identified in this article.
Check out other resources

Instructions

De Dell Pro Max 16 Plus met Qualcomm Inference Card instellen in Linux

Welkom bij uw Dell Pro Max 16 Plus met Qualcomm AI100 inferentiekaart!

Volg deze eenmalige installatiestappen hieronder om de kaart klaar te maken voor AI-inferencing-workloads met Ubuntu 24.04 op het Dell Pro Max 16 Plus workstation. Dit zorgt ervoor dat het workstation en de kaart de juiste software en configuratie hebben om meteen met de kaart aan de slag te gaan.

  1. De installatie van de AI100-kaart controleren.

    Gebruik het volgende lspci Opdracht om te controleren of de kaart op de laptop is geïnstalleerd: 
    lspci | grep Qualcomm

    Met deze opdracht worden twee (2) Qualcomm A100 PCIe-apparaatvermeldingen voor de AI100-kaart weergegeven. 
    dell@dell:~$ lspci | grep Qualcomm
 04:00.0 Processing accelerators: Qualcomm Technologies, Inc Device a100
 05:00.0 Processing accelerators: Qualcomm Technologies, Inc Device a100
 dell@dell:~$

     

  2. Het BIOS op het Dell Pro Max 16 Plus workstation updaten.

    Werk het BIOS van het werkstation bij om ervoor te zorgen dat de laptop de nieuwste ondersteuning voor de AI100-inferentiekaart heeft. Gebruik de volgende opdrachten om te controleren op BIOS-updates en voer vervolgens een upgrade uit als er een update beschikbaar is:
    Opdrachten om te controleren op BIOS-updates: 
    sudo fwupdmgr refresh --force
 sudo fwupdmgr upgrade

    Voorbeelduitvoer bijwerken naar het nieuwste BIOS. 
    dell@dell:~$ sudo fwupdmgr refresh --force
 Updating lvfs
 Downloading…          [*************************************]
 Successfully downloaded new metadata: 7 local devices supported
 dell@dell:~$ sudo fwupdmgr upgrade
 Devices with no available firmware updates:
 • Integrated Webcam 8M
 • PC811 SED SK hynix 2048GB
 • TPM
 • UEFI Device Firmware
 • UEFI dbx
 • USB4 host controller
 
 Perform operation? [Y|n]: Y
 Waiting…          [***************************************]
 Successfully installed firmware
 Do not turn off your computer or remove the AC adapter while the update is in progress.
 An update requires a reboot to complete. Restart now? [y|N]:

    Controleer of BIOS-versie 2.22 of hoger is geïnstalleerd met behulp van het dmidecode Opdracht: Bestaande BIOS-firmwareversie controleren. 
    sudo dmidecode -t 0

     

  3. Het Ubuntu-besturingssysteem (OS) bijwerken op uw Dell Pro Max 16 Plus workstation

    Bij de volgende update van het Ubuntu besturingssysteem op het werkstation wordt ondersteuning voor de AI100-inferentiekaart geïntegreerd in Ubuntu 24.04. Ubuntu bijwerken zorgt ervoor dat de nieuwste kernelmodules en AI100-firmware-updates beschikbaar zijn voor uw kaart.
    Ubuntu bijwerken - gebruikt u de Ubuntu "Software Updater" in het menu van de desktop-apps, of gebruikt u de volgende opdrachten in een Terminal:
    Opdrachten voor het bijwerken van uw Ubuntu-software in de Terminal: 
    sudo apt-get update
 sudo apt-get upgrade
 sudo reboot
     

    Nadat de laptop Ubuntu heeft gedownload, geïnstalleerd en bijgewerkt, start u het werkstation opnieuw op om ervoor te zorgen dat eventuele wijzigingen in de opstarttijd voor de kernel worden doorgevoerd.

    Controleer of uw bijgewerkte Ubuntu-kernel versie 6.14.0-1017-oem of nieuwer is. Deze versie bevat de ondertekende kernelmodules die uw AI100 ondersteunen met Secure Boot ingeschakeld. Gebruik de volgende opdracht om uw kernelversie te controleren.


    Controleren of de Linux-kernel versie 6.14.0-1017-oem of nieuwer is.  
    dell@dell:~$ uname -r
 6.14.0-1017-oem

     

    dell@dell:~$ uname -r
 6.14.0-1017-oem

    Controleer vervolgens of het Linux-firmwarepakket dat de AI100-firmware bevat versie 2.22 of hoger is met behulp van deze opdrachtregelopdracht:

    Controleren of de Linux-firmware versie 2.22 of hoger is. 
    dell@dell:~$ dpkg-query --list linux-firmware
 Desired=Unknown/Install/Remove/Purge/Hold
 | Status=Not/Inst/Conf-files/Unpacked/halF-conf/Half-inst/trig-aWait/Trig-pend
 |/ Err?=(none)/Reinst-required (Status,Err: uppercase=bad)
 ||/ Name Version Architecture Description
 +++-==============-================================-============-=================================
 ii linux-firmware 20240318.git3b128b60-0ubuntu2.22 amd64 Firmware for Linux kernel drivers
 dell@dell:~$

     

  4. Bezig met bijwerken van GRUB Kernel-parameters.

    Om de Qualcomm AI100 inferentiekaart volledig te gebruiken, schakelt u de functie PCIe Access Control System (ACS) uit. Dit is vereist om tensor slicing volledig te ondersteunen met behulp van beide AI100-apparaten op de Qualcomm AI100-kaart. Schakel ACS uit op de PCIe-switch op de AI100-kaart. Dit maakt volledige datatoegang mogelijk tussen de twee AI100-apparaten en alle 64 GB ingebouwde RAM bij het uitvoeren van inferentie over beide.

    Dit wordt gedaan door een Linux-kernelparameter door te geven die wordt toegevoegd aan de GRUB-configuratie ter ondersteuning van de Qualcomm AI100-inferentiekaart. Kernelparameters zijn configuraties die tijdens het opstarten aan de Linux-kernel worden doorgegeven en die de kernel instrueren hoe bepaalde functies moeten worden geconfigureerd. In dit geval wordt ACS uitgeschakeld voor de AI100-kaart. Dit wordt gedaan door een kernelparameter toe te voegen aan het GRUB-configuratiebestand.

    Open het GRUB-configuratiebestand met rootrechten met behulp van een teksteditor.

    Het GRUB-configuratiebestand bewerken /etc/default/grub.   
    sudo nano /etc/default/grub

     

    sudo nano /etc/default/grub

     

     Bewerk de GRUB_CMDLINE_LINUX_DEFAULT lijn om de pci=disable_acs_redir (schakel ACS uit op de PCIe-switch van de AI100-kaart). Zorg ervoor dat u de exacte syntaxis hieronder hebt. Zorg er ook voor dat er maar één GRUB_CMDLINE_LINUX_DEFAULT lijn in de /etc/default/grub bestand (kernelopties samenvoegen indien nodig, op één regel).

    Wijzigen GRUB_CMDLINE_LINUX_DEFAULT Lijn. 
    GRUB_CMDLINE_LINUX_DEFAULT="quiet splash pci=disable_acs_redir=03:00.0\;03:01.0"

     

    Druk op CTRL+X, selecteer J en druk op ENTER om de configuratiewijzigingen op te slaan. Voer nu het volgende uit en start opnieuw op om deze te activeren.


    Genereer de GRUB-configuratie opnieuw. 
    sudo update-grub
 sudo reboot

     

    Controleer de wijzigingen met de volgende opdrachten na het opnieuw opstarten.

    Controleer de GRUB-configuratiewijzigingen. 
    dell@dell:~$ cat /proc/cmdline
 BOOT_IMAGE=/boot/vmlinuz-6.14.0-1016-oem root=UUID=cd20aec8-6b44-45f7-bca5-307240cec24b ro quiet splash
 pci=disable_acs_redir=03:00.0;03:01.0 vt.handoff=7

     

    dell@dell:~$ cat /proc/cmdline
 BOOT_IMAGE=/boot/vmlinuz-6.14.0-1016-oem root=UUID=cd20aec8-6b44-45f7-bca5-307240cec24b ro quiet splash
 pci=disable_acs_redir=03:00.0;03:01.0 vt.handoff=7


    Controleer of ACS is uitgeschakeld met dmesg. Berichten voor "Configured ACS" worden als volgt weergegeven: 
    dell@dell:~$ sudo dmesg | grep ACS
 [ 0.000000] Command line: BOOT_IMAGE=/boot/vmlinuz-6.14.0-1016-oem root=UUID=cd20aec8-6b44-45f7-bca5-307240cec24b ro quiet splash pcie_port_m=force pci=disable_acs_redir=03:00.0;03:01.0 vt.handoff=7
 [ 0.141658] Kernel command line: BOOT_IMAGE=/boot/vmlinuz-6.14.0-1016-oem root=UUID=cd20aec8-6b44-45f7-bca5-307240cec24b ro quiet splash pcie_port_m=force pci=disable_acs_redir=03:00.0;03:01.0 vt.handoff=7
 [ 0.741030] pci 0000:03:00.0: Configured ACS to 0x0000
 [ 0.745422] pci 0000:03:01.0: Configured ACS to 0x0000

     

  5. Docker installeren

    De snelste manier om inferentie uit te voeren op de AI100-kaart is door vooraf gebouwde AI100 Docker-containers te gebruiken die ondersteuning bieden voor de Qualcomm AI100-deductiekaart. De vooraf gebouwde Docker-container biedt een kant-en-klare omgeving voor het uitvoeren van de inferentieworkloads. De container bevat het Qualcomm AI100 platform en apps SDK's en toolchain, Python-omgeving, Qualcomm Efficient Transformers voor het compileren van AI-modellen en het uitvoeren van inferenties, evenals gebruiksklare vLLM- en Triton-ondersteuning voor de AI100-inferentiekaart.

    Gebruik de volgende opdracht om Docker in Ubuntu te installeren:

    sudo snap install docker

     

    Voer de volgende opdrachten uit om docker als een normale gebruiker uit te voeren.
    Opdrachten om docker uit te voeren als een normale gebruiker.  
    # create and join the docker group
 sudo addgroup --system docker
 sudo adduser $USER docker
 newgrp docker
 
 # disable and re-enable the docker snap if you added the group while Docker Engine was running
 sudo snap disable docker
 sudo snap enable docker

     

    # create and join the docker group
 sudo addgroup --system docker
 sudo adduser $USER docker
 newgrp docker
 
 # disable and re-enable the docker snap if you added the group while Docker Engine was running
 sudo snap disable docker
 sudo snap enable docker

    Het voorvoegsel voor alle docker-opdrachten met sudo is vereist als de gebruiker niet aan de docker-groep is toegevoegd: 
    sudo docker run ...

     

    Referentie: Docker Snap Deze hyperlink leidt u naar een website buiten Dell Technologies.

    Als alternatief kan Docker worden geïnstalleerd met behulp van apt Debian Docker Docs Deze hyperlink leidt u naar een website buiten Dell Technologies.

    Nadat Docker is geïnstalleerd, test u de installatie als volgt:

    Controleer of de Docker installeert met hello-world: 
    dell@dell:~$ docker run hello-world
 Unable to find image 'hello-world:latest' locally
 latest: Pulling from library/hello-world
 17eec7bbc9d7: Pull complete
 Digest: sha256:d4aaab6242e0cace87e2ec17a2ed3d779d18fbfd03042ea58f2995626396a274
 Status: Downloaded newer image for hello-world:latest
 
 Hello from Docker!
 This message shows that your installation appears to be working correctly.
 ...

     

  6. De deductiekaart voor het Dell Pro Max 16 Plus workstation AI100 is nu klaar voor gebruik!

    Hiermee is de eenmalige installatie voltooid die nodig is om de AI100-inferentiekaart te gebruiken. In de volgende secties wordt uitgelegd hoe u AI100-tools kunt gebruiken om de status van de kaart te zien en de eerste eenvoudige inferentie uit te voeren om te controleren of de AI100-kaart operationeel is.

     

  7. De AI100-kaart controleren

    Controleer de AI100-kaart en voer de initiële deductie uit met behulp van een vooraf gebouwde AI100 Docker-container met alle AI100 Platform en Apps SDK's, toolchain en vLLM en Triton inferencingtools die nodig zijn om de kaart te gebruiken.

    Als dit de eerste keer is dat de AI100 Docker-container wordt uitgevoerd, haalt deze opdracht ook de container op. De AI100 Docker-containerimage is ~14 GB download. Gebruik de volgende opdracht om de AI100 Docker-container te starten:


    Start de AI100 Docker-container. 
    docker run --rm -it \
 --privileged \
 --device=/dev/accel/accel1 \
 --device=/dev/accel/accel2 \
 --network host \
 --ulimit nofile=1048576 \
 -e OMP_NUM_THREADS=8 \
 ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 \
 /bin/bash


    Zodra de AI100 Docker-container is opgehaald en uitgevoerd, wordt de uitvoer als volgt op het scherm weergegeven:
    Voorbeelduitvoer na het starten van de AI100 Docker-container. 
    dell@dell:~$ docker run --rm -it --device=/dev/accel/accel1 --device=/dev/accel/accel2 --network host --ulimit nofile=1048576 -e OMP_NUM_THREADS=8 -v ~/Downloads/qwen3_coder_qpc:/root/qpc/ ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 /bin/bash
 ==================================
 == Qualcomm Cloud AI Containers ==
 ==================================
 
 Platform SDK version: 1.20.6.0
 Apps SDK version: 1.20.6.0
 
 This container image and its contents are governed by the terms of
 the license at /usr/share/doc/CONTAINER_LICENSE.txt. By pulling and
 using the container, you accept the terms and conditions of this license.
 
 root@dell:~#

     

    dell@dell:~$ docker run --rm -it --device=/dev/accel/accel1 --device=/dev/accel/accel2 --network host --ulimit nofile=1048576 -e OMP_NUM_THREADS=8 -v ~/Downloads/qwen3_coder_qpc:/root/qpc/ ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 /bin/bash
 ==================================
 == Qualcomm Cloud AI Containers ==
 ==================================
 
 Platform SDK version: 1.20.6.0
 Apps SDK version: 1.20.6.0
 
 This container image and its contents are governed by the terms of
 the license at /usr/share/doc/CONTAINER_LICENSE.txt. By pulling and
 using the container, you accept the terms and conditions of this license.
 
 root@dell:~#


    Gebruik de AI100 qaic-util -q opdracht om tekstuele uitvoer van de toestand van de AI100-kaart te leveren, zoals in de volgende voorbeelduitvoer.
    Voorbeelduitvoer voor qaic-util -q 
    root@dell:~# qaic-util -q
 LRT QC_IMAGE_VERSION: LRT.AIC.13.2.1.20.6.0
 LRT IMAGE_VARIANT: LRT.AIC.REL
 Number of devices queried: 2
 QID 0
 Status:Ready
 ...

     

    Een rasterstatusweergave is mogelijk met behulp van de qaic-util -t 1 opdracht die de kaartstatus periodiek bijwerkt. De volgende voorbeelduitvoer toont de AI100-kaart in de inactieve stand. De AI100-kaart bevat twee AI100-apparaten, elk met 16 rekenkernen van de Neural Signal Processor (NSP). Elk apparaat toont 32 GB geheugen, in totaal 64 GB op de kaart:

    Voorbeeld van inactieve uitvoer voor qaic-util -t 1. 
    root@dell:~# qaic-util -t 1

    Voorbeeld van inactieve uitvoer voor qaic-util -t 1

    Hier is nog een voorbeeld qaic-util uitvoer terwijl de AI100-kaart een AI-inferencing-workload uitvoert. In dit geval toont het een groter model - qwen3-coder:30b. De output laat zien dat alle 16 NSP's worden gebruikt op elk AI100-apparaat, de kaarttemperatuur is gestegen tot 47C door lagere inactieve temperaturen, dat elk AI100-onderdeel elk ~13 GB gebruikt, in totaal 26 GB voor het model, het totale vermogen dat voor het bord wordt gebruikt is 51 van de maximaal 75 W, en dat de NSP-frequentie voor de workload is verhoogd tot 1100 Mhz.


    Voorbeelduitvoer voor AI100 uitvoerende inferentie met behulp van qaic-util -t 1. 
    root@dell:~# qaic-util -t 1

    Voorbeelduitvoer voor AI100 lopende inferentie met behulp van qaic-util -t 1
    Om de AI100-kaart te resetten, gebruikt u de qaic-util -s Opdracht. Voor deze opdracht is hardwaretoestemming in de container vereist, waardoor de opdrachtregelparameter --privileged is vereist bij het uitvoeren van de container. De volgende voorbeelduitvoer toont het gebruik van qaic util -s gevolgd door qaic-util -t 1 om de kaartstatus te controleren. Ongeldige veldwaarden zoals in de onderstaande voorbeelduitvoer worden weergegeven totdat de kaart de reset voltooit:


    Voorbeelduitvoer van AI100-kaartreset met behulp van qaic-util -s als qaic-util -t 1. 
    root@dell:~# qaic-util -s
 Resetting all devices…
 0000:04:00.0:
 0000:04:00.0 success
 0000:05:00.0:
 0000:05:00.0 success
 root@dell:~# qaic-util -t 1

    Voorbeelduitvoer van AI100-kaartreset met qaic-util -s en qaic-util -t 1
    Gebruik één systeemprompt om de AI100-kaartstatus als volgt op te roepen met behulp van de AI100 Docker-container.


    Start de AI100 Docker-container. 
    docker run --rm -it \
 --privileged \
 --device=/dev/accel/accel1 \
 --device=/dev/accel/accel2 \
 --network host \
 --ulimit nofile=1048576 \
 -e OMP_NUM_THREADS=8 \
 ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 \
 qaic-util -t 1

     

    docker run --rm -it \
 --privileged \
 --device=/dev/accel/accel1 \
 --device=/dev/accel/accel2 \
 --network host \
 --ulimit nofile=1048576 \
 -e OMP_NUM_THREADS=8 \
 ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 \
 qaic-util -t 1

     

    Opmerking: Foutuitvoerregels worden weergegeven bij het uitvoeren van de qaic-util -s als qaic-util -t 1 commando's en in de rasteruitvoer wordt "Invalid" weergegeven voor Temperature and Board Power/TDP en "0.00 W" weergegeven voor SoC Power. Er zijn wijzigingen in flight upstream om dit op te lossen in aankomende Ubuntu OS- en AI100 Docker-containerupdates.

     

  8. Testinferentie uitvoeren

    In dit gedeelte wordt uitgelegd hoe u een snelle inferentietest uitvoert op de AI100-kaart. Gebruik deze inferentietest om de functionaliteit van de AI100-kaart te controleren.

    Gebruik de opdrachtregelopdracht qaic-runner Om de eerste testinferentieworkload uit te voeren. Gebruik -d om het doelapparaat AI100 te specificeren, -a om het aantal te gebruiken NSP's te specificeren, en -n Voor het aantal iteraties:


    Voorbeeld van testinferentie met qaic-runner. 
    docker run --rm -it \
 --device=/dev/accel/accel1 \
 --device=/dev/accel/accel2 \
 --network host \
 --ulimit nofile=1048576 \
 -e OMP_NUM_THREADS=8 \
 ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 \
 qaic-runner -t /opt/qti-aic/test-data/aic100/v2/1nsp/1nsp-conv-hmx/ -a 16 -n 5000 -d 0

     

    docker run --rm -it \
 --device=/dev/accel/accel1 \
 --device=/dev/accel/accel2 \
 --network host \
 --ulimit nofile=1048576 \
 -e OMP_NUM_THREADS=8 \
 ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 \
 qaic-runner -t /opt/qti-aic/test-data/aic100/v2/1nsp/1nsp-conv-hmx/ -a 16 -n 5000 -d 0


    Voorbeelduitvoer zoals de volgende wordt op het scherm weergegeven:
    Voorbeelduitvoer voor het uitvoeren van testconclusies. 
    dell@dell:~$ docker run --rm -it \
 --device=/dev/accel/accel1 \
 --device=/dev/accel/accel2 \
 --network host \
 --ulimit nofile=1048576 \
 -e OMP_NUM_THREADS=8 \
 ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 \
 qaic-runner -t /opt/qti-aic/test-data/aic100/v2/1nsp/1nsp-conv-hmx/ -a 16 -n 5000 -d 0
 loading /opt/qti-aic/dev/lib/x86_64/libQAic.so
 ---- Stats ----
 InferenceCnt 5000 TotalDuration 22544us BatchSize 1 Inf/Sec 221788.502

     

  9. Relevante koppelingen

    De onderstaande tabel bevat een lijst met belangrijke en nuttige AI100-bronnen en koppelingen om het meeste uit de AI100-inferentiekaart te halen.

    • Qualcomm AI100 gebruikershandleidingDeze hyperlink leidt u naar een website buiten Dell Technologies.: Uitgangspunt voor alle onderwerpen AI100 - uitgebreide AI100 gebruikershandleiding
    • Qualcomm Efficient Transformers LibraryDeze hyperlink leidt u naar een website buiten Dell Technologies.: Bibliotheek om het uitvoeren van veel LLM's van HuggingFace op de Qualcomm AI100 te versnellen
    • QAIC-containersDeze hyperlink leidt u naar een website buiten Dell Technologies.: Docker-containers met de AI100 toolchain inclusief ondersteuning voor vLLM en Triton met Ubuntu 24.04
    • QAIC Containers - 24.04 laatsteDeze hyperlink leidt u naar een website buiten Dell Technologies.: Docker QAIC-container met 24.04 wordt aanbevolen voor gebruik met de AI100-inferentiekaart
    • Qualcomm Efficient Transformers Developer BlogDeze hyperlink leidt u naar een website buiten Dell Technologies.: Goed overzicht van efficiënte transformatoren met eenvoudige en snelle voorbeelden
    • http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/ Deze hyperlink leidt u naar een website buiten Dell Technologies.: Zie de catalogus voor voorgecompileerde modellen om te downloaden en uit te voeren op de AI100-kaart (modellen gebouwd voor twee SoC's)
      Opmerking: Deze URL is geen HTTPS-link. Gebruik op eigen risico.
    Opmerking: Ga naar de supportwebsite en gebruik het filtertrefwoord Linux om andere Dell artikelen te bekijken die zijn gerelateerd aan de Dell Pro Max 16 Plus MB16250 met Al100 laptop:

  10. AI100 geprefabriceerde modellen

    De onderstaande tabel bevat een snapshot van AI-modellen die vooraf zijn gebouwd om in de AI100 Docker-container te worden uitgevoerd (bijvoorbeeld met behulp van vLLM).

    De AI100-inferentiekaart voert modellen uit met behulp van een Qualcomm Program Container (QPC)-indeling. QPC's kunnen worden gebouwd op basis van Huggingface-modellen met behulp van de AI100 Platform en Apps SDK's, of gebruik vooraf gebouwde AI-model QPC's uit de online Zentree-catalogus via de volgende link. QPC's worden gebouwd gericht op het aantal AI100-apparaten op de kaart - de Dell Pro Max 16 Plus met Qualcomm Inference Card ondersteunt QPC's die zijn gebouwd om te draaien op een of twee SoC's (AI100 System on a Chip). Een QPC die is gebouwd voor twee AI100-apparaten maakt gebruik van tensor slicing om grote modellen te kunnen uitvoeren met behulp van de rekenkracht van twee AI100-apparaten over de volledige 64 GB geheugen op de kaart.

    Zie het tabblad Catalogus via de volgende koppeling voor de http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/ Deze hyperlink leidt u naar een website buiten Dell Technologies..

    Opmerking: Deze URL's zijn geen HTTPS-links. Gebruik op eigen risico.

     

    Modelfamilie Modelarchitectuur Representatief model Model QAIC SDK-versie QEff Auto Class Taak QPC-koppeling
    BERT BERTModel BAAI/bge-large-en-v1.5 Model insluiten 1.19.6 QEFFAutoModel Tekst insluiten http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.19.6/bge-large-en-v1.5/ Deze hyperlink leidt u naar een website buiten Dell Technologies.
    BERT BERTModel BAAI/bge-m3 Model insluiten 1.19.6 QEFFAutoModel Tekst insluiten http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.19.6/bge-m3/ Deze hyperlink leidt u naar een website buiten Dell Technologies.
    BERT BERTModel BAAI/bge-base-en-v1.5 Model insluiten 1.19.6 QEFFAutoModel Tekst insluiten http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.19.6/bge-base-en-v1.5/ Deze hyperlink leidt u naar een website buiten Dell Technologies.
    DeepSeek-R1-Distillatie-Lama LamaForCausalLM Valdemardi/DeepSeek-R1-Distilleerde-Lama-70B-AWQ Taalmodel met alleen tekst 1.20.4 QEFFAutoModelForCausalLM Tekstgeneratie http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/DeepSeek-R1-Distill-Llama-70B-AWQ/ Deze hyperlink leidt u naar een website buiten Dell Technologies.
    DeepSeek-R1-Distillatie-Lama LamaForCausalLM Casperhansen/Deepseek-R1-Distilleerde-Lama-8B-AWQ Taalmodel met alleen tekst 1.20.4 QEFFAutoModelForCausalLM Tekstgeneratie http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/deepseek-r1-distill-llama-8b-awq/ Deze hyperlink leidt u naar een website buiten Dell Technologies.
    DeepSeek-R1-Distillatie-Qwen Qwen2ForCausalLM Valdemardi/DeepSeek-R1-Distillatie-Lama-32B-AWQ Taalmodel met alleen tekst 1.20.4 QEFFAutoModelForCausalLM Tekstgeneratie http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/DeepSeek-R1-Distill-Qwen-32B-AWQ/ Deze hyperlink leidt u naar een website buiten Dell Technologies.
    DeepSeek-R1-Distillatie-Qwen Qwen2ForCausalLM Casperhansen/deepseek-R1-distillatie-QWEN-7B-AWQ Taalmodel met alleen tekst 1.20.4 QEFFAutoModelForCausalLM Tekstgeneratie http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/deepseek-r1-distill-qwen-7b-awq/ Deze hyperlink leidt u naar een website buiten Dell Technologies.
    Gemma3 zei: Gemma3ForConditionalGeneration google/gemma-3-4b-it Multimodaal taalmodel 1.20.4 QEFFAutoModelForImageTextToText Visie-taalmodellen (tekst + afbeelding gen) http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/gemma-3-4b-it/ Deze hyperlink leidt u naar een website buiten Dell Technologies.
    GPT-OSS GptOssForCausalLM OpenAI/GPT-OSS-20B Taalmodel met alleen tekst 1.20.4 QEFFAutoModeForCausalLM Tekst genereren http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/gpt-oss-20b/ Deze hyperlink leidt u naar een website buiten Dell Technologies.
    Graniet-3.2 GraniteForCausalLM IBM-Graniet/Graniet-3.2-8B-Instruct Taalmodel met alleen tekst 1.20.4 QEFFAutoModelForCausalLM Tekst genereren http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/granite-3.2-8b-instruct/ Deze hyperlink leidt u naar een website buiten Dell Technologies.
    Graniet-3.3 GraniteForCausalLM IBM-Graniet/Graniet-3.3-8B-Instruct Taalmodel met alleen tekst 1.20.4 QEFFAutoModelForCausalLM Tekst genereren http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/granite-3.3-8b-instruct/ Deze hyperlink leidt u naar een website buiten Dell Technologies.
    Lama 3.1 LamaForCausalLM meta-lama/Lama-3.1-8B-Instrueren Taalmodel met alleen tekst 1.20.4 QEFFAutoModelForCausalLM Tekst genereren http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Llama-3.1-8B/ Deze hyperlink leidt u naar een website buiten Dell Technologies.
    Lama 3.1 Nemotron LamaForCausalLM ibnzterrell/nvidia-llama-3.1-nemotron-70B-instruct-HF-AWQ-INT4 Taalmodel met alleen tekst 1.20.4 QEFFAutoModelForCausalLM Tekst genereren http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Nvidia-Llama-3.1-Nemotron-70B-Instruct-HF-AWQ-INT4/ Deze hyperlink leidt u naar een website buiten Dell Technologies.
    Lama 3.1 Nemotron LamaForCausalLM nvidia/Lama-3.1-Nemotron-Nano-8B-v1 Taalmodel met alleen tekst 1.20.4 QEFFAutoModelForCausalLM Tekst genereren http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Llama-3.1-Nemotron-Nano-8B-v1/ Deze hyperlink leidt u naar een website buiten Dell Technologies.
    Lama 3.2 LamaForCausalLM meta-lama/Lama-3.2-1B Taalmodel met alleen tekst 1.20.4 QEFFAutoModelForCausalLM Tekst genereren http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Llama-3.2-1B/ Deze hyperlink leidt u naar een website buiten Dell Technologies.
    Lama 3.2 LamaForCausalLM meta-lama/Lama-3.2-3B Taalmodel met alleen tekst 1.20.4 QEFFAutoModelForCausalLM Tekst genereren http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Llama-3.2-3B/ Deze hyperlink leidt u naar een website buiten Dell Technologies.
    Lama 3.2 LamaForCausalLM meta-lama/Lama-3.2-3B-Instrueren Taalmodel met alleen tekst 1.20.4 QEFFAutoModelForCausalLM Tekst genereren http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Llama-3.2-3B-Instruct/ Deze hyperlink leidt u naar een website buiten Dell Technologies.
    Lama 3.2 MllamaForConditionalGeneration meta-lama/Lama-3.2-11B-Vision-Instruct Multimodaal taalmodel 1.20.4 QEFFAutoModelForImageTextToText Visie-taalmodellen (tekst + afbeelding gen) http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Llama-3.2-11B-Vision-Instruct/ Deze hyperlink leidt u naar een website buiten Dell Technologies.
    Lama 3.2 Instrueren LamaForCausalLM meta-lama/Lama-3.2-1B-Instrueren Taalmodel met alleen tekst 1.20.4 QEFFAutoModelForCausalLM Tekst genereren http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Llama-3.2-1B-Instruct/ Deze hyperlink leidt u naar een website buiten Dell Technologies.
    Lama 3.x LamaForCausalLM Doel: Meta-Llama-3.1-70B-Instruct-AWQ-INT4
    Draft: Lama-3.2-1B-Instrueren    		 Speculatieve decodering (SpD) 1.20.4 QEFFAutoModelForCausalLM Tekst genereren http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/spd/meta-llama/ Deze hyperlink leidt u naar een website buiten Dell Technologies.
    Lama 3.x LamaForCausalLM Doel: casperhansen/lama-3.3-70b-instruct-awq
    Concept: meta-lama/lama-3.2-1B-instru    		 Speculatieve decodering (SpD) 1.20.4 QEFFAutoModelForCausalLM Tekst genereren http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/spd/llama33-70b-awq__draft-llama32-1b/ Deze hyperlink leidt u naar een website buiten Dell Technologies.
    Mistral MistralForCausalLM mistralai/Mistral-7B-Instruct-v0.1 Taalmodel met alleen tekst 1.20.4 QEFFAutoModelForCausalLM Tekstgeneratie http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Mistral-7B-Instruct-v0.1/ Deze hyperlink leidt u naar een website buiten Dell Technologies.
    Phi-4 Phi3ForCausalLM Microsoft/PHI-4 Taalmodel met alleen tekst 1.20.4 QEFFAutoModelForCausalLM Tekst genereren http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/phi-4/ Deze hyperlink leidt u naar een website buiten Dell Technologies.
    Qwen3 Qwen3Moe Qwen/Qwen3-30B-A3B-Instruct-2507 Taalmodel met alleen tekst 1.20.4 QEFFAutoModelForCausalLM Tekst genereren http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Qwen3-30B-A3B-Instruct-2507/ Deze hyperlink leidt u naar een website buiten Dell Technologies.
    Qwen3-Codeur Qwen3Moe Qwen/Qwen3-Coder-30B-A3B-Instruct Taalmodel met alleen tekst 1.20.4 QEFFAutoModelForCausalLM Code genereren http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Qwen3-Coder-30B-A3B-Instruct/ Deze hyperlink leidt u naar een website buiten Dell Technologies.
    Sarvamai Sarvamai Sarvamai/Sarvam-1 Taalmodel met alleen tekst 1.20.4 QEFFAutoModelForCausalLM Tekstgeneratie Indiase taalfocus http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/sarvam-1/ Deze hyperlink leidt u naar een website buiten Dell Technologies.
    SDXL StableDiffusionForTextToImage StabilityAI/stable-diffusion-xl-base-1.0 Multimodaal taalmodel 1.20.4 AutoPipelineForText2Image Visie-taalmodellen (tekst + afbeelding gen) http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/stable-diffusion-xl-base-1.0/ Deze hyperlink leidt u naar een website buiten Dell Technologies.
    SDXL Turbo StableDiffusionForTextToImage StabilityAI/SDXL-Turbo Multimodaal taalmodel 1.20.4 AutoPipelineForText2Image Visie-taalmodellen (tekst + afbeelding gen) http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/sdxl_turbo/ Deze hyperlink leidt u naar een website buiten Dell Technologies.
    Whisper Whisper OpenAI/Whisper-Base Audiomodel 1.20.4 QEFFAutoModelForSpeechSeq2Seq Automatische spraakherkenning (transcriptie) http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/whisper-base/ Deze hyperlink leidt u naar een website buiten Dell Technologies.
    Whisper Whisper OpenAI/Whisper-Large-V3-Turbo Audiomodel 1.20.4 QEFFAutoModelForSpeechSeq2Seq Automatische spraakherkenning (transcriptie) http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/whisper-large-v3-turbo/ Deze hyperlink leidt u naar een website buiten Dell Technologies.
    Whisper Whisper OpenAI/Whisper-Large Audiomodel 1.20.4 QEFFAutoModelForSpeechSeq2Seq Automatische spraakherkenning (transcriptie) http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/whisper-large/ Deze hyperlink leidt u naar een website buiten Dell Technologies.
    Whisper Whisper OpenAI/Whisper-Medium Audiomodel 1.20.4 QEFFAutoModelForSpeechSeq2Seq Automatische spraakherkenning (transcriptie) http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/whisper-medium/ Deze hyperlink leidt u naar een website buiten Dell Technologies.
    Whisper Whisper OpenAI/Whisper-Small Audiomodel 1.20.4 QEFFAutoModelForSpeechSeq2Seq Automatische spraakherkenning (transcriptie) http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/whisper-small/ Deze hyperlink leidt u naar een website buiten Dell Technologies.
    Whisper Whisper openai-fluister-klein Audiomodel 1.20.4 QEFFAutoModelForSpeechSeq2Seq Automatische spraakherkenning (transcriptie) http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/whisper-tiny/ Deze hyperlink leidt u naar een website buiten Dell Technologies.
    XLM-RoBERTa XLMRobertaModel intfloat/meertalig-e5-large Model insluiten 1.20.4 QEFFAutoModel Tekst insluiten http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/multilingual-e5-large/ Deze hyperlink leidt u naar een website buiten Dell Technologies.
    XLM-RoBERTa XLMRobertaModel intfloat/meertalig-e5-small Model insluiten 1.19.6 QEFFAutoModel Tekst insluiten http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.19.6/multilingual-e5-small/ Deze hyperlink leidt u naar een website buiten Dell Technologies.


Terug naar boven

Affected Products

Dell Pro Max 16 Plus MB16250
Article Properties
Article Number: 000393093
Article Type: How To
Last Modified: 24 May 2026
Version:  9
Find answers to your questions from other Dell users
Support Services
Check if your device is covered by Support Services.