Configuration de Dell Pro Max 16 Plus avec une carte d’inférence Qualcomm sous Linux
Summary: Découvrez comment configurer la Dell Pro Max 16 Plus MB16250 avec une carte d’inférence Qualcomm sous Linux.
Instructions
Configuration de Dell Pro Max 16 Plus avec carte d’inférence Qualcomm sous Linux
Bienvenue dans votre Dell Pro Max 16 Plus avec carte d’inférence Qualcomm AI100 !
Suivez les étapes de configuration ponctuelles ci-dessous pour préparer la carte aux charges applicatives d’inférence de l’IA à l’aide d’Ubuntu 24.04 sur la station de travail Dell Pro Max 16 Plus. Cela permet de s’assurer que la station de travail et la carte disposent des logiciels et des configurations de base appropriés pour se mettre immédiatement au travail avec la carte.
-
Vérification de l’installation de la carte AI100.
Utilisez les éléments suivantslspciCommande pour vérifier que la carte est installée sur l’ordinateur portable :lspci | grep Qualcomm
Cette commande affiche deux (2) entrées d’appareil PCIe Qualcomm a100 pour la carte AI100.dell@dell:~$ lspci | grep Qualcomm 04:00.0 Processing accelerators: Qualcomm Technologies, Inc Device a100 05:00.0 Processing accelerators: Qualcomm Technologies, Inc Device a100 dell@dell:~$ -
Mise à jour du BIOS sur la station de travail Dell Pro Max 16 Plus.
Mettez à jour le BIOS de la station de travail pour vous assurer que l’ordinateur portable dispose de la prise en charge la plus récente de la carte d’inférence AI100. Utilisez les commandes suivantes pour rechercher des mises à jour du BIOS, puis effectuez une mise à niveau si une mise à jour est disponible :
Commandes de recherche des mises à jour du BIOS :sudo fwupdmgr refresh --force sudo fwupdmgr upgrade
Exemple de sortie pour la mise à jour vers la dernière version du BIOS.dell@dell:~$ sudo fwupdmgr refresh --force Updating lvfs Downloading… [*************************************] Successfully downloaded new metadata: 7 local devices supported dell@dell:~$ sudo fwupdmgr upgrade Devices with no available firmware updates: • Integrated Webcam 8M • PC811 SED SK hynix 2048GB • TPM • UEFI Device Firmware • UEFI dbx • USB4 host controller Perform operation? [Y|n]: Y Waiting… [***************************************] Successfully installed firmware Do not turn off your computer or remove the AC adapter while the update is in progress. An update requires a reboot to complete. Restart now? [y|N]:
Vérifiez que la version 2.22 ou supérieure du BIOS est installée à l’aide dudmidecodesuivante : Vérification de la version actuelle du firmware du BIOS.sudo dmidecode -t 0 -
Mise à jour du système d’exploitation (SE) Ubuntu sur votre station de travail Dell Pro Max 16 Plus
Lors de la prochaine mise à jour du système d’exploitation Ubuntu sur la station de travail, la prise en charge de la carte d’inférence AI100 est intégrée à Ubuntu 24.04. La mise à jour d’Ubuntu garantit que les dernières mises à jour des modules de noyau et du firmware AI100 sont disponibles pour votre carte.
Pour mettre à jour Ubuntu, utilisez le programme de mise à jour logiciel Ubuntu dans le menu Applications du bureau ou utilisez les commandes suivantes dans un terminal :
Commandes de mise à jour de votre logiciel Ubuntu dans le terminal :sudo apt-get update sudo apt-get upgrade sudo rebootUne fois que l’ordinateur portable a téléchargé, installé et mis à jour Ubuntu, redémarrez la station de travail pour vous assurer que l’heure de démarrage du noyau a bien été modifiée.
Vérifiez que votre noyau Ubuntu mis à jour correspond à la version 6.14.0-1017-oem ou à une version plus récente. Cette version inclut les modules de noyau signés qui prennent en charge votre AI100 avec Secure Boot activé. Utilisez la commande suivante pour vérifier la version de votre noyau.
Vérifiez que le noyau Linux est la version 6.14.0-1017-oem ou une version plus récente.dell@dell:~$ uname -r 6.14.0-1017-oemdell@dell:~$ uname -r 6.14.0-1017-oem
Ensuite, vérifiez que le package de firmware Linux qui inclut le firmware AI100 est la version 2.22 ou supérieure à l’aide de cette commande de ligne de commande :
Vérification de la version 2.22 ou supérieure du firmware Linux.dell@dell:~$ dpkg-query --list linux-firmware Desired=Unknown/Install/Remove/Purge/Hold | Status=Not/Inst/Conf-files/Unpacked/halF-conf/Half-inst/trig-aWait/Trig-pend |/ Err?=(none)/Reinst-required (Status,Err: uppercase=bad) ||/ Name Version Architecture Description +++-==============-================================-============-================================= ii linux-firmware 20240318.git3b128b60-0ubuntu2.22 amd64 Firmware for Linux kernel drivers dell@dell:~$ -
Mise à jour des paramètres du noyau GRUB.
Pour utiliser pleinement la carte d’inférence Qualcomm AI100, désactivez la fonctionnalité appelée Système de contrôle d’accès PCIe (ACS). Cela est nécessaire pour prendre entièrement en charge le découpage tensoriel à l’aide des deux périphériques AI100 sur la carte Qualcomm AI100. Désactivez ACS sur le commutateur PCIe de la carte AI100. Cela permet un accès complet aux données entre les deux appareils AI100 et les 64 Go de RAM intégrée lors de l’exécution de l’inférence sur les deux.Cette opération s’effectue en transmettant un paramètre de noyau Linux qui est ajouté à la configuration GRUB pour prendre en charge la carte d’inférence Qualcomm AI100. Les paramètres du noyau sont des configurations transmises au noyau Linux lors du démarrage qui indiquent au noyau comment configurer certaines fonctionnalités. Dans ce cas, ACS est désactivé pour la carte AI100. Pour ce faire, vous devez ajouter un paramètre de noyau au fichier de configuration GRUB.
Ouvrez le fichier de configuration GRUB avec les privilèges root à l’aide d’un éditeur de texte.
Modifier le fichier de configuration GRUB/etc/default/grub.sudo nano /etc/default/grubsudo nano /etc/default/grub
Modifiez leGRUB_CMDLINE_LINUX_DEFAULTpour ajouter la lignepci=disable_acs_redir(désactivez ACS sur le commutateur PCIe de la carte AI100). Assurez-vous d’avoir la syntaxe exacte ci-dessous. Assurez-vous également qu’il n’y a qu’un seulGRUB_CMDLINE_LINUX_DEFAULTdans la ligne/etc/default/grubfichier (fusionner les options du noyau si nécessaire, sur une seule ligne).
ChangementGRUB_CMDLINE_LINUX_DEFAULTLigne.GRUB_CMDLINE_LINUX_DEFAULT="quiet splash pci=disable_acs_redir=03:00.0\;03:01.0"Appuyez sur CTRL+X, sélectionnez Y, puis appuyez sur Entrée pour enregistrer les modifications de configuration. Exécutez maintenant les opérations suivantes et redémarrez pour que les modifications prennent effet.
Régénérez la configuration GRUB.sudo update-grub sudo rebootVérifiez les modifications à l’aide des commandes suivantes après le redémarrage.
Vérifiez les modifications apportées à la configuration GRUB.dell@dell:~$ cat /proc/cmdline BOOT_IMAGE=/boot/vmlinuz-6.14.0-1016-oem root=UUID=cd20aec8-6b44-45f7-bca5-307240cec24b ro quiet splash pci=disable_acs_redir=03:00.0;03:01.0 vt.handoff=7dell@dell:~$ cat /proc/cmdline BOOT_IMAGE=/boot/vmlinuz-6.14.0-1016-oem root=UUID=cd20aec8-6b44-45f7-bca5-307240cec24b ro quiet splash pci=disable_acs_redir=03:00.0;03:01.0 vt.handoff=7
Vérifiez qu’ACS est désactivé à l’aide de dmesg. Les messages relatifs à « Configured ACS » se présentent comme indiqué ci-dessous :dell@dell:~$ sudo dmesg | grep ACS [ 0.000000] Command line: BOOT_IMAGE=/boot/vmlinuz-6.14.0-1016-oem root=UUID=cd20aec8-6b44-45f7-bca5-307240cec24b ro quiet splash pcie_port_m=force pci=disable_acs_redir=03:00.0;03:01.0 vt.handoff=7 [ 0.141658] Kernel command line: BOOT_IMAGE=/boot/vmlinuz-6.14.0-1016-oem root=UUID=cd20aec8-6b44-45f7-bca5-307240cec24b ro quiet splash pcie_port_m=force pci=disable_acs_redir=03:00.0;03:01.0 vt.handoff=7 [ 0.741030] pci 0000:03:00.0: Configured ACS to 0x0000 [ 0.745422] pci 0000:03:01.0: Configured ACS to 0x0000 -
Installer Docker
Le moyen le plus rapide d’exécuter l’inférence sur la carte AI100 consiste à utiliser des conteneurs Docker AI100 prédéfinis qui incluent la prise en charge de la carte d’inférence Qualcomm AI100. Le conteneur Docker prédéfini fournit un environnement prêt à l’emploi pour exécuter les charges applicatives d’inférence. Le conteneur comprend les SDK et la chaîne d’outils Qualcomm AI100 Platform and Apps, l’environnement Python, Qualcomm Efficient Transformers pour la compilation des modèles d’IA et l’exécution d’inférences, ainsi que la prise en charge de vLLM et Triton prêts à l’emploi pour la carte d’inférence AI100.
Pour installer Docker dans Ubuntu, utilisez la commande suivante :
sudo snap install docker
Pour exécuter docker en tant qu’utilisateur normal, exécutez les commandes suivantes.
Commandes permettant d’exécuter docker en tant qu’utilisateur normal.# create and join the docker group sudo addgroup --system docker sudo adduser $USER docker newgrp docker # disable and re-enable the docker snap if you added the group while Docker Engine was running sudo snap disable docker sudo snap enable docker# create and join the docker group sudo addgroup --system docker sudo adduser $USER docker newgrp docker # disable and re-enable the docker snap if you added the group while Docker Engine was running sudo snap disable docker sudo snap enable docker
Le préfixe sudo de toutes les commandes Docker est requis si l’utilisateur n’est pas ajouté au groupe Docker :sudo docker run ...Références : Docker Snap
Alternativement, Docker peut être installé à l’aide d’apt Debian Docker Docs
Une fois Docker installé, testez l’installation comme suit :
Vérifiez que Docker s’installe avec hello-world :dell@dell:~$ docker run hello-world Unable to find image 'hello-world:latest' locally latest: Pulling from library/hello-world 17eec7bbc9d7: Pull complete Digest: sha256:d4aaab6242e0cace87e2ec17a2ed3d779d18fbfd03042ea58f2995626396a274 Status: Downloaded newer image for hello-world:latest Hello from Docker! This message shows that your installation appears to be working correctly. ... -
La carte d’inférence AI100 de la station de travail Dell Pro Max 16 Plus est maintenant prête à être utilisée !
La procédure de configuration ponctuelle est terminée pour utiliser la carte d’inférence AI100. Les sections suivantes montrent comment utiliser les outils AI100 pour voir l’état de la carte et exécuter une inférence simple initiale pour vérifier que la carte AI100 est opérationnelle.
-
Vérification de la carte AI100
Vérifiez la carte AI100 et exécutez l’inférence initiale à l’aide d’un conteneur Docker AI100 prédéfini contenant tous les kits de développement logiciel (SDK) AI100 Platform and Apps, la chaîne d’outils et les outils d’inférence vLLM et Triton requis pour utiliser la carte.
S’il s’agit de la première exécution du conteneur Docker AI100, cette commande récupère également le conteneur. L’image de conteneur Docker AI100 est de ~14 Go à télécharger. Pour démarrer le conteneur Docker AI100, utilisez la commande suivante :
Démarrez le conteneur Docker AI100.docker run --rm -it \ --privileged \ --device=/dev/accel/accel1 \ --device=/dev/accel/accel2 \ --network host \ --ulimit nofile=1048576 \ -e OMP_NUM_THREADS=8 \ ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 \ /bin/bash
Une fois que le conteneur Docker AI100 a été extrait et exécuté, un résultat comme celui-ci s’affiche à l’écran :
Exemple de sortie après le démarrage du conteneur Docker AI100.dell@dell:~$ docker run --rm -it --device=/dev/accel/accel1 --device=/dev/accel/accel2 --network host --ulimit nofile=1048576 -e OMP_NUM_THREADS=8 -v ~/Downloads/qwen3_coder_qpc:/root/qpc/ ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 /bin/bash ================================== == Qualcomm Cloud AI Containers == ================================== Platform SDK version: 1.20.6.0 Apps SDK version: 1.20.6.0 This container image and its contents are governed by the terms of the license at /usr/share/doc/CONTAINER_LICENSE.txt. By pulling and using the container, you accept the terms and conditions of this license. root@dell:~#dell@dell:~$ docker run --rm -it --device=/dev/accel/accel1 --device=/dev/accel/accel2 --network host --ulimit nofile=1048576 -e OMP_NUM_THREADS=8 -v ~/Downloads/qwen3_coder_qpc:/root/qpc/ ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 /bin/bash ================================== == Qualcomm Cloud AI Containers == ================================== Platform SDK version: 1.20.6.0 Apps SDK version: 1.20.6.0 This container image and its contents are governed by the terms of the license at /usr/share/doc/CONTAINER_LICENSE.txt. By pulling and using the container, you accept the terms and conditions of this license. root@dell:~#
Utiliser l’AI100qaic-util -qpour fournir une sortie textuelle de l’état de la carte AI100, comme dans l’exemple de sortie suivant.
Exemple de sortie pourqaic-util -qroot@dell:~# qaic-util -q LRT QC_IMAGE_VERSION: LRT.AIC.13.2.1.20.6.0 LRT IMAGE_VARIANT: LRT.AIC.REL Number of devices queried: 2 QID 0 Status:Ready ...Une vue de l’état de la grille est possible à l’aide de la commande
Exemple de sortie d’inactivité pourqaic-util -t1 commande qui met régulièrement à jour l’état de la carte. L’exemple de sortie suivant montre la carte AI100 inactive. La carte AI100 comprend deux appareils AI100, chacun doté de 16 cœurs de calcul NSP (Neural Signal Processor). Chaque appareil affiche 32 Go de mémoire, soit un total de 64 Go sur la carte :qaic-util -t 1.root@dell:~# qaic-util -t 1
Voici un autre exempleqaic-utilalors que la carte AI100 exécute une charge applicative d’inférence d’IA. Dans ce cas, il montre un modèle plus grand - qwen3-coder :30b. La sortie montre que les 16 NSP sont utilisés sur chaque appareil AI100, que la température de la carte est passée de températures d’inactivité inférieures à 47 °C, que chaque pièce AI100 utilise ~13 Go chacune, soit un total de 26 Go pour le modèle, la puissance globale utilisée pour la carte est de 51 sur un maximum de 75 W, et que la fréquence du NSP a augmenté pour la charge applicative à 1100 MHz.
Exemple de sortie pour AI100 exécutant l’inférence à l’aide deqaic-util -t 1.root@dell:~# qaic-util -t 1
Pour réinitialiser la carte AI100, utilisez leqaic-util -s. Cette commande nécessite une autorisation matérielle à l’intérieur du conteneur, nécessitant le paramètre de ligne de commande « -privilege » lors de l’exécution du conteneur. L’exemple de résultat suivant montre l’utilisation deqaic util -ssuivi deqaic-util -t1 pour surveiller l’état de la carte. Les valeurs de champ non valides, comme dans l’exemple de sortie ci-dessous, s’affichent jusqu’à ce que la carte termine la réinitialisation :
Exemple de résultat de la réinitialisation de la carte AI100 à l’aide deqaic-util -setqaic-util -t 1.root@dell:~# qaic-util -s Resetting all devices… 0000:04:00.0: 0000:04:00.0 success 0000:05:00.0: 0000:05:00.0 success root@dell:~# qaic-util -t 1
Utilisez une seule invite système pour afficher l’état de la carte AI100 à l’aide du conteneur Docker AI100 comme suit.
Démarrez le conteneur Docker AI100.docker run --rm -it \ --privileged \ --device=/dev/accel/accel1 \ --device=/dev/accel/accel2 \ --network host \ --ulimit nofile=1048576 \ -e OMP_NUM_THREADS=8 \ ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 \ qaic-util -t 1docker run --rm -it \ --privileged \ --device=/dev/accel/accel1 \ --device=/dev/accel/accel2 \ --network host \ --ulimit nofile=1048576 \ -e OMP_NUM_THREADS=8 \ ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 \ qaic-util -t 1Remarque : Des lignes de sortie d’erreur s’affichent lors de l’exécution de la commandeqaic-util -setqaic-util -t 1et dans sa sortie de grille affichant « Invalid » pour la température et l’alimentation de la carte/TDP et « 0,00 W » affiché pour l’alimentation SoC. Des modifications sont en transit en amont pour résoudre ce problème dans les prochaines mises à jour du système d’exploitation Ubuntu et des conteneurs Docker AI100. -
Exécution de l’inférence de test
Cette section explique comment exécuter un test d’inférence rapide sur la carte AI100. Utilisez ce test d’inférence pour vérifier le fonctionnement de la carte AI100.
Utilisez la commande de ligne de commande
qaic-runnerPour exécuter la première charge applicative d’inférence de test. Utilisez-dpour spécifier l’appareil AI100 cible,-apour spécifier le nombre de NSP à utiliser, et-nPour le nombre d’itérations :
Exemple d’inférence de test à l’aide deqaic-runner.docker run --rm -it \ --device=/dev/accel/accel1 \ --device=/dev/accel/accel2 \ --network host \ --ulimit nofile=1048576 \ -e OMP_NUM_THREADS=8 \ ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 \ qaic-runner -t /opt/qti-aic/test-data/aic100/v2/1nsp/1nsp-conv-hmx/ -a 16 -n 5000 -d 0docker run --rm -it \ --device=/dev/accel/accel1 \ --device=/dev/accel/accel2 \ --network host \ --ulimit nofile=1048576 \ -e OMP_NUM_THREADS=8 \ ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 \ qaic-runner -t /opt/qti-aic/test-data/aic100/v2/1nsp/1nsp-conv-hmx/ -a 16 -n 5000 -d 0
Un exemple de résultat semblable à celui-ci s’affiche à l’écran :
Exemple de sortie pour l’exécution de l’inférence de test.dell@dell:~$ docker run --rm -it \ --device=/dev/accel/accel1 \ --device=/dev/accel/accel2 \ --network host \ --ulimit nofile=1048576 \ -e OMP_NUM_THREADS=8 \ ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 \ qaic-runner -t /opt/qti-aic/test-data/aic100/v2/1nsp/1nsp-conv-hmx/ -a 16 -n 5000 -d 0 loading /opt/qti-aic/dev/lib/x86_64/libQAic.so ---- Stats ---- InferenceCnt 5000 TotalDuration 22544us BatchSize 1 Inf/Sec 221788.502 -
Liens utiles
Le tableau ci-dessous inclut une liste de ressources et de liens AI100 clés et utiles pour commencer à tirer le meilleur parti de la carte d’inférence AI100.
- Guide
de l’utilisateur du Qualcomm AI100 : Point de départ pour tous les thèmes AI100 - guide complet de l’utilisateur de l’AI100
- Bibliothèque
de transformateurs efficaces Qualcomm : Bibliothèque pour accélérer l’exécution performante de nombreux LLM de HuggingFace sur le Qualcomm AI100
- Conteneurs
QAIC : Conteneurs Docker qui incluent la chaîne d’outils AI100, y compris la prise en charge de vLLM et Triton à l’aide d’Ubuntu 24.04
- QAIC Containers - 24.04 dernières dates
: Il est recommandé d’utiliser le conteneur Docker QAIC utilisant la version 24.04 avec la carte d’inférence AI100
- Blog
des développeurs de transformateurs efficaces Qualcomm : Excellente vue d’ensemble des transformateurs efficaces avec des exemples simples et rapides
- http :qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/
: Consultez le catalogue pour connaître les modèles précompilés à télécharger et à exécuter sur la carte AI100 (modèles conçus pour deux SoC)
Remarque : Cette URL n’est pas un lien HTTPS. À utiliser à vos risques et périls.
Remarque : Accédez au site de support et utilisez le mot-clé de filtre Linux pour afficher d’autres articles Dell associés aux MB16250 Dell Pro Max 16 Plus avec l’ordinateur portable Al100 : - Guide
-
Modèles prémontés AI100
Le tableau ci-dessous inclut un snapshot des modèles d’IA prédéfinis pour s’exécuter dans le conteneur Docker AI100 (à l’aide de vLLM par exemple).
La carte d’inférence AI100 exécute des modèles à l’aide d’un format QPC (Qualcomm Program Container). Les QPC peuvent être construits à partir de modèles Huggingface à l’aide des kits de développement logiciel (SDK) AI100 Platform and Apps, ou utiliser des QPC de modèles d’IA prédéfinis à partir du catalogue Zentree en ligne via le lien suivant. Les QPC sont conçus en fonction du nombre d’appareils AI100 sur la carte. La Dell Pro Max 16 Plus avec carte d’inférence Qualcomm prend en charge les QPC conçus pour fonctionner sur un ou deux SoC (AI100 System on a Chip). Un QPC conçu pour deux appareils AI100 utilise le découpage tenseur pour pouvoir exécuter des modèles volumineux à l’aide du calcul de deux appareils AI100 sur les 64 Go de mémoire de la carte.
Reportez-vous à l’onglet Catalog au lien suivant pour le http :qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/
.
Remarque : Ces URL ne sont pas des liens HTTPS. À utiliser à vos risques et périls.Famille de modèles Architecture du modèle Modèle représentatif Type de modèle QAIC SDK Version Classe auto QEff Tâche Lien QPC BERT BERTModel BAAI/bge-large-en-v1.5 Modèle d’incorporation 1.19.6 QEFFAutoModel Incorporation de texte http :qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.19.6/bge-large-en-v1.5/ BERT BERTModel BAAI/bge-m3 Modèle d’incorporation 1.19.6 QEFFAutoModel Incorporation de texte http :qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.19.6/bge-m3/ BERT BERTModel BAAI/bge-base-en-v1.5 Modèle d’incorporation 1.19.6 QEFFAutoModel Incorporation de texte http :qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.19.6/bge-base-en-v1.5/ DeepSeek-R1-Distill-Lama LlamaForCausalLM Valdemardi/DeepSeek-R1-Distill-Lama-70B-AWQ Modèle de langage textuel uniquement 1.20.4 QEFFAutoModelForCausalLM Génération de texte http :qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/DeepSeek-R1-Distill-Llama-70B-AWQ/ DeepSeek-R1-Distill-Lama LlamaForCausalLM Casperhansen/DeepSeek-R1-Distill-Llama-8B-AWQ Modèle de langage textuel uniquement 1.20.4 QEFFAutoModelForCausalLM Génération de texte http :qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/deepseek-r1-distill-llama-8b-awq/ DeepSeek-R1-Distill-Qwen Qwen2ForCausalLM Valdemardi/DeepSeek-R1-Distill-Llama-32B-AWQ Modèle de langage textuel uniquement 1.20.4 QEFFAutoModelForCausalLM Génération de texte http :qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/DeepSeek-R1-Distill-Qwen-32B-AWQ/ DeepSeek-R1-Distill-Qwen Qwen2ForCausalLM Casperhansen/Deepseek-R1-Distill-qwen-7B-AWQ Modèle de langage textuel uniquement 1.20.4 QEFFAutoModelForCausalLM Génération de texte http :qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/deepseek-r1-distill-qwen-7b-awq/ Par Gemma3 Gemma3ForConditionalGeneration google/gemma-3-4b-it Modèle de langage multimodal 1.20.4 QEFFAutoModelForImageTextToText Modèles de langage de vision (génération de texte + d’image) http :qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/gemma-3-4b-it/ GPT-OSS GptOssForCausalLM OpenAI/GPT-OSS-20B Modèle de langage textuel uniquement 1.20.4 QEFFAutoModeForCausalLM Génération de texte http :qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/gpt-oss-20b/ Granit-3.2 GraniteForCausalLM ibm-granite/granite-3.2-8b-instruct Modèle de langage textuel uniquement 1.20.4 QEFFAutoModelForCausalLM Génération de texte http :qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/granite-3.2-8b-instruct/ Granit-3.3 GraniteForCausalLM ibm-granite/granite-3.3-8b-instruct Modèle de langage textuel uniquement 1.20.4 QEFFAutoModelForCausalLM Génération de texte http :qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/granite-3.3-8b-instruct/ Lama 3.1 LlamaForCausalLM meta-llama/Llama-3.1-8B-Instruction Modèle de langage textuel uniquement 1.20.4 QEFFAutoModelForCausalLM Génération de texte http :qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Llama-3.1-8B/ Lama 3.1 Nemotron LlamaForCausalLM ibnzterrell/Nvidia-Llama-3.1-Nemotron-70B-Instruct-HF-AWQ-INT4 Modèle de langage textuel uniquement 1.20.4 QEFFAutoModelForCausalLM Génération de texte http :qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Nvidia-Llama-3.1-Nemotron-70B-Instruct-HF-AWQ-INT4/ Lama 3.1 Nemotron LlamaForCausalLM nvidia/llama-3.1-nemotron-nano-8B-v1 Modèle de langage textuel uniquement 1.20.4 QEFFAutoModelForCausalLM Génération de texte http :qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Llama-3.1-Nemotron-Nano-8B-v1/ Lama 3.2 LlamaForCausalLM meta-llama/Llama-3.2-1B Modèle de langage textuel uniquement 1.20.4 QEFFAutoModelForCausalLM Génération de texte http :qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Llama-3.2-1B/ Lama 3.2 LlamaForCausalLM meta-llama/Llama-3.2-3B Modèle de langage textuel uniquement 1.20.4 QEFFAutoModelForCausalLM Génération de texte http :qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Llama-3.2-3B/ Lama 3.2 LlamaForCausalLM meta-llama/Llama-3.2-3B-Instruct Modèle de langage textuel uniquement 1.20.4 QEFFAutoModelForCausalLM Génération de texte http :qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Llama-3.2-3B-Instruct/ Lama 3.2 MllamaForConditionalGeneration meta-llama/Llama-3.2-11B-Vision-Instruct Modèle de langage multimodal 1.20.4 QEFFAutoModelForImageTextToText Modèles de langage de vision (génération de texte + d’image) http :qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Llama-3.2-11B-Vision-Instruct/ Lama 3.2 Instruire LlamaForCausalLM meta-llama/Llama-3.2-1B-Instruction Modèle de langage textuel uniquement 1.20.4 QEFFAutoModelForCausalLM Génération de texte http :qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Llama-3.2-1B-Instruct/ Lama 3.x LlamaForCausalLM Cible : Meta-Llama-3.1-70B-Instruct-AWQ-INT4
Draft : Llama-3.2-1B-InstructionDécodage spéculatif (SpD) 1.20.4 QEFFAutoModelForCausalLM Génération de texte http :qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/spd/meta-llama/ Lama 3.x LlamaForCausalLM Cible : casperhansen/llama-3.3-70b-instruct-awq
Brouillon : meta-llama/Llama-3.2-1B-InstructDécodage spéculatif (SpD) 1.20.4 QEFFAutoModelForCausalLM Génération de texte http :qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/spd/llama33-70b-awq__draft-llama32-1b/ Mistral MistralForCausalLM mistralai/Mistral-7B-Instruct-v0.1 Modèle de langage textuel uniquement 1.20.4 QEFFAutoModelForCausalLM Génération de texte http :qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Mistral-7B-Instruct-v0.1/ Phi-4 Phi3ForCausalLM Microsoft/PHI-4 Modèle de langage textuel uniquement 1.20.4 QEFFAutoModelForCausalLM Génération de texte http :qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/phi-4/ Qwen3 Par Qwen3Moe Qwen/Qwen3-30B-A3B-Instruct-2507 Modèle de langage textuel uniquement 1.20.4 QEFFAutoModelForCausalLM Génération de texte http :qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Qwen3-30B-A3B-Instruct-2507/ Codeur Qwen3 Par Qwen3Moe Qwen/Qwen3-Coder-30B-A3B-Instruct Modèle de langage textuel uniquement 1.20.4 QEFFAutoModelForCausalLM Génération de code http :qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Qwen3-Coder-30B-A3B-Instruct/ Sarvamai Sarvamai Sarvamai/Sarvam-1 Modèle de langage textuel uniquement 1.20.4 QEFFAutoModelForCausalLM Génération de texte Accent sur la langue indienne http :qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/sarvam-1/ SDXL StableDiffusionForTextToImage stabilitéai/diffusion-stable-xl-base-1.0 Modèle de langage multimodal 1.20.4 AutoPipelineForText2Image Modèles de langage de vision (génération de texte + d’image) http :qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/stable-diffusion-xl-base-1.0/ SDXL Turbo StableDiffusionForTextToImage de stabilitéIA/SDXL-turbo Modèle de langage multimodal 1.20.4 AutoPipelineForText2Image Modèles de langage de vision (génération de texte + d’image) http :qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/sdxl_turbo/ Murmurer Murmurer OpenAI/Whisper-Base Modèle audio 1.20.4 QEFFAutoModelForSpeechSeq2Seq Reconnaissance automatique de la parole (transcription) http :qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/whisper-base/ Murmurer Murmurer OpenAI/Whisper-Large-V3-Turbo Modèle audio 1.20.4 QEFFAutoModelForSpeechSeq2Seq Reconnaissance automatique de la parole (transcription) http :qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/whisper-large-v3-turbo/ Murmurer Murmurer OpenAI/Whisper-Large Modèle audio 1.20.4 QEFFAutoModelForSpeechSeq2Seq Reconnaissance automatique de la parole (transcription) http :qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/whisper-large/ Murmurer Murmurer OpenAI/Whisper-Medium Modèle audio 1.20.4 QEFFAutoModelForSpeechSeq2Seq Reconnaissance automatique de la parole (transcription) http :qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/whisper-medium/ Murmurer Murmurer OpenAI/Whisper-Small Modèle audio 1.20.4 QEFFAutoModelForSpeechSeq2Seq Reconnaissance automatique de la parole (transcription) http :qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/whisper-small/ Murmurer Murmurer openai-whisper-tiny Modèle audio 1.20.4 QEFFAutoModelForSpeechSeq2Seq Reconnaissance automatique de la parole (transcription) http :qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/whisper-tiny/ XLM-RoBERTa XLMRobertaModel intfloat/multilingual-e5-large Modèle d’incorporation 1.20.4 QEFFAutoModel Incorporation de texte http :qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/multilingual-e5-large/ XLM-RoBERTa XLMRobertaModel intfloat/multilingual-e5-small Modèle d’incorporation 1.19.6 QEFFAutoModel Incorporation de texte http :qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.19.6/multilingual-e5-small/