Як налаштувати Dell Pro Max 16 Plus за допомогою карти Qualcomm Inference у Linux
Summary: Дізнайтеся, як налаштувати Dell Pro Max 16 Plus MB16250 за допомогою карти Qualcomm Inference у Linux.
Instructions
Налаштування Dell Pro Max 16 Plus з картою Qualcomm Inference у Linux
Ласкаво просимо до вашої Dell Pro Max 16 Plus з картою Qualcomm AI100 Inference!
Дотримуйтесь цих одноразових кроків налаштування нижче, щоб підготувати карту до навантажень AI-інференції на Ubuntu 24.04 на робочій станції Dell Pro Max 16 Plus. Це гарантує, що робоча станція та карта мають правильне програмне забезпечення та налаштування, щоб одразу почати користуватися картою.
-
Перевірка встановлення карти AI100.
Використовуйте наступнеlspciКоманда для перевірки, що карта встановлена на ноутбуці:lspci | grep Qualcomm
Ця команда відображає два (2) записи пристроїв Qualcomm a100 PCIe для карти AI100.dell@dell:~$ lspci | grep Qualcomm 04:00.0 Processing accelerators: Qualcomm Technologies, Inc Device a100 05:00.0 Processing accelerators: Qualcomm Technologies, Inc Device a100 dell@dell:~$ -
Оновлення BIOS на робочій станції Dell Pro Max 16 Plus.
Оновіть BIOS робочої станції, щоб переконатися, що ноутбук має останню підтримку карти визначення AI100. Використовуйте наступні команди для перевірки оновлень BIOS, а потім оновлюйтеся, якщо доступне оновлення:
Команди для перевірки оновлень BIOS:sudo fwupdmgr refresh --force sudo fwupdmgr upgrade
Зразок виводу оновлюється до останнього BIOS.dell@dell:~$ sudo fwupdmgr refresh --force Updating lvfs Downloading… [*************************************] Successfully downloaded new metadata: 7 local devices supported dell@dell:~$ sudo fwupdmgr upgrade Devices with no available firmware updates: • Integrated Webcam 8M • PC811 SED SK hynix 2048GB • TPM • UEFI Device Firmware • UEFI dbx • USB4 host controller Perform operation? [Y|n]: Y Waiting… [***************************************] Successfully installed firmware Do not turn off your computer or remove the AC adapter while the update is in progress. An update requires a reboot to complete. Restart now? [y|N]:
Перевірте, чи встановлено BIOS версії 2.22 або вище за допомогоюdmidecodeКОМАНДУВАННЯ: Перевіряю існуючу версію прошивки BIOS.sudo dmidecode -t 0 -
Оновлення операційної системи Ubuntu на вашій робочій станції Dell Pro Max 16 Plus
У наступному оновленні Ubuntu OS на робочій станції підтримка карти виведення AI100 інтегрована в Ubuntu 24.04. Оновлення Ubuntu гарантує, що останні модулі ядра та оновлення прошивки AI100 будуть доступні для вашої карти.
Щоб оновити Ubuntu — або використовуйте «Software Updater» у меню додатків на робочому столі, або наступні команди в терміналі:
Команди для оновлення програмного забезпечення Ubuntu у терміналі:sudo apt-get update sudo apt-get upgrade sudo rebootПісля завантаження, встановлення та оновлення ноутбука Ubuntu перезавантажте робочу станцію, щоб переконатися, що у ядрі відбуваються зміни часу завантаження.
Перевірте, чи оновлене ядро Ubuntu має версію 6.14.0-1017-oem або новішу. Ця версія включає підписані модулі ядра, які підтримують ваш AI100 з увімкненим Secure Boot. Використовуйте наступну команду, щоб перевірити версію вашого ядра.
Перевіряю, що ядро Linux має версію 6.14.0-1017-oem або новішу.dell@dell:~$ uname -r 6.14.0-1017-oemdell@dell:~$ uname -r 6.14.0-1017-oem
Далі переконайтеся, що пакет Linux-прошивки, який включає прошивку AI100, має версію 2.22 або вище, використовуючи цю командну команду:
Перевірка Linux-прошивки версії 2.22 або вище.dell@dell:~$ dpkg-query --list linux-firmware Desired=Unknown/Install/Remove/Purge/Hold | Status=Not/Inst/Conf-files/Unpacked/halF-conf/Half-inst/trig-aWait/Trig-pend |/ Err?=(none)/Reinst-required (Status,Err: uppercase=bad) ||/ Name Version Architecture Description +++-==============-================================-============-================================= ii linux-firmware 20240318.git3b128b60-0ubuntu2.22 amd64 Firmware for Linux kernel drivers dell@dell:~$ -
Оновлення параметрів ядра GRUB.
Щоб повністю використовувати карту виведення Qualcomm AI100, вимкніть функцію PCIe Access Control System (ACS). Це необхідно для повної підтримки тензорного слайсингу з використанням обох пристроїв AI100 на карті Qualcomm AI100. Вимкніть ACS на PCIe перемикачі на карті AI100. Це забезпечує повний доступ до даних між двома пристроями AI100 і всі 64 ГБ вбудованої оперативної пам'яті при запуску інференції між обома.Це здійснюється шляхом передачі параметра ядра Linux, який додається до конфігурації GRUB для підтримки карти виведення Qualcomm AI100. Параметри ядра — це конфігурації, які під час завантаження передаються ядру Linux і інструктують ядро щодо налаштування певних функцій. У цьому випадку ACS вимикається для карти AI100. Додавання параметра ядра до конфігураційного файлу GRUB робить так.
Відкрийте конфігураційний файл GRUB з кореневими правами за допомогою текстового редактора.
Редагувати конфігураційний файл GRUB/etc/default/grub.sudo nano /etc/default/grubsudo nano /etc/default/grub
РедагуватиGRUB_CMDLINE_LINUX_DEFAULTлінія для додаванняpci=disable_acs_redir(вимкніть ACS на PCIe карті AI100). Обов'язково вкажіть точний синтаксис нижче. Також переконайтеся, що є лише одинGRUB_CMDLINE_LINUX_DEFAULTЛінія в лінії/etc/default/grub(за потреби об'єднати параметри ядра в один рядок).
ЗміниGRUB_CMDLINE_LINUX_DEFAULTЛінія.GRUB_CMDLINE_LINUX_DEFAULT="quiet splash pci=disable_acs_redir=03:00.0\;03:01.0"Натисніть CTRL+X, виберіть Y і натисніть Enter, щоб зберегти зміни конфігурації. Тепер запустіть наступне і перезавантажте, щоб діяти.
Відгенеруйте конфігурацію GRUB.sudo update-grub sudo rebootПеревірте зміни за допомогою наступних команд після перезавантаження.
Перевірте зміни конфігурації GRUB.dell@dell:~$ cat /proc/cmdline BOOT_IMAGE=/boot/vmlinuz-6.14.0-1016-oem root=UUID=cd20aec8-6b44-45f7-bca5-307240cec24b ro quiet splash pci=disable_acs_redir=03:00.0;03:01.0 vt.handoff=7dell@dell:~$ cat /proc/cmdline BOOT_IMAGE=/boot/vmlinuz-6.14.0-1016-oem root=UUID=cd20aec8-6b44-45f7-bca5-307240cec24b ro quiet splash pci=disable_acs_redir=03:00.0;03:01.0 vt.handoff=7
Перевірте, чи ACS вимкнено через DMESG. Повідомлення для «Налаштованого ACS» відображаються нижче:dell@dell:~$ sudo dmesg | grep ACS [ 0.000000] Command line: BOOT_IMAGE=/boot/vmlinuz-6.14.0-1016-oem root=UUID=cd20aec8-6b44-45f7-bca5-307240cec24b ro quiet splash pcie_port_m=force pci=disable_acs_redir=03:00.0;03:01.0 vt.handoff=7 [ 0.141658] Kernel command line: BOOT_IMAGE=/boot/vmlinuz-6.14.0-1016-oem root=UUID=cd20aec8-6b44-45f7-bca5-307240cec24b ro quiet splash pcie_port_m=force pci=disable_acs_redir=03:00.0;03:01.0 vt.handoff=7 [ 0.741030] pci 0000:03:00.0: Configured ACS to 0x0000 [ 0.745422] pci 0000:03:01.0: Configured ACS to 0x0000 -
Встановити Docker
Найшвидший шлях до запуску інференції на карті AI100 — це використання готових контейнерів AI100 Docker, які підтримують карту виведення Qualcomm AI100. Готовий контейнер Docker забезпечує готове середовище для виконання навантажень з виведення. Контейнер включає Qualcomm AI100 Platform and Apps SDK і набір інструментів, середовище Python, Qualcomm Efficient Transformers для компіляції моделей ШІ та виконання висновків, а також готову до використання підтримку vLLM і Triton для карти виведення AI100.
Щоб встановити Docker в Ubuntu, скористайтеся наступною командою:
sudo snap install docker
Щоб запустити docker як звичайний користувач, виконайте наступні команди.
Команди для запуску docker як звичайного користувача.# create and join the docker group sudo addgroup --system docker sudo adduser $USER docker newgrp docker # disable and re-enable the docker snap if you added the group while Docker Engine was running sudo snap disable docker sudo snap enable docker# create and join the docker group sudo addgroup --system docker sudo adduser $USER docker newgrp docker # disable and re-enable the docker snap if you added the group while Docker Engine was running sudo snap disable docker sudo snap enable docker
Якщо користувач не додається до групи docker-докерів, потрібно додати sudo до всіх команд Docker:sudo docker run ...Джерело: Docker Snap
Альтернативно, Docker можна встановити за допомогою apt Debian Docker Docs
Після встановлення Docker тестуйте встановлення наступним чином:
Перевірте встановлення Docker за допомогою hello-world:dell@dell:~$ docker run hello-world Unable to find image 'hello-world:latest' locally latest: Pulling from library/hello-world 17eec7bbc9d7: Pull complete Digest: sha256:d4aaab6242e0cace87e2ec17a2ed3d779d18fbfd03042ea58f2995626396a274 Status: Downloaded newer image for hello-world:latest Hello from Docker! This message shows that your installation appears to be working correctly. ... -
Карта інференції Dell Pro Pro Max 16 Plus для робочої станції AI100 тепер готова до застосування!
Це завершує одноразове налаштування, необхідне для використання карти виведення AI100. Наступні розділи показують, як використовувати інструменти AI100 для перегляду стану карти та виконати початковий простий висновок для перевірки працездатності карти AI100.
-
Перевірка карти AI100
Перевірте карту AI100 і проведіть початковий висновок, використавши готовий контейнер AI100 Docker, що містить усі SDK платформи та додатків AI100, набір інструментів, а також інструменти для виведення vLLM і Triton, необхідні для використання карти.
Якщо це перший запуск контейнера AI100 Docker, ця команда також забирає контейнер. Образ контейнера AI100 Docker має площу завантаження ~14 ГБ. Щоб запустити контейнер Docker AI100, використовуйте таку команду:
Запусти контейнер Docker AI100.docker run --rm -it \ --privileged \ --device=/dev/accel/accel1 \ --device=/dev/accel/accel2 \ --network host \ --ulimit nofile=1048576 \ -e OMP_NUM_THREADS=8 \ ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 \ /bin/bash
Після завантаження та запуску контейнера AI100 Docker, на екрані відображається такий результат:
Зразок виводу після запуску контейнера Docker AI100.dell@dell:~$ docker run --rm -it --device=/dev/accel/accel1 --device=/dev/accel/accel2 --network host --ulimit nofile=1048576 -e OMP_NUM_THREADS=8 -v ~/Downloads/qwen3_coder_qpc:/root/qpc/ ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 /bin/bash ================================== == Qualcomm Cloud AI Containers == ================================== Platform SDK version: 1.20.6.0 Apps SDK version: 1.20.6.0 This container image and its contents are governed by the terms of the license at /usr/share/doc/CONTAINER_LICENSE.txt. By pulling and using the container, you accept the terms and conditions of this license. root@dell:~#dell@dell:~$ docker run --rm -it --device=/dev/accel/accel1 --device=/dev/accel/accel2 --network host --ulimit nofile=1048576 -e OMP_NUM_THREADS=8 -v ~/Downloads/qwen3_coder_qpc:/root/qpc/ ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 /bin/bash ================================== == Qualcomm Cloud AI Containers == ================================== Platform SDK version: 1.20.6.0 Apps SDK version: 1.20.6.0 This container image and its contents are governed by the terms of the license at /usr/share/doc/CONTAINER_LICENSE.txt. By pulling and using the container, you accept the terms and conditions of this license. root@dell:~#
Використовуйте AI100qaic-util -qкоманду для забезпечення текстового виводу стану карти AI100, як у наступному прикладі виходу.
Вихід вибірки дляqaic-util -qroot@dell:~# qaic-util -q LRT QC_IMAGE_VERSION: LRT.AIC.13.2.1.20.6.0 LRT IMAGE_VARIANT: LRT.AIC.REL Number of devices queried: 2 QID 0 Status:Ready ...Можливий вигляд стану сітки за допомогою
Вихід у режимі простою для зразкаqaic-util -t1 команда, яка періодично оновлює статус картки. Наступний приклад показує, що карта AI100 перебуває в режимі простою. Карта AI100 містить два пристрої AI100, кожен з 16 обчислювальними ядрами нейронного процесора сигналів (NSP). Кожен пристрій має 32 ГБ пам'яті, що в сумі становить 64 ГБ на карті:qaic-util -t 1.root@dell:~# qaic-util -t 1
Ось ще один прикладqaic-utilвивод, поки карта AI100 виконує завдання з AI inferencing. У цьому випадку показано більшу модель — qwen3-coder:30b. Вихід показує, що всі 16 NSP використовуються на кожному пристрої AI100, температура плати зросла до 47°C через нижчі температури простою, кожна деталь AI100 використовує ~13 ГБ, загалом 26 ГБ для моделі, загальна потужність плати становить 51 з максимальних 75 Вт, а також що частота NSP збільшилася для навантаження до 1100 МГц.
Вихід зразка для AI100, що виконує інференцію за допомогоюqaic-util -t 1.root@dell:~# qaic-util -t 1
Щоб скинути карту AI100, використовуйтеqaic-util -sКомандування. Ця команда вимагає апаратного дозволу всередині контейнера, що вимагає параметра командного рядка "-privileged" під час запуску контейнера. Наступний вихід зразка показує використанняqaic util -sа потімqaic-util -t1 для моніторингу стану картки. Недійсні значення полів, як у зразку наведеного нижче, відображаються до завершення скидання карти:
Зразковий вихід скидання карти AI100 за допомогоюqaic-util -sтаqaic-util -t 1.root@dell:~# qaic-util -s Resetting all devices… 0000:04:00.0: 0000:04:00.0 success 0000:05:00.0: 0000:05:00.0 success root@dell:~# qaic-util -t 1
Використовуйте один системний запит, щоб викликати статус картки AI100 через контейнер AI100 Docker наступним чином.
Запусти контейнер Docker AI100.docker run --rm -it \ --privileged \ --device=/dev/accel/accel1 \ --device=/dev/accel/accel2 \ --network host \ --ulimit nofile=1048576 \ -e OMP_NUM_THREADS=8 \ ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 \ qaic-util -t 1docker run --rm -it \ --privileged \ --device=/dev/accel/accel1 \ --device=/dev/accel/accel2 \ --network host \ --ulimit nofile=1048576 \ -e OMP_NUM_THREADS=8 \ ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 \ qaic-util -t 1Примітка. Вихідні лінії помилок спостерігаються під час запускуqaic-util -sтаqaic-util -t 1а у своїй сітці на виході «Недійсно» для температури та плати живлення/TDP і «0.00 W» для живлення SoC. У майбутніх оновленнях контейнерів Ubuntu OS та AI100 Docker відбуваються зміни в польоті upstream, щоб вирішити цю проблему. -
Виведення тесту
У цьому розділі показано, як провести швидкий тест висновку на карті AI100. Використовуйте цей тест виведення для перевірки функціональності карти AI100.
Використовуйте команду в рядку
qaic-runnerЩоб запустити перше навантаження з тесту з інференції. Використання-dдля визначення цільового пристрою AI100,-aщоб вказати кількість NSP для використання, та-nЩодо кількості ітерацій:
Виведення зразкового тесту за допомогоюqaic-runner.docker run --rm -it \ --device=/dev/accel/accel1 \ --device=/dev/accel/accel2 \ --network host \ --ulimit nofile=1048576 \ -e OMP_NUM_THREADS=8 \ ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 \ qaic-runner -t /opt/qti-aic/test-data/aic100/v2/1nsp/1nsp-conv-hmx/ -a 16 -n 5000 -d 0docker run --rm -it \ --device=/dev/accel/accel1 \ --device=/dev/accel/accel2 \ --network host \ --ulimit nofile=1048576 \ -e OMP_NUM_THREADS=8 \ ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 \ qaic-runner -t /opt/qti-aic/test-data/aic100/v2/1nsp/1nsp-conv-hmx/ -a 16 -n 5000 -d 0
Зразок виходу, як наступне, відображається на екрані:
Вибірковий вихід для запуску тестового висновку.dell@dell:~$ docker run --rm -it \ --device=/dev/accel/accel1 \ --device=/dev/accel/accel2 \ --network host \ --ulimit nofile=1048576 \ -e OMP_NUM_THREADS=8 \ ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 \ qaic-runner -t /opt/qti-aic/test-data/aic100/v2/1nsp/1nsp-conv-hmx/ -a 16 -n 5000 -d 0 loading /opt/qti-aic/dev/lib/x86_64/libQAic.so ---- Stats ---- InferenceCnt 5000 TotalDuration 22544us BatchSize 1 Inf/Sec 221788.502 -
Корисні посилання
У таблиці нижче наведено список ключових і корисних ресурсів AI100 та посилань, щоб почати максимально ефективно використовувати карту виведення AI100.
- Посібник
користувача Qualcomm AI100: Відправна точка для всіх тем AI100 — комплексний посібник користувача AI100
- Бібліотека
- Контейнери
- QAIC Containers - 24.04 найпізніше
- Блог
- http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/ Примітка. Цей URL не є HTTPS-посиланням. Використовуйте на власний ризик.
Примітка: Зайдіть на сайт підтримки та використайте ключове слово Linux , щоб переглянути інші статті Dell, пов'язані з Dell Pro Max 16 Plus MB16250 з ноутбуком Al100: - Посібник
-
Готові моделі AI100
Таблиця нижче містить знімок моделей ШІ, які готові для роботи всередині контейнера Docker AI100 (наприклад, з використанням vLLM).
Карта виведення AI100 запускає моделі у форматі Qualcomm Program Container (QPC). QPC можна створювати з моделей Huggingface за допомогою платформи AI100 та додаткових SDK, або використовувати готові AI-моделі QPC з онлайн-каталогу Zentree за наступним посиланням. QPC створені з урахуванням кількості пристроїв AI100 на карті — Dell Pro Max 16 Plus з картою Qualcomm Inference підтримує QPC, створені для роботи на одному або двох SoC (AI100 System on a Chip). QPC, створений для двох пристроїв AI100, використовує тензорне слайсинг, щоб запускати великі моделі, використовуючи обчислення двох пристроїв AI100 на повних 64 ГБ пам'яті карти.
Дивіться вкладку каталогу за наступним посиланням для http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/
Примітка. Ці URL-адреси не є HTTPS-посиланнями. Використовуйте на власний ризик.Сімейство моделей Архітектура моделі Репрезентативна модель Тип моделі Версія QAIC SDK Автомобільний клас QEff Завдання QPC Link БЕРТ БЕРТМодел BAAI/bge-large-en-v1.5 Модель вкладення 1.19.6 QEFFAutoModel Вбудовування тексту http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.19.6/bge-large-en-v1.5/ БЕРТ БЕРТМодел BAAI/bge-m3 Модель вкладення 1.19.6 QEFFAutoModel Вбудовування тексту http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.19.6/bge-m3/ БЕРТ БЕРТМодел BAAI/bge-base-en-v1.5 Модель вкладення 1.19.6 QEFFAutoModel Вбудовування тексту http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.19.6/bge-base-en-v1.5/ DeepSeek-R1-Distill-Llama LlamaForCausalLM Вальдемарді/DeepSeek-R1-Distill-Llama-70B-AWQ Мовна модель лише тексту 1.20.4 QEFFAutoModelForCausalLM Генерація тексту http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/DeepSeek-R1-Distill-Llama-70B-AWQ/ DeepSeek-R1-Distill-Llama LlamaForCausalLM Каспергансен/Діпсік-R1-Distill-llama-8B-AWQ Мовна модель лише тексту 1.20.4 QEFFAutoModelForCausalLM Генерація тексту http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/deepseek-r1-distill-llama-8b-awq/ DeepSeek-R1-Distill-Qwen Qwen2ForCausalLM Вальдемарді/DeepSeek-R1-Distill-Llama-32B-AWQ Мовна модель лише тексту 1.20.4 QEFFAutoModelForCausalLM Генерація тексту http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/DeepSeek-R1-Distill-Qwen-32B-AWQ/ DeepSeek-R1-Distill-Qwen Qwen2ForCausalLM Каспергансен/Deepseek-R1-Distill-QWEN-7B-AWQ Мовна модель лише тексту 1.20.4 QEFFAutoModelForCausalLM Генерація тексту http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/deepseek-r1-distill-qwen-7b-awq/ Gemma3 Gemma3ForConditionalGeneration Google/Gemma-3-4B-IT Мультимодальна мовна модель 1.20.4 QEFFAutoModelForImageTextToText Моделі мови зору (текст + генерація зображень) http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/gemma-3-4b-it/ GPT-OSS GptOssForCausalLM OpenAI/GPT-OSS-20B Мовна модель лише тексту 1.20.4 QEFFAutoModeForCausalLM Генерація тексту http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/gpt-oss-20b/ Граніт-3.2 GraniteForCausalLM IBM-Granite/Granite-3.2-8B-Instruct Мовна модель лише тексту 1.20.4 QEFFAutoModelForCausalLM Генерація тексту http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/granite-3.2-8b-instruct/ Granite-3.3 GraniteForCausalLM IBM-Granite/Granite-3.3-8B-Instruct Мовна модель лише тексту 1.20.4 QEFFAutoModelForCausalLM Генерація тексту http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/granite-3.3-8b-instruct/ Llama 3.1 LlamaForCausalLM мета-лама/Лама-3.1-8B-Інструкція Мовна модель лише тексту 1.20.4 QEFFAutoModelForCausalLM Генерація тексту http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Llama-3.1-8B/ Лама 3.1 Немотрон LlamaForCausalLM ibnzterrell/nvidia-llama-3.1-nemotron-70B-Instruct-HF-AWQ-INT4 Мовна модель лише тексту 1.20.4 QEFFAutoModelForCausalLM Генерація тексту http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Nvidia-Llama-3.1-Nemotron-70B-Instruct-HF-AWQ-INT4/ Лама 3.1 Немотрон LlamaForCausalLM nvidia/llama-3.1-Nemotron-Nano-8B-v1 Мовна модель лише тексту 1.20.4 QEFFAutoModelForCausalLM Генерація тексту http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Llama-3.1-Nemotron-Nano-8B-v1/ Лама 3.2 LlamaForCausalLM мета-лама/Лама-3.2-1B Мовна модель лише тексту 1.20.4 QEFFAutoModelForCausalLM Генерація тексту http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Llama-3.2-1B/ Лама 3.2 LlamaForCausalLM мета-лама/Лама-3.2-3B Мовна модель лише тексту 1.20.4 QEFFAutoModelForCausalLM Генерація тексту http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Llama-3.2-3B/ Лама 3.2 LlamaForCausalLM мета-лама/Лама-3.2-3B-Інструкція Мовна модель лише тексту 1.20.4 QEFFAutoModelForCausalLM Генерація тексту http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Llama-3.2-3B-Instruct/ Лама 3.2 MllamaForConditionalGeneration мета-лама/Лама-3.2-11B-Візія-інструкція Мультимодальна мовна модель 1.20.4 QEFFAutoModelForImageTextToText Моделі мови зору (текст + генерація зображень) http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Llama-3.2-11B-Vision-Instruct/ Лама 3.2 Інструкція LlamaForCausalLM мета-лама/Лама-3.2-1B-Інструкт Мовна модель лише тексту 1.20.4 QEFFAutoModelForCausalLM Генерація тексту http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Llama-3.2-1B-Instruct/ Llama 3.x LlamaForCausalLM Ціль: Мета-Llama-3.1-70B-Instruct-AWQ-INT4
Чернетка: Лама-3.2-1B-ІнструкціяСпекулятивне декодування (SpD) 1.20.4 QEFFAutoModelForCausalLM Генерація тексту http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/spd/meta-llama/ Llama 3.x LlamaForCausalLM Ціль: каспергансен/лама-3.3-70b-instruct-awq
Драфт: мета-лама/Лама-3.2-1B-ІнструкціяСпекулятивне декодування (SpD) 1.20.4 QEFFAutoModelForCausalLM Генерація тексту http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/spd/llama33-70b-awq__draft-llama32-1b/ Містраль MistralForCausalLM mistralai/Mistral-7B-Instruct-v0.1 Мовна модель лише тексту 1.20.4 QEFFAutoModelForCausalLM Генерація тексту http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Mistral-7B-Instruct-v0.1/ Phi-4 Phi3ForCausalLM Microsoft/PHI-4 Мовна модель лише тексту 1.20.4 QEFFAutoModelForCausalLM Генерація тексту http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/phi-4/ Qwen3 Qwen3Moe Qwen/Qwen3-30B-A3B-Інструкт-2507 Мовна модель лише тексту 1.20.4 QEFFAutoModelForCausalLM Генерація тексту http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Qwen3-30B-A3B-Instruct-2507/ Qwen3-Кодер Qwen3Moe Qwen/Qwen3-Кодер-30B-A3B-Інструкція Мовна модель лише тексту 1.20.4 QEFFAutoModelForCausalLM Генерація коду http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Qwen3-Coder-30B-A3B-Instruct/ Сарвамай Сарвамай Сарвамай/Сарвам-1 Мовна модель лише тексту 1.20.4 QEFFAutoModelForCausalLM Фокус на генерації тексту індійською мовою http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/sarvam-1/ SDXL StableDiffusionForTextToImage stabilityai/stable-diffusion-xl-base-1.0 Мультимодальна мовна модель 1.20.4 AutoPipelineForText2Image Моделі мови зору (текст + генерація зображень) http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/stable-diffusion-xl-base-1.0/ SDXL Turbo StableDiffusionForTextToImage StabilityAI/SDXL-Turbo Мультимодальна мовна модель 1.20.4 AutoPipelineForText2Image Моделі мови зору (текст + генерація зображень) http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/sdxl_turbo/ Шепіт Шепіт openAI/Whisper-base Аудіомодель 1.20.4 QEFFAutoModelForSpeechSeq2Seq Автоматичне розпізнавання мовлення (транскрипція) http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/whisper-base/ Шепіт Шепіт OpenAI/Whisper-large-V3-Turbo Аудіомодель 1.20.4 QEFFAutoModelForSpeechSeq2Seq Автоматичне розпізнавання мовлення (транскрипція) http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/whisper-large-v3-turbo/ Шепіт Шепіт openAI/Whisper-large Аудіомодель 1.20.4 QEFFAutoModelForSpeechSeq2Seq Автоматичне розпізнавання мовлення (транскрипція) http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/whisper-large/ Шепіт Шепіт openAI/Whisper-Medium Аудіомодель 1.20.4 QEFFAutoModelForSpeechSeq2Seq Автоматичне розпізнавання мовлення (транскрипція) http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/whisper-medium/ Шепіт Шепіт openAI/Whisper-small Аудіомодель 1.20.4 QEFFAutoModelForSpeechSeq2Seq Автоматичне розпізнавання мовлення (транскрипція) http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/whisper-small/ Шепіт Шепіт openai-whisper-tiny Аудіомодель 1.20.4 QEFFAutoModelForSpeechSeq2Seq Автоматичне розпізнавання мовлення (транскрипція) http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/whisper-tiny/ XLM-RoBERTa XLMRobertaModel intfloat/multilingual-e5-large Модель вкладення 1.20.4 QEFFAutoModel Вбудовування тексту http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/multilingual-e5-large/ XLM-RoBERTa XLMRobertaModel intfloat/multilingual-e5-small Модель вкладення 1.19.6 QEFFAutoModel Вбудовування тексту http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.19.6/multilingual-e5-small/