Как настроить Dell Pro Max 16 Plus с платой Qualcomm Inference в Linux

Summary: Узнайте, как настроить Dell Pro 16 Plus MB16250 с платой Qualcomm Inference в Linux.

Affected Products

This article applies to This article does not apply to This article is not tied to any specific product. Not all product versions are identified in this article.

Check out other resources

Instructions

Настройка Dell Pro 16 Plus с платой Qualcomm Inference в Linux

Добро пожаловать в Dell Pro Max 16 Plus с платой формирования вывода Qualcomm AI100!

Выполните следующие однократные шаги настройки, чтобы подготовить плату к рабочим нагрузкам логического вывода ИИ при использовании Ubuntu 24.04 на рабочей станции Dell Pro Max 16 Plus. Это гарантирует, что на рабочей станции и плате будет установлено правильное программное обеспечение и базовые параметры конфигурации, необходимые для начала работы с платой.

Проверка установки платы AI100.
Используйте следующее lspci Команда для проверки того, что плата установлена на ноутбуке:
```
lspci | grep Qualcomm
```
Эта команда отображает две (2) записи устройства Qualcomm a100 PCIe для платы AI100.
```
dell@dell:~$ lspci | grep Qualcomm
 04:00.0 Processing accelerators: Qualcomm Technologies, Inc Device a100
 05:00.0 Processing accelerators: Qualcomm Technologies, Inc Device a100
 dell@dell:~$
```
Обновление BIOS на рабочей станции Dell Pro Max 16 Plus.
Обновите BIOS рабочей станции, чтобы обеспечить последнюю версию поддержки платы логического вывода AI100. Выполните следующие команды для проверки наличия обновлений BIOS и последующего обновления, если обновление доступно.
Команды для проверки наличия обновлений BIOS:
```
sudo fwupdmgr refresh --force
 sudo fwupdmgr upgrade
```
Пример выходных данных обновления до последней версии BIOS.
```
dell@dell:~$ sudo fwupdmgr refresh --force
 Updating lvfs
 Downloading…          [*************************************]
 Successfully downloaded new metadata: 7 local devices supported
 dell@dell:~$ sudo fwupdmgr upgrade
 Devices with no available firmware updates:
 • Integrated Webcam 8M
 • PC811 SED SK hynix 2048GB
 • TPM
 • UEFI Device Firmware
 • UEFI dbx
 • USB4 host controller
 
 Perform operation? [Y|n]: Y
 Waiting…          [***************************************]
 Successfully installed firmware
 Do not turn off your computer or remove the AC adapter while the update is in progress.
 An update requires a reboot to complete. Restart now? [y|N]:
```
Убедитесь, что установлена BIOS версии 2.22 или выше, с помощью dmidecode : Проверка существующей версии микропрограммы BIOS.
```
sudo dmidecode -t 0
```
Обновление операционной системы (ОС) Ubuntu на рабочей станции Dell Pro Max 16 Plus
При следующем обновлении ОС Ubuntu на рабочей станции в Ubuntu 24.04 интегрирована поддержка платы формирования логических выводов AI100. Обновление Ubuntu гарантирует, что для вашей платы будут доступны новейшие модули ядра и обновления микропрограммы AI100.
Чтобы обновить Ubuntu, используйте средство обновления ПО Ubuntu в меню «Приложения рабочего стола» или выполните следующие команды в терминале:
Команды для обновления программного обеспечения Ubuntu в терминале:
```
sudo apt-get update
 sudo apt-get upgrade
 sudo reboot
```
После скачивания, установки и обновления Ubuntu на ноутбуке перезагрузите рабочую станцию, чтобы убедиться, что произошли изменения времени загрузки ядра.

Убедитесь, что обновлено ядро Ubuntu версии 6.14.0-1017-oem или более поздней. Эта версия включает подписанные модули ядра, которые поддерживают AI100 с включенной безопасной загрузкой. Используйте следующую команду для проверки версии ядра.

Проверка версии ядра Linux 6.14.0-1017-oem или более поздней.
```
dell@dell:~$ uname -r
 6.14.0-1017-oem
```
```
dell@dell:~$ uname -r
 6.14.0-1017-oem
```
Затем убедитесь, что пакет микропрограммы Linux, включающий микропрограмму AI100, имеет версию 2.22 или выше, используя следующую команду командной строки:

Проверка версии микропрограммы Linux 2.22 или выше.
```
dell@dell:~$ dpkg-query --list linux-firmware
 Desired=Unknown/Install/Remove/Purge/Hold
 | Status=Not/Inst/Conf-files/Unpacked/halF-conf/Half-inst/trig-aWait/Trig-pend
 |/ Err?=(none)/Reinst-required (Status,Err: uppercase=bad)
 ||/ Name Version Architecture Description
 +++-==============-================================-============-=================================
 ii linux-firmware 20240318.git3b128b60-0ubuntu2.22 amd64 Firmware for Linux kernel drivers
 dell@dell:~$
```
Обновление параметров ядра GRUB.
Чтобы в полной мере использовать плату логического вывода Qualcomm AI100, отключите функцию PCIe Access Control System (ACS). Это необходимо для полной поддержки нарезки тензора с использованием обоих устройств AI100 на плате Qualcomm AI100. Отключите ACS на коммутаторе PCIe на плате AI100. Это обеспечивает полный доступ к данным между двумя устройствами AI100 и всеми 64 ГБ встроенной оперативной памяти при выполнении вывода между ними.
Это делается путем передачи параметра ядра Linux, добавленного в конфигурацию GRUB для поддержки платы логического вывода Qualcomm AI100. Параметры ядра — это конфигурации, передаваемые ядру Linux во время загрузки, которые инструктируют ядро о том, как настраивать определенные функции. В этом случае для платы AI100 отключается ACS. Это можно сделать путем добавления параметра ядра в конфигурационный файл GRUB.

Откройте файл конфигурации GRUB с правами root в текстовом редакторе.
Изменение файла конфигурации GRUB /etc/default/grub.
```
sudo nano /etc/default/grub
```
```
sudo nano /etc/default/grub
```
Отредактируйте файл GRUB_CMDLINE_LINUX_DEFAULT , чтобы добавить pci=disable_acs_redir (отключите ACS на коммутаторе платы AI100 PCIe). Убедитесь, что у вас есть точный синтаксис, приведенный ниже. Также убедитесь, что имеется только один GRUB_CMDLINE_LINUX_DEFAULT в /etc/default/grub file (слияние опций ядра, если это необходимо, в одну строку).

Изменить GRUB_CMDLINE_LINUX_DEFAULT Линии.
```
GRUB_CMDLINE_LINUX_DEFAULT="quiet splash pci=disable_acs_redir=03:00.0\;03:01.0"
```
Нажмите клавиши CTRL+X, выберите Y и нажмите клавишу ВВОД, чтобы сохранить изменения конфигурации. Теперь выполните следующие действия и перезагрузите систему, чтобы они вступили в силу.

Повторно создайте конфигурацию GRUB.
```
sudo update-grub
 sudo reboot
```
После перезагрузки проверьте изменения с помощью следующих команд.
Проверка изменений в конфигурации GRUB.
```
dell@dell:~$ cat /proc/cmdline
 BOOT_IMAGE=/boot/vmlinuz-6.14.0-1016-oem root=UUID=cd20aec8-6b44-45f7-bca5-307240cec24b ro quiet splash
 pci=disable_acs_redir=03:00.0;03:01.0 vt.handoff=7
```
```
dell@dell:~$ cat /proc/cmdline
 BOOT_IMAGE=/boot/vmlinuz-6.14.0-1016-oem root=UUID=cd20aec8-6b44-45f7-bca5-307240cec24b ro quiet splash
 pci=disable_acs_redir=03:00.0;03:01.0 vt.handoff=7
```
Убедитесь, что ACS отключен с помощью dmesg. Сообщения для «Настроенной ACS» отображаются следующим образом:
```
dell@dell:~$ sudo dmesg | grep ACS
 [ 0.000000] Command line: BOOT_IMAGE=/boot/vmlinuz-6.14.0-1016-oem root=UUID=cd20aec8-6b44-45f7-bca5-307240cec24b ro quiet splash pcie_port_m=force pci=disable_acs_redir=03:00.0;03:01.0 vt.handoff=7
 [ 0.141658] Kernel command line: BOOT_IMAGE=/boot/vmlinuz-6.14.0-1016-oem root=UUID=cd20aec8-6b44-45f7-bca5-307240cec24b ro quiet splash pcie_port_m=force pci=disable_acs_redir=03:00.0;03:01.0 vt.handoff=7
 [ 0.741030] pci 0000:03:00.0: Configured ACS to 0x0000
 [ 0.745422] pci 0000:03:01.0: Configured ACS to 0x0000
```
Установка Docker

Самый быстрый способ выполнения логических выводов на плате AI100 — использовать предварительно созданные контейнеры Docker AI100, которые включают поддержку платы вывода Qualcomm AI100. Предварительно созданный контейнер Docker предоставляет готовую к использованию среду для выполнения рабочих нагрузок вывода. Контейнер включает в себя SDK и набор инструментов для платформы и приложений Qualcomm AI100, среду Python, эффективные преобразователи Qualcomm для компиляции моделей искусственного интеллекта и выполнения логических выводов, а также готовую к использованию поддержку vLLM и Triton для платы логического вывода AI100.

Чтобы установить Docker в Ubuntu, используйте следующую команду:
```
sudo snap install docker
```
Чтобы запустить docker от имени обычного пользователя, выполните следующие команды.
Команды для запуска docker от имени обычного пользователя.
```
# create and join the docker group
 sudo addgroup --system docker
 sudo adduser $USER docker
 newgrp docker
 
 # disable and re-enable the docker snap if you added the group while Docker Engine was running
 sudo snap disable docker
 sudo snap enable docker
```
```
# create and join the docker group
 sudo addgroup --system docker
 sudo adduser $USER docker
 newgrp docker
 
 # disable and re-enable the docker snap if you added the group while Docker Engine was running
 sudo snap disable docker
 sudo snap enable docker
```
Если пользователь не добавлен в группу Docker, перед всеми командами Docker необходимо добавить префикс sudo:
```
sudo docker run ...
```
См.: Моментальный снимок Docker

Кроме того, Docker можно установить с помощью apt Debian Docker Docs

После установки Docker проверьте установку следующим образом:
Убедитесь, что Docker устанавливается, с помощью hello-world:
```
dell@dell:~$ docker run hello-world
 Unable to find image 'hello-world:latest' locally
 latest: Pulling from library/hello-world
 17eec7bbc9d7: Pull complete
 Digest: sha256:d4aaab6242e0cace87e2ec17a2ed3d779d18fbfd03042ea58f2995626396a274
 Status: Downloaded newer image for hello-world:latest
 
 Hello from Docker!
 This message shows that your installation appears to be working correctly.
 ...
```
Плата логического вывода AI100 для рабочей станции Dell Pro Max 16 Plus готова к работе!

На этом выполняется однократная настройка, необходимая для использования платы логического вывода AI100. В следующих разделах показано, как использовать инструменты AI100 для просмотра состояния платы и выполнения начального простого вывода для проверки работоспособности платы AI100.
Проверка платы AI100

Проверьте карту AI100 и запустите начальное заключение с помощью предварительно созданного контейнера Docker AI100, содержащего все пакеты SDK для платформы и приложений AI100, цепочку инструментов и инструменты вывода vLLM и Triton, необходимые для использования карты.

Если контейнер Docker AI100 запускается впервые, эта команда также извлекает контейнер. Образ контейнера Docker AI100 скачан ~14 ГБ. Чтобы запустить контейнер Docker AI100, используйте следующую команду:

Запустите контейнер Docker AI100.
```
docker run --rm -it \
 --privileged \
 --device=/dev/accel/accel1 \
 --device=/dev/accel/accel2 \
 --network host \
 --ulimit nofile=1048576 \
 -e OMP_NUM_THREADS=8 \
 ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 \
 /bin/bash
```
После того, как контейнер Docker AI100 будет извлечен и запущен, на экране отобразится следующий вывод:
Пример выходных данных после запуска контейнера Docker AI100.
```
dell@dell:~$ docker run --rm -it --device=/dev/accel/accel1 --device=/dev/accel/accel2 --network host --ulimit nofile=1048576 -e OMP_NUM_THREADS=8 -v ~/Downloads/qwen3_coder_qpc:/root/qpc/ ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 /bin/bash
 ==================================
 == Qualcomm Cloud AI Containers ==
 ==================================
 
 Platform SDK version: 1.20.6.0
 Apps SDK version: 1.20.6.0
 
 This container image and its contents are governed by the terms of
 the license at /usr/share/doc/CONTAINER_LICENSE.txt. By pulling and
 using the container, you accept the terms and conditions of this license.
 
 root@dell:~#
```
```
dell@dell:~$ docker run --rm -it --device=/dev/accel/accel1 --device=/dev/accel/accel2 --network host --ulimit nofile=1048576 -e OMP_NUM_THREADS=8 -v ~/Downloads/qwen3_coder_qpc:/root/qpc/ ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 /bin/bash
 ==================================
 == Qualcomm Cloud AI Containers ==
 ==================================
 
 Platform SDK version: 1.20.6.0
 Apps SDK version: 1.20.6.0
 
 This container image and its contents are governed by the terms of
 the license at /usr/share/doc/CONTAINER_LICENSE.txt. By pulling and
 using the container, you accept the terms and conditions of this license.
 
 root@dell:~#
```
Используйте AI100 qaic-util -q для текстового вывода состояния карты AI100, как показано в следующем примере выходных данных.
Пример выходных данных для qaic-util -q
```
root@dell:~# qaic-util -q
 LRT QC_IMAGE_VERSION: LRT.AIC.13.2.1.20.6.0
 LRT IMAGE_VARIANT: LRT.AIC.REL
 Number of devices queried: 2
 QID 0
 Status:Ready
 ...
```
Просмотр состояния сетки возможен с помощью команды qaic-util -t 1 команда, которая периодически обновляет статус карты. В следующем примере выходных данных показана плата AI100 в режиме простоя. Плата AI100 включает в себя два устройства AI100, каждое из которых имеет 16 вычислительных ядер процессора нейронных сигналов (NSP). Каждое устройство показывает 32 ГБ памяти, всего 64 ГБ на карте:
Пример выходных данных для режима простоя для qaic-util -t 1.
```
root@dell:~# qaic-util -t 1
```
Вот еще один пример qaic-util в то время как плата AI100 выполняет рабочую нагрузку логического вывода ИИ. В данном случае он показывает модель большего размера - qwen3-coder:30b. Выходные данные показывают, что все 16 NSP используются на каждом устройстве AI100, температура карты увеличилась до 47 °C с более низких температур в режиме простоя, что каждая деталь AI100 использует ~13 ГБ каждая, что в общей сложности составляет 26 ГБ для модели, общая мощность, используемая для платы, составляет 51 из макс. 75 Вт, и что частота NSP увеличилась для рабочей нагрузки до 1100 МГц.

Пример выходных данных для AI100, выполняющего логический вывод с использованием qaic-util -t 1.
```
root@dell:~# qaic-util -t 1
```
Чтобы сбросить настройки карты AI100, используйте кнопку qaic-util -s . Для выполнения этой команды требуется аппаратное разрешение внутри контейнера, а при запуске контейнера требуется параметр командной строки «-privileged». В следующем примере выходных данных показано использование qaic util -s Следуют qaic-util -t 1 для контроля состояния карты. До тех пор, пока плата не завершит сброс, будут отображаться недопустимые значения полей, как в примере выходных данных ниже:

Пример выходных данных сброса карты AI100 с помощью qaic-util -s и qaic-util -t 1.
```
root@dell:~# qaic-util -s
 Resetting all devices…
 0000:04:00.0:
 0000:04:00.0 success
 0000:05:00.0:
 0000:05:00.0 success
 root@dell:~# qaic-util -t 1
```
Используйте одну системную командную строку для отображения состояния карты AI100 с помощью контейнера Docker AI100 следующим образом.

Запустите контейнер Docker AI100.
```
docker run --rm -it \
 --privileged \
 --device=/dev/accel/accel1 \
 --device=/dev/accel/accel2 \
 --network host \
 --ulimit nofile=1048576 \
 -e OMP_NUM_THREADS=8 \
 ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 \
 qaic-util -t 1
```
```
docker run --rm -it \
 --privileged \
 --device=/dev/accel/accel1 \
 --device=/dev/accel/accel2 \
 --network host \
 --ulimit nofile=1048576 \
 -e OMP_NUM_THREADS=8 \
 ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 \
 qaic-util -t 1
```
Примечание. При запуске команды отображаются строки вывода ошибок qaic-util -s и qaic-util -t 1 и в выводе сетки отображается "Invalid" для температуры и питания платы/TDP и "0.00 Вт" для питания SoC. В предстоящих обновлениях ОС Ubuntu и контейнера Docker AI100 будут внесены изменения в пролетном пакете.
Запуск вывода теста

В этом разделе показано, как выполнить быстрый тест логического вывода на плате AI100. Используйте этот тест логического вывода для проверки функциональности платы AI100.

Использование команды командной строки qaic-runner , чтобы выполнить первую тестовую рабочую нагрузку вывода. Используйте -d чтобы указать целевое устройство AI100, -a , чтобы указать количество используемых национальных поставщиков решений, и -n для количества итераций:

Пример вывода теста с использованием qaic-runner.
```
docker run --rm -it \
 --device=/dev/accel/accel1 \
 --device=/dev/accel/accel2 \
 --network host \
 --ulimit nofile=1048576 \
 -e OMP_NUM_THREADS=8 \
 ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 \
 qaic-runner -t /opt/qti-aic/test-data/aic100/v2/1nsp/1nsp-conv-hmx/ -a 16 -n 5000 -d 0
```
```
docker run --rm -it \
 --device=/dev/accel/accel1 \
 --device=/dev/accel/accel2 \
 --network host \
 --ulimit nofile=1048576 \
 -e OMP_NUM_THREADS=8 \
 ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 \
 qaic-runner -t /opt/qti-aic/test-data/aic100/v2/1nsp/1nsp-conv-hmx/ -a 16 -n 5000 -d 0
```
Пример выходных данных, как показано ниже, отображается на экране:
Пример выходных данных для выполнения вывода теста.
```
dell@dell:~$ docker run --rm -it \
 --device=/dev/accel/accel1 \
 --device=/dev/accel/accel2 \
 --network host \
 --ulimit nofile=1048576 \
 -e OMP_NUM_THREADS=8 \
 ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 \
 qaic-runner -t /opt/qti-aic/test-data/aic100/v2/1nsp/1nsp-conv-hmx/ -a 16 -n 5000 -d 0
 loading /opt/qti-aic/dev/lib/x86_64/libQAic.so
 ---- Stats ----
 InferenceCnt 5000 TotalDuration 22544us BatchSize 1 Inf/Sec 221788.502
```
Полезные ссылки

В таблице ниже содержится список ключевых и полезных ресурсов AI100 и ссылки, которые помогут получить максимальную отдачу от карточки логического вывода AI100.
- Руководство пользователя Qualcomm AI100. Отправная точка для всех тем AI100 - подробное руководство пользователя AI100
- Библиотека эффективных трансформаторов Qualcomm: Библиотека для ускорения работы многих LLM из HuggingFace на Qualcomm AI100
- Контейнеры QAIC: Контейнеры Docker, включающие цепочку инструментов AI100, включая поддержку vLLM и Triton с использованием Ubuntu 24.04
- Контейнеры QAIC - последние 24.04: Контейнер Docker QAIC, использующий 24.04, рекомендуется использовать с платой вывода AI100
- Блог разработчиков об эффективных трансформаторах Qualcomm: Отличный обзор эффективных трансформаторов с простыми и быстрыми примерами
- http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/ : См. каталог предварительно скомпилированных моделей для загрузки и запуска на плате AI100 (модели, созданные для двух однокристальных систем).
  Примечание. Этот URL-адрес не является ссылкой HTTPS. Используйте на свой страх и риск.
Примечание. Перейдите на сайт поддержки и используйте ключевое слово фильтра Linux , чтобы просмотреть другие статьи Dell, связанные с Dell Pro Max 16 Plus MB16250 с процессором Al100:
- Страница статей о Dell Pro Max 16 Plus MB16250

Предварительно собранные модели AI100

В приведенной ниже таблице содержится снимок моделей ИИ, предварительно созданных для работы в контейнере Docker AI100 (например, с использованием vLLM).

Плата логического вывода AI100 запускает модели в формате Qualcomm Program Container (QPC). QPC можно создавать из моделей Huggingface с помощью SDK платформы и приложений AI100 или использовать готовые модели ИИ из онлайн-каталога Zentree по следующей ссылке. Контроллеры QPC предназначены для количества устройств AI100 на плате — Dell Pro Max 16 Plus с платой Qualcomm Inference поддерживает QPC для работы на одной или двух системах на кристалле (система AI100 на кристалле). QPC, созданный для двух устройств AI100, использует тензорные срезы для запуска больших моделей с использованием вычислительных ресурсов двух устройств AI100 на всех 64 ГБ памяти карты.

См. вкладку каталога по следующей ссылке для http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/ .

Примечание. Эти URL-адреса не являются ссылками HTTPS. Используйте на свой страх и риск.

Семейство моделей	Архитектура модели	Репрезентативная модель	Тип модели	Версия QAIC SDK	Автоматический класс QEff	Задача	Ссылка на QPC
БЕРТ	BERTМодель	BAAI/bge-large-en-v1.5	Модель встраивания	1.19.6	QEFFAutoМодель	Встраивание текста	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.19.6/bge-large-en-v1.5/
БЕРТ	BERTМодель	БААИ/БГЭ-м3	Модель встраивания	1.19.6	QEFFAutoМодель	Встраивание текста	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.19.6/bge-m3/
БЕРТ	BERTМодель	BAAI/bge-base-en-v1.5	Модель встраивания	1.19.6	QEFFAutoМодель	Встраивание текста	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.19.6/bge-base-en-v1.5/
DeepSeek-R1-Distill-Llama	LlamaForCausalLM	Valdemardi/DeepSeek-R1-Distill-Llama-70B-AWQ	Текстовая языковая модель	1.20.4	QEFFAutoModelForCausalLM	Генерация текста	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/DeepSeek-R1-Distill-Llama-70B-AWQ/
DeepSeek-R1-Distill-Llama	LlamaForCausalLM	Касперхансен/DeepSeek-R1-Distill-Llama-8B-AWQ	Текстовая языковая модель	1.20.4	QEFFAutoModelForCausalLM	Генерация текста	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/deepseek-r1-distill-llama-8b-awq/
DeepSeek-R1-Distill-Qwen	Qwen2ForCausalLM	Valdemardi/DeepSeek-R1-Distill-Llama-32B-AWQ	Текстовая языковая модель	1.20.4	QEFFAutoModelForCausalLM	Генерация текста	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/DeepSeek-R1-Distill-Qwen-32B-AWQ/
DeepSeek-R1-Distill-Qwen	Qwen2ForCausalLM	Casperhansen/DeepSeek-R1-Distill-QWEN-7B-AWQ	Текстовая языковая модель	1.20.4	QEFFAutoModelForCausalLM	Генерация текста	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/deepseek-r1-distill-qwen-7b-awq/
Гемма3	Gemma3ForConditionalGeneration	Google/GEMMA-3-4B-IT	Мультимодальная языковая модель	1.20.4	QEFFAutoModelForImageTextToText	Модели языка машинного зрения (генерация текста + изображения)	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/gemma-3-4b-it/
GPT-OSS	GptOssForCausalLM	OpenAI/GPT-OSS-20B	Текстовая языковая модель	1.20.4	QEFFAutoModeForCausalLM	Генерация текста	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/gpt-oss-20b/
Гранит-3,2	Гранит ForCausalLM	IBM-GRANITE/GRANITE-3.2-8B-INSTRUCT	Текстовая языковая модель	1.20.4	QEFFAutoModelForCausalLM	Генерация текста	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/granite-3.2-8b-instruct/
Гранит-3,3	Гранит ForCausalLM	IBM-GRANITE/GRANITE-3.3-8B-INSTRUCT	Текстовая языковая модель	1.20.4	QEFFAutoModelForCausalLM	Генерация текста	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/granite-3.3-8b-instruct/
Лама 3.1	LlamaForCausalLM	мета-лама/лама-3.1-8B-Инструктировать	Текстовая языковая модель	1.20.4	QEFFAutoModelForCausalLM	Генерация текста	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Llama-3.1-8B/
Лама 3.1 Немотрон	LlamaForCausalLM	ibnzterrell/NVIDIA-Llama-3.1-Nemotron-70B-Instruct-HF-AWQ-INT4	Текстовая языковая модель	1.20.4	QEFFAutoModelForCausalLM	Генерация текста	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Nvidia-Llama-3.1-Nemotron-70B-Instruct-HF-AWQ-INT4/
Лама 3.1 Немотрон	LlamaForCausalLM	nvidia/Llama-3.1-Nemotron-Nano-8B-v1	Текстовая языковая модель	1.20.4	QEFFAutoModelForCausalLM	Генерация текста	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Llama-3.1-Nemotron-Nano-8B-v1/
Лама 3.2	LlamaForCausalLM	мета-лама/Лама-3.2-1B	Текстовая языковая модель	1.20.4	QEFFAutoModelForCausalLM	Генерация текста	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Llama-3.2-1B/
Лама 3.2	LlamaForCausalLM	мета-лама/Лама-3.2-3B	Текстовая языковая модель	1.20.4	QEFFAutoModelForCausalLM	Генерация текста	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Llama-3.2-3B/
Лама 3.2	LlamaForCausalLM	мета-лама/лама-3.2-3B-Инструктировать	Текстовая языковая модель	1.20.4	QEFFAutoModelForCausalLM	Генерация текста	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Llama-3.2-3B-Instruct/
Лама 3.2	MllamaForConditionalGeneration	мета-лама/лама-3.2-11B-видение-наставление	Мультимодальная языковая модель	1.20.4	QEFFAutoModelForImageTextToText	Модели языка машинного зрения (генерация текста + изображения)	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Llama-3.2-11B-Vision-Instruct/
Лама 3.2 Наставление	LlamaForCausalLM	мета-лама/лама-3.2-1B-Инструктировать	Текстовая языковая модель	1.20.4	QEFFAutoModelForCausalLM	Генерация текста	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Llama-3.2-1B-Instruct/
Лама 3.x	LlamaForCausalLM	Целевой: Мета-лама-3.1-70B-Instruct-AWQ-INT4 Черновик: Лама-3.2-1B-Инструктировать	Спекулятивное декодирование (SpD)	1.20.4	QEFFAutoModelForCausalLM	Генерация текста	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/spd/meta-llama/
Лама 3.x	LlamaForCausalLM	Цель: casperhansen/llama-3.3-70b-instruct-awq Черновик: meta-llama/Llama-3.2-1B-Instruct	Спекулятивное декодирование (SpD)	1.20.4	QEFFAutoModelForCausalLM	Генерация текста	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/spd/llama33-70b-awq__draft-llama32-1b/
Mistral	MistralForCausalLM	mistralai/Mistral-7B-Instruct-v0.1	Текстовая языковая модель	1.20.4	QEFFAutoModelForCausalLM	Генерация текста	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Mistral-7B-Instruct-v0.1/
Фи-4	Phi3ForCausalLM	Microsoft/PHI-4	Текстовая языковая модель	1.20.4	QEFFAutoModelForCausalLM	Генерация текста	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/phi-4/
Квен3	Квэн3Моэ	Qwen/Qwen3-30B-A3B-Instruct-2507	Текстовая языковая модель	1.20.4	QEFFAutoModelForCausalLM	Генерация текста	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Qwen3-30B-A3B-Instruct-2507/
Qwen3-Coder	Квэн3Моэ	Qwen/Qwen3-Coder-30B-A3B-Инструктировать	Текстовая языковая модель	1.20.4	QEFFAutoModelForCausalLM	Генерация кода	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Qwen3-Coder-30B-A3B-Instruct/
Сарвамай	Сарвамай	Сарвамай/Сарвам-1	Текстовая языковая модель	1.20.4	QEFFAutoModelForCausalLM	Генерация текста Ориентация на индийский язык	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/sarvam-1/
SDXL	StableDiffusionForTextToImage	stabilityai/stable-diffusion-xl-base-1.0	Мультимодальная языковая модель	1.20.4	AutoPipelineForText2Image	Модели языка машинного зрения (генерация текста + изображения)	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/stable-diffusion-xl-base-1.0/
SDXL Turbo	StableDiffusionForTextToImage	СтабильностьAI/SDXL-Turbo	Мультимодальная языковая модель	1.20.4	AutoPipelineForText2Image	Модели языка машинного зрения (генерация текста + изображения)	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/sdxl_turbo/
Шепот	Шепот	OpenAI/Whisper-Base	Модель аудиосистемы	1.20.4	QEFFAutoModelForSpeechSeq2Seq	Автоматическое распознавание речи (транскрипция)	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/whisper-base/
Шепот	Шепот	OpenAI/Whisper-Large-V3-Turbo	Модель аудиосистемы	1.20.4	QEFFAutoModelForSpeechSeq2Seq	Автоматическое распознавание речи (транскрипция)	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/whisper-large-v3-turbo/
Шепот	Шепот	OpenAI/Whisper-Large	Модель аудиосистемы	1.20.4	QEFFAutoModelForSpeechSeq2Seq	Автоматическое распознавание речи (транскрипция)	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/whisper-large/
Шепот	Шепот	OpenAI/Whisper-Medium	Модель аудиосистемы	1.20.4	QEFFAutoModelForSpeechSeq2Seq	Автоматическое распознавание речи (транскрипция)	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/whisper-medium/
Шепот	Шепот	OpenAI/Whisper-Small	Модель аудиосистемы	1.20.4	QEFFAutoModelForSpeechSeq2Seq	Автоматическое распознавание речи (транскрипция)	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/whisper-small/
Шепот	Шепот	openai-шепот-крошечный	Модель аудиосистемы	1.20.4	QEFFAutoModelForSpeechSeq2Seq	Автоматическое распознавание речи (транскрипция)	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/whisper-tiny/
XLM-RoBERTa	XLMRobertaМодель	intfloat/многоязычная-e5-large	Модель встраивания	1.20.4	QEFFAutoМодель	Встраивание текста	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/multilingual-e5-large/
XLM-RoBERTa	XLMRobertaМодель	intfloat/многоязычная-e5-малая	Модель встраивания	1.19.6	QEFFAutoМодель	Встраивание текста	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.19.6/multilingual-e5-small/

В начало

Affected Products

Dell Pro Max 16 Plus MB16250

Article Number: 000393093

Article Type: How To

Last Modified: 24 May 2026

Version: 9

Check if your device is covered by Support Services.

Как настроить Dell Pro Max 16 Plus с платой Qualcomm Inference в Linux

Summary: Узнайте, как настроить Dell Pro 16 Plus MB16250 с платой Qualcomm Inference в Linux.

Instructions

Affected Products

Instructions

Настройка Dell Pro 16 Plus с платой Qualcomm Inference в Linux

Проверка установки платы AI100.

Обновление BIOS на рабочей станции Dell Pro Max 16 Plus.

Обновление операционной системы (ОС) Ubuntu на рабочей станции Dell Pro Max 16 Plus

Обновление параметров ядра GRUB.

Установка Docker

Плата логического вывода AI100 для рабочей станции Dell Pro Max 16 Plus готова к работе!

Проверка платы AI100

Запуск вывода теста

Полезные ссылки

Предварительно собранные модели AI100

Affected Products

Article Properties

Find answers to your questions from other Dell users

Support Services

Article Properties

Find answers to your questions from other Dell users

Support Services

Как настроить Dell Pro Max 16 Plus с платой Qualcomm Inference в Linux

Summary: Узнайте, как настроить Dell Pro 16 Plus MB16250 с платой Qualcomm Inference в Linux.

Detailed Article

Instructions

Affected Products

Instructions

Настройка Dell Pro 16 Plus с платой Qualcomm Inference в Linux

Проверка установки платы AI100.

Обновление BIOS на рабочей станции Dell Pro Max 16 Plus.

Обновление операционной системы (ОС) Ubuntu на рабочей станции Dell Pro Max 16 Plus

Обновление параметров ядра GRUB.

Установка Docker

Плата логического вывода AI100 для рабочей станции Dell Pro Max 16 Plus готова к работе!

Проверка платы AI100

Запуск вывода теста

Полезные ссылки

Предварительно собранные модели AI100

Affected Products

Article Properties

Find answers to your questions from other Dell users

Support Services

Article Properties

Find answers to your questions from other Dell users

Support Services