Linux에서 Qualcomm 추론 카드로 Dell Pro Max 16 Plus를 설정하는 방법

Summary: Linux에서 Qualcomm 추론 카드로 Dell Pro Max 16 Plus MB16250를 설정하는 방법을 알아보십시오.

Affected Products

This article applies to This article does not apply to This article is not tied to any specific product. Not all product versions are identified in this article.

Check out other resources

Instructions

Linux에서 Qualcomm 추론 카드로 Dell Pro Max 16 Plus 설정

Qualcomm AI100 추론 카드가 탑재된 Dell Pro Max 16 Plus에 오신 것을 환영합니다!

아래의 일회성 설정 단계에 따라 Dell Pro Max 16 Plus 워크스테이션에서 Ubuntu 24.04를 사용하여 AI 추론 워크로드를 위한 카드를 준비하십시오. 이를 통해 워크스테이션과 카드에 카드를 바로 사용할 수 있는 올바른 소프트웨어 및 구성 기준 설정이 보장됩니다.

AI100 카드 설치 확인
다음을 사용하십시오. lspci 카드가 노트북에 설치되어 있는지 확인하는 명령:
```
lspci | grep Qualcomm
```
이 명령은 AI2 카드에 대한 Qualcomm a100 PCIe 장치 항목 두(100) 개를 표시합니다.
```
dell@dell:~$ lspci | grep Qualcomm
 04:00.0 Processing accelerators: Qualcomm Technologies, Inc Device a100
 05:00.0 Processing accelerators: Qualcomm Technologies, Inc Device a100
 dell@dell:~$
```

Dell Pro Max 16 Plus 워크스테이션에서 BIOS 업데이트

워크스테이션 BIOS를 업데이트하여 노트북이 AI100 추론 카드에 대한 최신 지원 기능을 갖도록 합니다. 다음 명령을 사용하여 BIOS 업데이트를 확인한 다음 업데이트가 있으면 업그레이드합니다.
BIOS 업데이트를 확인하는 명령:

sudo fwupdmgr refresh --force
 sudo fwupdmgr upgrade

최신 BIOS로 업데이트하는 샘플 출력.

dell@dell:~$ sudo fwupdmgr refresh --force
 Updating lvfs
 Downloading…          [*************************************]
 Successfully downloaded new metadata: 7 local devices supported
 dell@dell:~$ sudo fwupdmgr upgrade
 Devices with no available firmware updates:
 • Integrated Webcam 8M
 • PC811 SED SK hynix 2048GB
 • TPM
 • UEFI Device Firmware
 • UEFI dbx
 • USB4 host controller
 
 Perform operation? [Y|n]: Y
 Waiting…          [***************************************]
 Successfully installed firmware
 Do not turn off your computer or remove the AC adapter while the update is in progress.
 An update requires a reboot to complete. Restart now? [y|N]:

다음을 사용하여 BIOS 버전 2.22 이상이 설치되어 있는지 확인합니다. dmidecode 명령어로 확인할 수 있습니다. 기존 BIOS 펌웨어 버전을 확인하는 중입니다.

sudo dmidecode -t 0

Dell Pro Max 16 Plus 워크스테이션에서 Ubuntu OS(Operating System) 업데이트
워크스테이션의 Ubuntu OS에 대한 다음 업데이트에서는 AI100 추론 카드에 대한 지원이 Ubuntu 24.04에 통합됩니다. Ubuntu를 업데이트하면 카드에 최신 커널 모듈 및 AI100 펌웨어 업데이트를 사용할 수 있습니다.
Ubuntu를 업데이트하려면 데스크탑 앱 메뉴에서 Ubuntu "Software Updater"를 사용하거나 터미널에서 다음 명령을 사용합니다.
터미널에서 Ubuntu 소프트웨어를 업데이트하는 명령:
```
sudo apt-get update
 sudo apt-get upgrade
 sudo reboot
```
노트북에서 Ubuntu를 다운로드, 설치 및 업데이트한 후 워크스테이션을 재부팅하여 커널의 부팅 시간이 변경되도록 합니다.

업데이트된 Ubuntu 커널이 버전 6.14.0-1017-oem 이상인지 확인합니다. 이 버전에는 보안 부팅이 활성화된 AI100을 지원하는 서명된 커널 모듈이 포함되어 있습니다. 다음 명령을 사용하여 커널 버전을 확인합니다.

Linux 커널이 버전 6.14.0-1017-oem 이상인지 확인합니다.
```
dell@dell:~$ uname -r
 6.14.0-1017-oem
```
```
dell@dell:~$ uname -r
 6.14.0-1017-oem
```
그런 다음 다음 명령줄 명령을 사용하여 AI100 펌웨어가 포함된 Linux 펌웨어 패키지의 버전이 2.22 이상인지 확인합니다.

Linux 펌웨어 버전이 2.22 이상인지 확인합니다.
```
dell@dell:~$ dpkg-query --list linux-firmware
 Desired=Unknown/Install/Remove/Purge/Hold
 | Status=Not/Inst/Conf-files/Unpacked/halF-conf/Half-inst/trig-aWait/Trig-pend
 |/ Err?=(none)/Reinst-required (Status,Err: uppercase=bad)
 ||/ Name Version Architecture Description
 +++-==============-================================-============-=================================
 ii linux-firmware 20240318.git3b128b60-0ubuntu2.22 amd64 Firmware for Linux kernel drivers
 dell@dell:~$
```
GRUB 커널 매개변수 업데이트.
Qualcomm AI100 추론 카드를 완전히 사용하려면 PCIe ACS(Access Control System)라는 기능을 비활성화합니다. 이는 Qualcomm AI100 카드에서 두 AI100 디바이스를 모두 사용하여 텐서 슬라이싱을 완전히 지원하는 데 필요합니다. AI100 카드의 PCIe 스위치에서 ACS를 비활성화합니다. 이를 통해 두 AI100 장치와 두 장치에서 추론을 실행할 때 모든 64GB 온보드 RAM 간에 전체 데이터에 액세스할 수 있습니다.
이 작업은 Qualcomm AI100 추론 카드를 지원하기 위해 GRUB 구성에 추가된 Linux 커널 매개 변수를 전달하여 수행됩니다. 커널 매개변수는 부팅 시 Linux 커널에 전달되는 구성으로, 커널에 특정 기능을 구성하는 방법을 지시합니다. 이 경우 AI100 카드에 대해 ACS가 비활성화됩니다. 커널 매개 변수를 GRUB 구성 파일에 추가하면 이 작업이 수행됩니다.

텍스트 편집기를 사용하여 루트 권한으로 GRUB 구성 파일을 엽니다.
GRUB 구성 파일 편집 /etc/default/grub.
```
sudo nano /etc/default/grub
```
```
sudo nano /etc/default/grub
```
편집 GRUB_CMDLINE_LINUX_DEFAULT 줄을 추가하여 pci=disable_acs_redir (AI100 카드 PCIe 스위치에서 ACS 비활성화). 아래에 정확한 구문이 있는지 확인하십시오. 또한 다음 항목이 하나만 있는지 확인합니다. GRUB_CMDLINE_LINUX_DEFAULT 줄의 /etc/default/grub 파일(필요한 경우 커널 옵션을 한 줄로 병합).

변경 GRUB_CMDLINE_LINUX_DEFAULT 라인.
```
GRUB_CMDLINE_LINUX_DEFAULT="quiet splash pci=disable_acs_redir=03:00.0\;03:01.0"
```
Ctrl+X를 누르고, Y를 선택하고, Enter 키를 눌러 구성 변경 내용을 저장합니다. 이제 다음을 실행하고 재부팅하여 적용하십시오.

GRUB 구성을 재생성합니다.
```
sudo update-grub
 sudo reboot
```
재부팅 후 다음 명령을 사용하여 변경 사항을 확인합니다.
GRUB 구성 변경 사항을 확인합니다.
```
dell@dell:~$ cat /proc/cmdline
 BOOT_IMAGE=/boot/vmlinuz-6.14.0-1016-oem root=UUID=cd20aec8-6b44-45f7-bca5-307240cec24b ro quiet splash
 pci=disable_acs_redir=03:00.0;03:01.0 vt.handoff=7
```
```
dell@dell:~$ cat /proc/cmdline
 BOOT_IMAGE=/boot/vmlinuz-6.14.0-1016-oem root=UUID=cd20aec8-6b44-45f7-bca5-307240cec24b ro quiet splash
 pci=disable_acs_redir=03:00.0;03:01.0 vt.handoff=7
```
dmesg를 사용하여 ACS가 비활성화되었는지 확인합니다. "Configured ACS"에 대한 메시지가 아래와 같이 표시됩니다.
```
dell@dell:~$ sudo dmesg | grep ACS
 [ 0.000000] Command line: BOOT_IMAGE=/boot/vmlinuz-6.14.0-1016-oem root=UUID=cd20aec8-6b44-45f7-bca5-307240cec24b ro quiet splash pcie_port_m=force pci=disable_acs_redir=03:00.0;03:01.0 vt.handoff=7
 [ 0.141658] Kernel command line: BOOT_IMAGE=/boot/vmlinuz-6.14.0-1016-oem root=UUID=cd20aec8-6b44-45f7-bca5-307240cec24b ro quiet splash pcie_port_m=force pci=disable_acs_redir=03:00.0;03:01.0 vt.handoff=7
 [ 0.741030] pci 0000:03:00.0: Configured ACS to 0x0000
 [ 0.745422] pci 0000:03:01.0: Configured ACS to 0x0000
```
Docker 설치

AI100 카드에서 추론을 실행하는 가장 빠른 방법은 Qualcomm AI100 추론 카드에 대한 지원이 포함된 사전 구축된 AI100 Docker 컨테이너를 사용하는 것입니다. 사전 구축된 Docker 컨테이너는 바로 사용할 수 있는 환경으로 추론 워크로드를 실행할 수 있습니다. 이 컨테이너에는 Qualcomm AI100 플랫폼 및 앱 SDK와 툴체인, Python 환경, AI 모델 컴파일 및 추론 실행을 위한 Qualcomm Efficient Transformers, AI100 추론 카드에 대한 즉시 사용 가능한 vLLM 및 Triton 지원이 포함되어 있습니다.

Ubuntu에 Docker를 설치하려면 다음 명령을 사용합니다.
```
sudo snap install docker
```
일반 사용자로 docker를 실행하려면 다음 명령을 실행합니다.
일반 사용자로 docker를 실행하는 명령입니다.
```
# create and join the docker group
 sudo addgroup --system docker
 sudo adduser $USER docker
 newgrp docker
 
 # disable and re-enable the docker snap if you added the group while Docker Engine was running
 sudo snap disable docker
 sudo snap enable docker
```
```
# create and join the docker group
 sudo addgroup --system docker
 sudo adduser $USER docker
 newgrp docker
 
 # disable and re-enable the docker snap if you added the group while Docker Engine was running
 sudo snap disable docker
 sudo snap enable docker
```
사용자가 docker 그룹에 추가되지 않은 경우 모든 docker 명령 앞에 sudo를 사용해야 합니다.
```
sudo docker run ...
```
참조: Docker 스냅

또는 apt Debian Docker Docs를 사용하여 Docker를 설치할 수 있습니다.

Docker가 설치되면 다음과 같이 설치를 테스트합니다.
hello-world를 사용하여 Docker 설치를 확인합니다.
```
dell@dell:~$ docker run hello-world
 Unable to find image 'hello-world:latest' locally
 latest: Pulling from library/hello-world
 17eec7bbc9d7: Pull complete
 Digest: sha256:d4aaab6242e0cace87e2ec17a2ed3d779d18fbfd03042ea58f2995626396a274
 Status: Downloaded newer image for hello-world:latest
 
 Hello from Docker!
 This message shows that your installation appears to be working correctly.
 ...
```
이제 Dell Pro Max 16 Plus 워크스테이션 AI100 추론 카드를 사용할 준비가 되었습니다!

이렇게 하면 AI100 추론 카드를 사용하는 데 필요한 일회성 설정이 완료됩니다. 다음 섹션에서는 AI100 도구를 사용하여 카드의 상태를 확인하고 초기 단순 추론을 실행하여 AI100 카드가 작동하는지 확인하는 방법을 보여 줍니다.
AI100 카드 확인

AI100 카드를 확인하고 카드를 사용하는 데 필요한 모든 AI100 Platform 및 Apps SDK, 도구 체인, vLLM 및 Triton 추론 도구가 포함된 사전 빌드된 AI100 Docker 컨테이너를 사용하여 초기 추론을 실행합니다.

AI100 Docker 컨테이너를 처음 실행하는 경우 이 명령은 컨테이너도 가져옵니다. AI100 Docker 컨테이너 이미지는 ~14GB 다운로드입니다. AI100 Docker 컨테이너를 시작하려면 다음 명령을 사용합니다.

AI100 Docker 컨테이너를 시작합니다.
```
docker run --rm -it \
 --privileged \
 --device=/dev/accel/accel1 \
 --device=/dev/accel/accel2 \
 --network host \
 --ulimit nofile=1048576 \
 -e OMP_NUM_THREADS=8 \
 ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 \
 /bin/bash
```
AI100 Docker 컨테이너를 가져와서 실행하면 화면에 다음과 같은 출력이 표시됩니다.
AI100 Docker 컨테이너 시작 후 출력 샘플.
```
dell@dell:~$ docker run --rm -it --device=/dev/accel/accel1 --device=/dev/accel/accel2 --network host --ulimit nofile=1048576 -e OMP_NUM_THREADS=8 -v ~/Downloads/qwen3_coder_qpc:/root/qpc/ ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 /bin/bash
 ==================================
 == Qualcomm Cloud AI Containers ==
 ==================================
 
 Platform SDK version: 1.20.6.0
 Apps SDK version: 1.20.6.0
 
 This container image and its contents are governed by the terms of
 the license at /usr/share/doc/CONTAINER_LICENSE.txt. By pulling and
 using the container, you accept the terms and conditions of this license.
 
 root@dell:~#
```
```
dell@dell:~$ docker run --rm -it --device=/dev/accel/accel1 --device=/dev/accel/accel2 --network host --ulimit nofile=1048576 -e OMP_NUM_THREADS=8 -v ~/Downloads/qwen3_coder_qpc:/root/qpc/ ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 /bin/bash
 ==================================
 == Qualcomm Cloud AI Containers ==
 ==================================
 
 Platform SDK version: 1.20.6.0
 Apps SDK version: 1.20.6.0
 
 This container image and its contents are governed by the terms of
 the license at /usr/share/doc/CONTAINER_LICENSE.txt. By pulling and
 using the container, you accept the terms and conditions of this license.
 
 root@dell:~#
```
AI100 사용 qaic-util -q 다음 샘플 출력과 같이 AI100 카드의 상태에 대한 텍스트 출력을 제공하는 명령입니다.
에 대한 샘플 출력 qaic-util -q
```
root@dell:~# qaic-util -q
 LRT QC_IMAGE_VERSION: LRT.AIC.13.2.1.20.6.0
 LRT IMAGE_VARIANT: LRT.AIC.REL
 Number of devices queried: 2
 QID 0
 Status:Ready
 ...
```
그리드 상태 보기는 다음을 사용하여 가능합니다. qaic-util -t 카드 상태를 주기적으로 업데이트하는 1개의 명령입니다. 다음 샘플 출력은 유휴 상태의 AI100 카드를 보여 줍니다. AI100 카드에는 각각 16개의 NSP(Neural Signal Processor) 컴퓨팅 코어가 있는 2개의 AI100 디바이스가 포함되어 있습니다. 각 장치에는 32GB의 메모리가 표시되며 카드에는 총 64GB가 표시됩니다.
에 대한 샘플 유휴 출력 qaic-util -t 1.
```
root@dell:~# qaic-util -t 1
```
여기 또 다른 샘플이 있습니다 qaic-util AI100 카드가 AI 추론 워크로드를 실행하는 동안 출력됩니다. 이 경우 더 큰 모델인 qwen3-coder:30b를 보여줍니다. 출력은 각 AI100 장치에서 16개의 NSP가 모두 사용되고 있고, 카드 온도가 낮은 유휴 온도에서 47C로 증가했으며, 각 AI100 부품이 각각 ~13GB를 사용하고 있으며, 모델의 경우 총 26GB이며, 보드에 사용되는 전체 전력은 최대 75W 중 51입니다. 워크로드에 대한 NSP 주파수가 1100Mhz로 증가했습니다.

다음을 사용하여 추론을 실행하는 AI100의 샘플 출력 qaic-util -t 1.
```
root@dell:~# qaic-util -t 1
```
AI100 카드를 재설정하려면 다음을 사용하십시오. qaic-util -s 명령어와 동일한 방식으로 AUTHC를 사용합니다. 이 명령을 사용하려면 컨테이너를 실행할 때 "-privileged" 명령줄 매개 변수가 필요한 컨테이너 내부의 하드웨어 권한이 필요합니다. 다음 샘플 출력은 qaic util -s 뒤 qaic-util -t 1을 눌러 카드 상태를 모니터링합니다. 아래 샘플 출력과 같이 잘못된 필드 값은 카드가 재설정을 완료할 때까지 표시됩니다.

AI100 카드 리셋의 샘플 출력 qaic-util -s 및 qaic-util -t 1.
```
root@dell:~# qaic-util -s
 Resetting all devices…
 0000:04:00.0:
 0000:04:00.0 success
 0000:05:00.0:
 0000:05:00.0 success
 root@dell:~# qaic-util -t 1
```
다음과 같이 단일 시스템 프롬프트를 사용하여 AI100 Docker 컨테이너를 사용하여 AI100 카드 상태를 표시합니다.

AI100 Docker 컨테이너를 시작합니다.
```
docker run --rm -it \
 --privileged \
 --device=/dev/accel/accel1 \
 --device=/dev/accel/accel2 \
 --network host \
 --ulimit nofile=1048576 \
 -e OMP_NUM_THREADS=8 \
 ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 \
 qaic-util -t 1
```
```
docker run --rm -it \
 --privileged \
 --device=/dev/accel/accel1 \
 --device=/dev/accel/accel2 \
 --network host \
 --ulimit nofile=1048576 \
 -e OMP_NUM_THREADS=8 \
 ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 \
 qaic-util -t 1
```
참고: 다음을 실행할 때 오류 출력 줄이 표시됩니다. qaic-util -s 및 qaic-util -t 1 명령을 실행하고 온도 및 보드 전원/TDP에 대해 "유효하지 않음"을 표시하는 그리드 출력과 SoC 전원에 대해 "0.00W"를 표시합니다. 향후 Ubuntu OS 및 AI100 Docker 컨테이너 업데이트에서 이 문제를 해결하기 위해 진행 중인 업스트림에 변경 사항이 있습니다.

테스트 추론 실행

이 섹션에서는 AI100 카드에서 빠른 추론 테스트를 실행하는 방법을 보여 줍니다. 이 추론 테스트를 사용하여 AI100 카드의 기능을 확인합니다.

명령줄 명령 사용 qaic-runner 첫 번째 테스트 추론 워크로드를 실행합니다. CU 대신 -d 타겟 AI100 디바이스를 지정하려면, -a 사용할 NSP의 수를 지정하고, -n 반복 횟수:

를 사용한 샘플 테스트 추론 qaic-runner.

docker run --rm -it \
 --device=/dev/accel/accel1 \
 --device=/dev/accel/accel2 \
 --network host \
 --ulimit nofile=1048576 \
 -e OMP_NUM_THREADS=8 \
 ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 \
 qaic-runner -t /opt/qti-aic/test-data/aic100/v2/1nsp/1nsp-conv-hmx/ -a 16 -n 5000 -d 0

docker run --rm -it \
 --device=/dev/accel/accel1 \
 --device=/dev/accel/accel2 \
 --network host \
 --ulimit nofile=1048576 \
 -e OMP_NUM_THREADS=8 \
 ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 \
 qaic-runner -t /opt/qti-aic/test-data/aic100/v2/1nsp/1nsp-conv-hmx/ -a 16 -n 5000 -d 0

다음과 같은 샘플 출력이 화면에 표시됩니다.
테스트 추론을 실행하기 위한 샘플 출력입니다.

dell@dell:~$ docker run --rm -it \
 --device=/dev/accel/accel1 \
 --device=/dev/accel/accel2 \
 --network host \
 --ulimit nofile=1048576 \
 -e OMP_NUM_THREADS=8 \
 ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 \
 qaic-runner -t /opt/qti-aic/test-data/aic100/v2/1nsp/1nsp-conv-hmx/ -a 16 -n 5000 -d 0
 loading /opt/qti-aic/dev/lib/x86_64/libQAic.so
 ---- Stats ----
 InferenceCnt 5000 TotalDuration 22544us BatchSize 1 Inf/Sec 221788.502

유용한 링크

아래 표에는 AI100 추론 카드를 최대한 활용하기 위한 중요하고 유용한 AI100 리소스 목록과 링크가 포함되어 있습니다.
- Qualcomm AI100 사용자 가이드: 모든 주제의 시작점 AI100 - 종합 AI100 사용자 가이드
- Qualcomm Efficient Transformers 라이브러리: Qualcomm AI100에서 HuggingFace의 많은 LLM을 빠르게 실행할 수 있는 라이브러리
- QAIC 컨테이너: Ubuntu 24.04를 사용하는 vLLM 및 Triton에 대한 지원을 포함하여 AI100 툴체인을 포함하는 Docker 컨테이너
- QAIC 컨테이너 - 24.04 최신: AI100 추론 카드와 함께 사용하려면 24.04를 사용하는 Docker QAIC 컨테이너를 사용하는 것이 좋습니다.
- Qualcomm Efficient Transformers 개발자 블로그: 쉽고 빠른 예제가 포함된 효율적인 변압기에 대한 훌륭한 개요
- http : qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/ : AI100 카드에서 다운로드하고 실행할 미리 컴파일된 모델(2개의 SoC용으로 빌드된 모델)은 카탈로그를 참조하세요.
  참고: 이 URL은 HTTPS 링크가 아닙니다. 자신의 책임하에 사용하십시오.
참고: 지원 사이트로 이동한 다음 필터 키워드 Linux 를 사용하여 Al100 노트북이 탑재된 Dell Pro Max 16 Plus MB16250와 관련된 다른 Dell 문서를 확인하십시오.
- Dell Pro Max 16 Plus MB16250 문서 페이지

AI100 사전 구축 모델

아래 표에는 AI100 Docker 컨테이너 내에서 실행되도록 사전 빌드된 AI 모델의 스냅샷이 포함되어 있습니다(예: vLLM 사용).

AI100 추론 카드는 QPC(Qualcomm Program Container) 형식을 사용하여 모델을 실행합니다. QPC는 AI100 플랫폼 및 앱 SDK를 사용하여 허깅페이스 모델에서 구축하거나 다음 링크의 온라인 Zentree 카탈로그에서 사전 구축된 AI 모델 QPC를 사용할 수 있습니다. QPC는 카드의 AI100 디바이스 수를 목표로 제작되었습니다. Qualcomm 추론 카드가 포함된 Dell Pro Max 16 Plus는 하나 또는 두 개의 SoC(AI100 System on a Chip)에서 실행되도록 구축된 QPC를 지원합니다. 2개의 AI100 디바이스용으로 구축된 QPC는 텐서 슬라이싱을 사용하여 카드의 전체 64GB 메모리에서 2개의 AI100 디바이스의 컴퓨팅을 사용하여 대형 모델을 실행할 수 있습니다.

http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/ 에 대한 다음 링크의 카탈로그 탭을 참조하십시오.

참고: 이러한 URL은 HTTPS 링크가 아닙니다. 자신의 책임하에 사용하십시오.

모델 제품군	모델 아키텍처	대표 모델	모델 유형	QAIC SDK 버전	QEff 자동 클래스	작업	QPC 링크
버트	BERT모델	BAAI/bge-large-en-v1.5	임베딩 모델	1.19.6	QEFFAutoModel	텍스트 임베딩	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.19.6/bge-large-en-v1.5/ (영문)
버트	BERT모델	BAAI/BGE-M3	임베딩 모델	1.19.6	QEFFAutoModel	텍스트 임베딩	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.19.6/bge-m3/ (영문)
버트	BERT모델	BAAI/bge-base-en-v1.5	임베딩 모델	1.19.6	QEFFAutoModel	텍스트 임베딩	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.19.6/bge-base-en-v1.5/ (영문)
DeepSeek-R1-증류-라마	라마포인과LM	Valdemardi/DeepSeek-R1-증류-라마-70B-AWQ	텍스트 전용 언어 모델	1.20.4	QEFFAutoModelForCausalLM	텍스트 생성	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/DeepSeek-R1-Distill-Llama-70B-AWQ/ (영문)
DeepSeek-R1-증류-라마	라마포인과LM	캐스퍼핸슨/딥시크-R1-증류-라마-8B-AWQ	텍스트 전용 언어 모델	1.20.4	QEFFAutoModelForCausalLM	텍스트 생성	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/deepseek-r1-distill-llama-8b-awq/ (영문)
DeepSeek-R1-증류-Qwen	Qwen2ForCausalLM (영문)	Valdemardi/DeepSeek-R1-증류-라마-32B-AWQ	텍스트 전용 언어 모델	1.20.4	QEFFAutoModelForCausalLM	텍스트 생성	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/DeepSeek-R1-Distill-Qwen-32B-AWQ/ (영문)
DeepSeek-R1-증류-Qwen	Qwen2ForCausalLM (영문)	카스퍼 한센 / 딥 시크 -R1 - 증류 -Qwen - 7B-AWQ	텍스트 전용 언어 모델	1.20.4	QEFFAutoModelForCausalLM	텍스트 생성	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/deepseek-r1-distill-qwen-7b-awq/ (영문)
젬마3	Gemma3ForConditionalGeneration (조건부 생성을 위한 Gemma3For)	구글/젬마-3-4b-it	다중 모드 언어 모델	1.20.4	QEFFAutoModelForImageTextToText	비전 언어 모델(텍스트 + 이미지 생성)	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/gemma-3-4b-it/ (영문)
GPT-OSS	GptOssForCausalLM (영문)	OpenAI/GPT-OSS-20B	텍스트 전용 언어 모델	1.20.4	QEFFAutoModeForCausalLM	텍스트 생성	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/gpt-oss-20b/ (영문)
화강암-3.2	화강암포인과LM	ibm-granite/granite-3.2-8b-지시	텍스트 전용 언어 모델	1.20.4	QEFFAutoModelForCausalLM	텍스트 생성	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/granite-3.2-8b-instruct/ (영문)
화강암-3.3	화강암포인과LM	ibm-granite/granite-3.3-8b-지시	텍스트 전용 언어 모델	1.20.4	QEFFAutoModelForCausalLM	텍스트 생성	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/granite-3.3-8b-instruct/ (영어)
라마 3.1	라마포인과LM	메타 라마 / 라마 - 3.1-8B - 지시	텍스트 전용 언어 모델	1.20.4	QEFFAutoModelForCausalLM	텍스트 생성	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Llama-3.1-8B/ (영문)
라마 3.1 니모트론	라마포인과LM	ibnzterrell/nvidia-llama-3.1-Nemotron-70B-Instruct-HF-AWQ-INT4	텍스트 전용 언어 모델	1.20.4	QEFFAutoModelForCausalLM	텍스트 생성	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Nvidia-Llama-3.1-Nemotron-70B-Instruct-HF-AWQ-INT4/ (영문)
라마 3.1 니모트론	라마포인과LM	nvidia/라마-3.1-네모트론-나노-8B-v1	텍스트 전용 언어 모델	1.20.4	QEFFAutoModelForCausalLM	텍스트 생성	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Llama-3.1-Nemotron-Nano-8B-v1/ (영문)
라마 3.2	라마포인과LM	메타 라마 / 라마 -3.2-1B	텍스트 전용 언어 모델	1.20.4	QEFFAutoModelForCausalLM	텍스트 생성	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Llama-3.2-1B/ (영문)
라마 3.2	라마포인과LM	메타 라마 / 라마 -3.2-3B	텍스트 전용 언어 모델	1.20.4	QEFFAutoModelForCausalLM	텍스트 생성	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Llama-3.2-3B/ (영문)
라마 3.2	라마포인과LM	메타 라마 / 라마 -3.2-3B-지시	텍스트 전용 언어 모델	1.20.4	QEFFAutoModelForCausalLM	텍스트 생성	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Llama-3.2-3B-Instruct/ (영문)
라마 3.2	MllamaForConditionalGeneration (영문)	메타 라마 / 라마 - 3.2-11B- 비전 지시	다중 모드 언어 모델	1.20.4	QEFFAutoModelForImageTextToText	비전 언어 모델(텍스트 + 이미지 생성)	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Llama-3.2-11B-Vision-Instruct/ (영문)
라마 3.2 지시	라마포인과LM	메타 라마 / Llama-3.2-1B-지시	텍스트 전용 언어 모델	1.20.4	QEFFAutoModelForCausalLM	텍스트 생성	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Llama-3.2-1B-Instruct/ (영문)
라마 3.x	라마포인과LM	대상: Meta-Llama-3.1-70B-Instruct-AWQ-INT4 초안: 라마-3.2-1B-지시	추측 디코드(SpD)	1.20.4	QEFFAutoModelForCausalLM	텍스트 생성	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/spd/meta-llama/ (영문)
라마 3.x	라마포인과LM	대상: casperhansen/llama-3.3-70b-instruct-awq 초안: meta-llama/Llama-3.2-1B-Instruct	추측 디코드(SpD)	1.20.4	QEFFAutoModelForCausalLM	텍스트 생성	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/spd/llama33-70b-awq__draft-llama32-1b/ (영어)
미스트랄	인과관계를 위한 미스트랄LM	미스트랄라이/미스트랄-7B-지시-v0.1	텍스트 전용 언어 모델	1.20.4	QEFFAutoModelForCausalLM	텍스트 생성	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Mistral-7B-Instruct-v0.1/ (영문)
파이 -4	파이3포인과LM	Microsoft/PHI-4	텍스트 전용 언어 모델	1.20.4	QEFFAutoModelForCausalLM	텍스트 생성	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/phi-4/ (영문)
큐웬3	Qwen3Moe	Qwen/Qwen3-30B-A3B-지시-2507	텍스트 전용 언어 모델	1.20.4	QEFFAutoModelForCausalLM	텍스트 생성	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Qwen3-30B-A3B-Instruct-2507/ (영문)
qwen3-코더	Qwen3Moe	qwen/qwen3-coder-30B-A3B-지시	텍스트 전용 언어 모델	1.20.4	QEFFAutoModelForCausalLM	코드 생성	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Qwen3-Coder-30B-A3B-Instruct/ (영문)
사르바마이	사르바마이	사르바마이/사르밤-1	텍스트 전용 언어 모델	1.20.4	QEFFAutoModelForCausalLM	텍스트 생성 인도어 포커스	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/sarvam-1/ (영문)
증권 시세 표시기	TextToImage를 위한 StableDiffusion	안정성AI/안정-확산-xl-베이스-1.0	다중 모드 언어 모델	1.20.4	AutoPipelineForText2Image	비전 언어 모델(텍스트 + 이미지 생성)	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/stable-diffusion-xl-base-1.0/ (영어)
SDXL 터보	TextToImage를 위한 StableDiffusion	스태빌리티 AI/SDXL-터보	다중 모드 언어 모델	1.20.4	AutoPipelineForText2Image	비전 언어 모델(텍스트 + 이미지 생성)	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/sdxl_turbo/ (영문)
속 삭 임	속 삭 임	OpenAI/위스퍼 베이스	오디오 모델	1.20.4	QEFFAutoModelForSpeechSeq2Seq	자동 음성 인식(전사)	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/whisper-base/ (영문)
속 삭 임	속 삭 임	openai/귓속말 large-v3-turbo	오디오 모델	1.20.4	QEFFAutoModelForSpeechSeq2Seq	자동 음성 인식(전사)	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/whisper-large-v3-turbo/ (영문)
속 삭 임	속 삭 임	OpenAI/위스퍼 라지	오디오 모델	1.20.4	QEFFAutoModelForSpeechSeq2Seq	자동 음성 인식(전사)	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/whisper-large/ (영문)
속 삭 임	속 삭 임	OpenAI/귓속말	오디오 모델	1.20.4	QEFFAutoModelForSpeechSeq2Seq	자동 음성 인식(전사)	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/whisper-medium/ (영문)
속 삭 임	속 삭 임	OpenAI/위스퍼스몰	오디오 모델	1.20.4	QEFFAutoModelForSpeechSeq2Seq	자동 음성 인식(전사)	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/whisper-small/ (영문)
속 삭 임	속 삭 임	openai 속삭임-tiny	오디오 모델	1.20.4	QEFFAutoModelForSpeechSeq2Seq	자동 음성 인식(전사)	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/whisper-tiny/ (영문)
XLM-로베르타	XLMRoberta모델	intfloat/다국어-e5-large	임베딩 모델	1.20.4	QEFFAutoModel	텍스트 임베딩	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/multilingual-e5-large/ (영문)
XLM-로베르타	XLMRoberta모델	intfloat/다국어-e5-작은	임베딩 모델	1.19.6	QEFFAutoModel	텍스트 임베딩	http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.19.6/multilingual-e5-small/ (영문)

맨 위로 이동

Affected Products

Dell Pro Max 16 Plus MB16250

Article Number: 000393093

Article Type: How To

Last Modified: 24 May 2026

Version: 9

Check if your device is covered by Support Services.

Linux에서 Qualcomm 추론 카드로 Dell Pro Max 16 Plus를 설정하는 방법

Summary: Linux에서 Qualcomm 추론 카드로 Dell Pro Max 16 Plus MB16250를 설정하는 방법을 알아보십시오.

Instructions

Affected Products

Instructions

Linux에서 Qualcomm 추론 카드로 Dell Pro Max 16 Plus 설정

AI100 카드 설치 확인

Dell Pro Max 16 Plus 워크스테이션에서 BIOS 업데이트

Dell Pro Max 16 Plus 워크스테이션에서 Ubuntu OS(Operating System) 업데이트

GRUB 커널 매개변수 업데이트.

Docker 설치

이제 Dell Pro Max 16 Plus 워크스테이션 AI100 추론 카드를 사용할 준비가 되었습니다!

AI100 카드 확인

테스트 추론 실행

유용한 링크

AI100 사전 구축 모델

Affected Products

Article Properties

Find answers to your questions from other Dell users

Support Services

Article Properties

Find answers to your questions from other Dell users

Support Services

Linux에서 Qualcomm 추론 카드로 Dell Pro Max 16 Plus를 설정하는 방법

Summary: Linux에서 Qualcomm 추론 카드로 Dell Pro Max 16 Plus MB16250를 설정하는 방법을 알아보십시오.

Detailed Article

Instructions

Affected Products

Instructions

Linux에서 Qualcomm 추론 카드로 Dell Pro Max 16 Plus 설정

AI100 카드 설치 확인

Dell Pro Max 16 Plus 워크스테이션에서 BIOS 업데이트

Dell Pro Max 16 Plus 워크스테이션에서 Ubuntu OS(Operating System) 업데이트

GRUB 커널 매개변수 업데이트.

Docker 설치

이제 Dell Pro Max 16 Plus 워크스테이션 AI100 추론 카드를 사용할 준비가 되었습니다!

AI100 카드 확인

테스트 추론 실행

유용한 링크

AI100 사전 구축 모델

Affected Products

Article Properties

Find answers to your questions from other Dell users

Support Services

Article Properties

Find answers to your questions from other Dell users

Support Services