LinuxでQualcomm推論カードを使用してDell Pro Max 16 Plusをセットアップする方法
Summary: LinuxでQualcomm推論カードを搭載したDell Pro Max 16 Plus MB16250をセットアップする方法について説明します。
Instructions
LinuxでのQualcomm推論カード搭載Dell Pro Max 16 Plusのセットアップ
Qualcomm AI100推論カードを搭載したDell Pro Max 16 Plusへようこそ。
以下の1回限りのセットアップ手順に従って、Dell Pro Max 16 PlusワークステーションでUbuntu 24.04を使用するAI推論ワークロード用にカードを準備します。これにより、ワークステーションとカードに適切なソフトウェアと構成ベースラインが設定され、すぐにカードを使用できます。
-
AI100カードの取り付けを確認します。
以下を使用しますlspciコマンドを実行して、ノートパソコンにカードが取り付けられていることを確認するには、次のコマンドを実行します。lspci | grep Qualcomm
このコマンドは、AI100カードの2つのQualcomm a100 PCIeデバイス エントリーを表示します。dell@dell:~$ lspci | grep Qualcomm 04:00.0 Processing accelerators: Qualcomm Technologies, Inc Device a100 05:00.0 Processing accelerators: Qualcomm Technologies, Inc Device a100 dell@dell:~$ -
Dell Pro Max 16 PlusワークステーションでのBIOSのアップデート。
ワークステーションのBIOSをアップデートして、ノートパソコンがAI100推論カードを最新にサポートしていることを確認します。次のコマンドを使用してBIOSアップデートを確認し、アップデートが利用可能な場合はアップグレードします。
BIOSアップデートを確認するコマンド:sudo fwupdmgr refresh --force sudo fwupdmgr upgrade
出力例では、最新のBIOSにアップデートしています。dell@dell:~$ sudo fwupdmgr refresh --force Updating lvfs Downloading… [*************************************] Successfully downloaded new metadata: 7 local devices supported dell@dell:~$ sudo fwupdmgr upgrade Devices with no available firmware updates: • Integrated Webcam 8M • PC811 SED SK hynix 2048GB • TPM • UEFI Device Firmware • UEFI dbx • USB4 host controller Perform operation? [Y|n]: Y Waiting… [***************************************] Successfully installed firmware Do not turn off your computer or remove the AC adapter while the update is in progress. An update requires a reboot to complete. Restart now? [y|N]:
を使用してBIOSバージョン2.22以降がインストールされていることを確認するdmidecodeコマンドを使用して実行できます。既存のBIOSファームウェア バージョンを確認しています。sudo dmidecode -t 0 -
Dell Pro Max 16 PlusワークステーションでのUbuntuオペレーティング システム(OS)のアップデート
ワークステーションのUbuntu OSへの次回のアップデートでは、AI100推論カードのサポートがUbuntu 24.04に統合されます。Ubuntuをアップデートすると、最新のカーネルモジュールとAI100ファームウェアアップデートがカードで利用できるようになります。
Ubuntuをアップデートするには、デスクトップの[アプリ]メニューでUbuntuの[ソフトウェア アップデーター]を使用するか、ターミナルで次のコマンドを使用します。
ターミナルでUbuntuソフトウェアをアップデートするコマンド:sudo apt-get update sudo apt-get upgrade sudo rebootラップトップがUbuntuをダウンロード、インストール、およびアップデートしたら、ワークステーションを再起動して、カーネルの起動時間の変更が行われることを確認します。
アップデートされたUbuntuカーネルがバージョン6.14.0-1017-oem以降であることを確認します。このバージョンには、セキュア ブートが有効になっている AI100 をサポートする署名付きカーネル モジュールが含まれています。次のコマンドを使用して、カーネルのバージョンを確認します。
Linuxカーネルがバージョン6.14.0-1017-oem以降であることを確認する。dell@dell:~$ uname -r 6.14.0-1017-oemdell@dell:~$ uname -r 6.14.0-1017-oem
次に、次のコマンド ライン コマンドを使用して、AI100ファームウェアを含むLinuxファームウェア パッケージのバージョンが2.22以降であることを確認します。
Linuxファームウェアがバージョン2.22以降であることを確認する。dell@dell:~$ dpkg-query --list linux-firmware Desired=Unknown/Install/Remove/Purge/Hold | Status=Not/Inst/Conf-files/Unpacked/halF-conf/Half-inst/trig-aWait/Trig-pend |/ Err?=(none)/Reinst-required (Status,Err: uppercase=bad) ||/ Name Version Architecture Description +++-==============-================================-============-================================= ii linux-firmware 20240318.git3b128b60-0ubuntu2.22 amd64 Firmware for Linux kernel drivers dell@dell:~$ -
GRUBカーネル パラメーターを更新しています。
Qualcomm AI100推論カードをフルに使用するには、PCIeアクセス制御システム(ACS)と呼ばれる機能を無効にします。これは、Qualcomm AI100カード上の両方のAI100デバイスを使用してテンソル スライスを完全にサポートするために必要です。AI100カードのPCIeスイッチでACSを無効にします。これにより、2つのAI100デバイスと64GBのオンボードRAMすべて間で、両方にまたがって推論を実行する際に、完全なデータアクセスが可能になります。これは、Qualcomm AI100推論カードをサポートするためにGRUB構成に追加されたLinuxカーネル パラメーターを渡すことによって行われます。カーネルパラメータは、ブート中に Linux カーネルに渡される設定で、特定の機能の設定方法をカーネルに指示します。この場合、ACS は AI100 カードに対して無効になっています。カーネルパラメータを GRUB 設定ファイルに追加すると、これが可能になります。
テキスト エディターを使用して、root権限でGRUB構成ファイルを開きます。
GRUB構成ファイルを編集します/etc/default/grubの詳細を確認してください。sudo nano /etc/default/grubsudo nano /etc/default/grub
編集GRUB_CMDLINE_LINUX_DEFAULT行を追加して、pci=disable_acs_redir(AI100カードPCIeスイッチでACSを無効にします)。以下の正確な構文を使用していることを確認してください。また、1つのみがあることを確認しますGRUB_CMDLINE_LINUX_DEFAULT行を/etc/default/grubファイル (必要に応じてカーネルオプションを 1 行にマージ)。
変更GRUB_CMDLINE_LINUX_DEFAULT行。GRUB_CMDLINE_LINUX_DEFAULT="quiet splash pci=disable_acs_redir=03:00.0\;03:01.0"CTRL+Xを押してYを選択し、Enterを押して構成の変更を保存します。次に、次のコマンドを実行し、再起動して有効にします。
GRUB構成を再生成します。sudo update-grub sudo reboot再起動後に、次のコマンドを使用して変更を確認します。
GRUB構成の変更を確認します。dell@dell:~$ cat /proc/cmdline BOOT_IMAGE=/boot/vmlinuz-6.14.0-1016-oem root=UUID=cd20aec8-6b44-45f7-bca5-307240cec24b ro quiet splash pci=disable_acs_redir=03:00.0;03:01.0 vt.handoff=7dell@dell:~$ cat /proc/cmdline BOOT_IMAGE=/boot/vmlinuz-6.14.0-1016-oem root=UUID=cd20aec8-6b44-45f7-bca5-307240cec24b ro quiet splash pci=disable_acs_redir=03:00.0;03:01.0 vt.handoff=7
dmesgを使用してACSが無効になっていることを確認します。「Configured ACS」のメッセージは次のように表示されます。dell@dell:~$ sudo dmesg | grep ACS [ 0.000000] Command line: BOOT_IMAGE=/boot/vmlinuz-6.14.0-1016-oem root=UUID=cd20aec8-6b44-45f7-bca5-307240cec24b ro quiet splash pcie_port_m=force pci=disable_acs_redir=03:00.0;03:01.0 vt.handoff=7 [ 0.141658] Kernel command line: BOOT_IMAGE=/boot/vmlinuz-6.14.0-1016-oem root=UUID=cd20aec8-6b44-45f7-bca5-307240cec24b ro quiet splash pcie_port_m=force pci=disable_acs_redir=03:00.0;03:01.0 vt.handoff=7 [ 0.741030] pci 0000:03:00.0: Configured ACS to 0x0000 [ 0.745422] pci 0000:03:01.0: Configured ACS to 0x0000 -
Dockerのインストール
AI100カードで推論を実行する最速の方法は、Qualcomm AI100推論カードのサポートを含む事前構築済みのAI100 Dockerコンテナを使用することです。事前構築済みのDockerコンテナーは、推論ワークロードを実行するためのすぐに使用できる環境を提供します。このコンテナには、Qualcomm AI100プラットフォームおよびアプリSDKとツールチェーン、Python環境、AIモデルのコンパイルと推論実行のためのQualcomm Efficient Transformersが含まれ、AI100推論カードのvLLMとTritonサポートもすぐに使用できます。
UbuntuにDockerをインストールするには、次のコマンドを使用します。
sudo snap install docker
Docker を通常のユーザーとして実行するには、次のコマンドを実行します。
Dockerを通常のユーザーとして実行するコマンド。# create and join the docker group sudo addgroup --system docker sudo adduser $USER docker newgrp docker # disable and re-enable the docker snap if you added the group while Docker Engine was running sudo snap disable docker sudo snap enable docker# create and join the docker group sudo addgroup --system docker sudo adduser $USER docker newgrp docker # disable and re-enable the docker snap if you added the group while Docker Engine was running sudo snap disable docker sudo snap enable docker
ユーザーがDockerグループに追加されていない場合は、すべてのdockerコマンドの前にsudoを付ける必要があります。sudo docker run ...リファレンス:Dockerスナップ
または、apt Debian Docker Docs
を使用してDockerをインストールすることもできます。
Dockerがインストールされたら、次のようにインストールをテストします。
Dockerのインストールをhello-worldで確認します。dell@dell:~$ docker run hello-world Unable to find image 'hello-world:latest' locally latest: Pulling from library/hello-world 17eec7bbc9d7: Pull complete Digest: sha256:d4aaab6242e0cace87e2ec17a2ed3d779d18fbfd03042ea58f2995626396a274 Status: Downloaded newer image for hello-world:latest Hello from Docker! This message shows that your installation appears to be working correctly. ... -
これで、Dell Pro Max 16 PlusワークステーションAI100推論カードの準備が整いました。
これで、AI100推論カードを使用するために必要な1回限りのセットアップが完了しました。次のセクションでは、AI100ツールを使用してカードのステータスを確認し、最初の簡単な推論を実行してAI100カードが動作していることを確認する方法について説明します。
-
AI100カードの確認
AI100カードを確認し、カードを使用するために必要なすべてのAI100プラットフォームおよびアプリSDK、ツールチェーン、vLLMおよびTriton推論ツールを含む事前構築済みのAI100 Dockerコンテナを使用して初期推論を実行します。
AI100 Dockerコンテナを初めて実行する場合、このコマンドはコンテナもフェッチします。AI100 Docker コンテナー イメージのダウンロードは ~14 GB です。AI100 Dockerコンテナを起動するには、次のコマンドを使用します。
AI100 Dockerコンテナを起動します。docker run --rm -it \ --privileged \ --device=/dev/accel/accel1 \ --device=/dev/accel/accel2 \ --network host \ --ulimit nofile=1048576 \ -e OMP_NUM_THREADS=8 \ ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 \ /bin/bash
AI100 Dockerコンテナをフェッチして実行すると、次のような出力が画面に表示されます。
AI100 Dockerコンテナを起動した後の出力例。dell@dell:~$ docker run --rm -it --device=/dev/accel/accel1 --device=/dev/accel/accel2 --network host --ulimit nofile=1048576 -e OMP_NUM_THREADS=8 -v ~/Downloads/qwen3_coder_qpc:/root/qpc/ ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 /bin/bash ================================== == Qualcomm Cloud AI Containers == ================================== Platform SDK version: 1.20.6.0 Apps SDK version: 1.20.6.0 This container image and its contents are governed by the terms of the license at /usr/share/doc/CONTAINER_LICENSE.txt. By pulling and using the container, you accept the terms and conditions of this license. root@dell:~#dell@dell:~$ docker run --rm -it --device=/dev/accel/accel1 --device=/dev/accel/accel2 --network host --ulimit nofile=1048576 -e OMP_NUM_THREADS=8 -v ~/Downloads/qwen3_coder_qpc:/root/qpc/ ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 /bin/bash ================================== == Qualcomm Cloud AI Containers == ================================== Platform SDK version: 1.20.6.0 Apps SDK version: 1.20.6.0 This container image and its contents are governed by the terms of the license at /usr/share/doc/CONTAINER_LICENSE.txt. By pulling and using the container, you accept the terms and conditions of this license. root@dell:~#
AI100を使用するqaic-util -qコマンドを使用して、次の出力例のように、AI100カードの状態をテキストで出力します。
出力例:qaic-util -qroot@dell:~# qaic-util -q LRT QC_IMAGE_VERSION: LRT.AIC.13.2.1.20.6.0 LRT IMAGE_VARIANT: LRT.AIC.REL Number of devices queried: 2 QID 0 Status:Ready ...グリッドステータスビューは、
アイドル状態の出力例qaic-util -t1 カードのステータスを定期的に更新するコマンド。次の出力例は、アイドル時の AI100 カードを示しています。AI100カードには2台のAI100デバイスが含まれており、それぞれに16個のニューラル シグナル プロセッサー(NSP)コンピューティング コアが搭載されています。各デバイスには 32 GB のメモリが表示され、カードには合計 64 GB があります。qaic-util -t 1の詳細を確認してください。root@dell:~# qaic-util -t 1
別のサンプルを次に示しますqaic-utilAI100カードがAI推論ワークロードを実行している間に出力されます。この場合、より大きなモデル qwen3-coder:30b が表示されます。出力は、各 AI100 デバイスで 16 個の NSP がすべて使用されていること、カード温度が低いアイドル温度から 47C に上昇したこと、各 AI100 パーツがそれぞれ ~13 GB を使用しており、モデルの合計が 26 GB であること、ボードに使用される全体的な電力が最大 75 W のうち 51 であることを示しています。 ワークロードのNSP周波数が1100 MHzに増加したこと。
を使用した推論を実行するAI100の出力例qaic-util -t 1の詳細を確認してください。root@dell:~# qaic-util -t 1
AI100カードをリセットするには、qaic-util -sに指定します。このコマンドには、コンテナーの実行時に "-privileged" コマンド ライン パラメーターを必要とするコンテナー内のハードウェアアクセス許可が必要です。次の出力例は、qaic util -s続いてqaic-util -t1 カードのステータスを監視します。次の出力例のように、カードのリセットが完了するまで無効なフィールド値が表示されます。
を使用したAI100カード リセットの出力例qaic-util -sとqaic-util -t 1の詳細を確認してください。root@dell:~# qaic-util -s Resetting all devices… 0000:04:00.0: 0000:04:00.0 success 0000:05:00.0: 0000:05:00.0 success root@dell:~# qaic-util -t 1
次のように、単一のシステム プロンプトで、AI100 Dockerコンテナを使用してAI100カードのステータスを表示します。
AI100 Dockerコンテナを起動します。docker run --rm -it \ --privileged \ --device=/dev/accel/accel1 \ --device=/dev/accel/accel2 \ --network host \ --ulimit nofile=1048576 \ -e OMP_NUM_THREADS=8 \ ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 \ qaic-util -t 1docker run --rm -it \ --privileged \ --device=/dev/accel/accel1 \ --device=/dev/accel/accel2 \ --network host \ --ulimit nofile=1048576 \ -e OMP_NUM_THREADS=8 \ ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 \ qaic-util -t 1注:を実行するとエラー出力ラインが表示されるqaic-util -sとqaic-util -t 1コマンドとグリッド出力には、温度とボード電源/TDPには「無効」、SoC電源には「0.00 W」と表示されます。今後のUbuntu OSおよびAI100 Dockerコンテナのアップデートでこの問題に対処するために、アップストリームのフライトに変更があります。 -
テストの推論の実行
このセクションでは、AI100カードでクイック推論テストを実行する方法について説明します。この推論テストを使用して、AI100カードの機能を確認します。
コマンドライン コマンドを使用する
qaic-runnerをクリックして、最初のテスト推論ワークロードを実行します。リアルタイム イベントを監視するには、-dターゲットのAI100デバイスを指定するには、-a使用する NSP の数を指定し、-n反復回数の場合:
を使用したサンプル テスト推論qaic-runnerの詳細を確認してください。docker run --rm -it \ --device=/dev/accel/accel1 \ --device=/dev/accel/accel2 \ --network host \ --ulimit nofile=1048576 \ -e OMP_NUM_THREADS=8 \ ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 \ qaic-runner -t /opt/qti-aic/test-data/aic100/v2/1nsp/1nsp-conv-hmx/ -a 16 -n 5000 -d 0docker run --rm -it \ --device=/dev/accel/accel1 \ --device=/dev/accel/accel2 \ --network host \ --ulimit nofile=1048576 \ -e OMP_NUM_THREADS=8 \ ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 \ qaic-runner -t /opt/qti-aic/test-data/aic100/v2/1nsp/1nsp-conv-hmx/ -a 16 -n 5000 -d 0
次のようなサンプル出力が画面に表示されます。
テスト推論を実行するためのサンプル出力。dell@dell:~$ docker run --rm -it \ --device=/dev/accel/accel1 \ --device=/dev/accel/accel2 \ --network host \ --ulimit nofile=1048576 \ -e OMP_NUM_THREADS=8 \ ghcr.io/quic/cloud_ai_inference_ubuntu24:1.20.6.0 \ qaic-runner -t /opt/qti-aic/test-data/aic100/v2/1nsp/1nsp-conv-hmx/ -a 16 -n 5000 -d 0 loading /opt/qti-aic/dev/lib/x86_64/libQAic.so ---- Stats ---- InferenceCnt 5000 TotalDuration 22544us BatchSize 1 Inf/Sec 221788.502 -
便利なリンク
以下の表には、AI100の主な有用なリソースと、AI100推論カードを最大限に活用するためのリンクのリストが含まれています。
- Qualcomm AI100ユーザー ガイド
: すべてのトピックの出発点 AI100 - 包括的な AI100 ユーザーガイド
- Qualcomm Efficient Transformers Library
: Qualcomm AI100上でHuggingFaceから多くのLLMをパフォーマンスよく実行するライブラリ
- QAICコンテナ
: Ubuntu 24.04を使用したvLLMとTritonのサポートを含むAI100ツールチェーンを含むDockerコンテナー
- QAICコンテナ - 24.04最新
: AI100推論カードでの使用には、24.04を使用するDocker QAICコンテナをお勧めします
- Qualcomm Efficient Transformers開発者ブログ
: 簡単で迅速な例による効率的な変圧器の優れた概要
- http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/
: AI100カードでダウンロードして実行するプリコンパイル済みモデル(2つのSoC用に構築されたモデル)については、カタログを参照してください
注:このURLはHTTPSリンクではありません。自己責任で使用してください。
メモ: サポート サイトにアクセスし、フィルター キーワード 「Linux 」を使用して、Dell Pro Max 16 Plus MB16250 with Al100ノートパソコンに関連する他のDell記事を参照してください。 - Qualcomm AI100ユーザー ガイド
-
AI100構築済みモデル
次の表には、AI100 Dockerコンテナ内で実行するために事前構築されたAIモデルのスナップショットが含まれています(たとえば、vLLMを使用)。
AI100推論カードは、Qualcomm Program Container(QPC)形式を使用してモデルを実行します。QPCは、AI100 Platform and Apps SDKを使用してHuggingfaceモデルから構築するか、次のリンクにあるオンラインZentreeカタログから構築済みのAIモデルQPCを使用することができます。QPCは、カード上のAI100デバイスの数をターゲットに構築されています。Qualcomm推論カード搭載のDell Pro Max 16 Plusは、1つまたは2つのSoC (AI100 System on a Chip)で動作するように構築されたQPCをサポートします。2 台の AI100 デバイス用に構築された QPC は、テンソル スライスを使用して、カード上の 64 GB のメモリ全体で 2 台の AI100 デバイスのコンピューティングを使用して大規模なモデルを実行できます。
http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/
については、次のリンクの[catalog]タブを参照してください。
注:これらのURLはHTTPSリンクではありません。自己責任で使用してください。モデル ファミリー モデル アーキテクチャ 代表機種 モデル タイプ QAIC SDKのバージョン QEff 自動クラス タスク QPC リンク バート BERTモデル BAAI/bge-large-en-v1.5 埋め込みモデル 1.19.6 QEFFAutoModel(ケフ オートモデル) テキストの埋め込み http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.19.6/bge-large-en-v1.5/ バート BERTモデル BAAI/bge-m3型 埋め込みモデル 1.19.6 QEFFAutoModel(ケフ オートモデル) テキストの埋め込み http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.19.6/bge-m3/ バート BERTモデル BAAI/bge-base-en-v1.5 埋め込みモデル 1.19.6 QEFFAutoModel(ケフ オートモデル) テキストの埋め込み http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.19.6/bge-base-en-v1.5/ DeepSeek-R1-蒸留ラマ LlamaForCausalLM (ラマ フォー コーザル LM) バルデマルディ/DeepSeek-R1-蒸留ラマ-70B-AWQ テキストのみの言語モデル 1.20.4 QEFFAutoModelForCausalLM テキスト生成 http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/DeepSeek-R1-Distill-Llama-70B-AWQ/ DeepSeek-R1-蒸留ラマ LlamaForCausalLM (ラマ フォー コーザル LM) Casperhansen/Deepseek-R1-蒸留-ラマ-8B-AWQ テキストのみの言語モデル 1.20.4 QEFFAutoModelForCausalLM テキスト生成 http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/deepseek-r1-distill-llama-8b-awq/ DeepSeek-R1-Distill-Qwen Qwen2ForCausalLMさん バルデマルディ/DeepSeek-R1-蒸留ラマ-32B-AWQ テキストのみの言語モデル 1.20.4 QEFFAutoModelForCausalLM テキスト生成 http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/DeepSeek-R1-Distill-Qwen-32B-AWQ/ DeepSeek-R1-Distill-Qwen Qwen2ForCausalLMさん Casperhansen/Deepseek-R1-蒸留-QWEN-7B-AWQ テキストのみの言語モデル 1.20.4 QEFFAutoModelForCausalLM テキスト生成 http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/deepseek-r1-distill-qwen-7b-awq/ ジェンマ3 Gemma3ForConditionalGeneration (英語) グーグル/ジェンマ-3-4b-it マルチモーダル言語モデル 1.20.4 QEFFAutoModelForImageTextToText ビジョン言語モデル (テキスト + 画像生成) http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/gemma-3-4b-it/ GPT-OSSの GptOssForCausalLM OpenAI/GPT-OSS-20b テキストのみの言語モデル 1.20.4 QEFFAutoModeForCausalLM テキスト生成 http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/gpt-oss-20b/ 花崗岩-3.2 GraniteForCausalLM ibm-granite/granite-3.2-8b-指示 テキストのみの言語モデル 1.20.4 QEFFAutoModelForCausalLM テキスト生成 http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/granite-3.2-8b-instruct/ 花崗岩-3.3 GraniteForCausalLM ibm-granite/granite-3.3-8b-指示 テキストのみの言語モデル 1.20.4 QEFFAutoModelForCausalLM テキスト生成 http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/granite-3.3-8b-instruct/ ラマ3.1 LlamaForCausalLM (ラマ フォー コーザル LM) meta-llama/llama-3.1-8B-指示 テキストのみの言語モデル 1.20.4 QEFFAutoModelForCausalLM テキスト生成 http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Llama-3.1-8B/ ラマ3.1ネモトロン LlamaForCausalLM (ラマ フォー コーザル LM) ibnzterrell / NVIDIA - ラマ- 3.1 - Nemotron - 70B -命令- HF - AWQ - INT4 テキストのみの言語モデル 1.20.4 QEFFAutoModelForCausalLM テキスト生成 http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Nvidia-Llama-3.1-Nemotron-70B-Instruct-HF-AWQ-INT4/ ラマ3.1ネモトロン LlamaForCausalLM (ラマ フォー コーザル LM) nvidia/Llama-3.1-Nemotron-nano-8B-v1 テキストのみの言語モデル 1.20.4 QEFFAutoModelForCausalLM テキスト生成 http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Llama-3.1-Nemotron-Nano-8B-v1/ ラマ3.2 LlamaForCausalLM (ラマ フォー コーザル LM) メタラマ/ラマ-3.2-1B テキストのみの言語モデル 1.20.4 QEFFAutoModelForCausalLM テキスト生成 http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Llama-3.2-1B/ ラマ3.2 LlamaForCausalLM (ラマ フォー コーザル LM) メタラマ/ラマ-3.2-3B テキストのみの言語モデル 1.20.4 QEFFAutoModelForCausalLM テキスト生成 http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Llama-3.2-3B/ ラマ3.2 LlamaForCausalLM (ラマ フォー コーザル LM) meta-llama/llama-3.2-3B-指示 テキストのみの言語モデル 1.20.4 QEFFAutoModelForCausalLM テキスト生成 http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Llama-3.2-3B-Instruct/ ラマ3.2 MllamaForConditionalGeneration (条件付き生成のための MllamaForConditionalGeneration) メタラマ/ラマ-3.2-11B-ビジョンインストラクション マルチモーダル言語モデル 1.20.4 QEFFAutoModelForImageTextToText ビジョン言語モデル (テキスト + 画像生成) http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Llama-3.2-11B-Vision-Instruct/ ラマ3.2指示 LlamaForCausalLM (ラマ フォー コーザル LM) meta-llama/llama-3.2-1B-指示 テキストのみの言語モデル 1.20.4 QEFFAutoModelForCausalLM テキスト生成 http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Llama-3.2-1B-Instruct/ ラマ3.x LlamaForCausalLM (ラマ フォー コーザル LM) Target:Meta-Llama-3.1-70B-Instruct-AWQ-INT4
ドラフト: ラマ-3.2-1B-指示投機的デコード(SpD) 1.20.4 QEFFAutoModelForCausalLM テキスト生成 http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/spd/meta-llama/ ラマ3.x LlamaForCausalLM (ラマ フォー コーザル LM) Target: casperhansen/llama-3.3-70b-instruct-awq
Draft: meta-llama/llama-3.2-1B-instruct投機的デコード(SpD) 1.20.4 QEFFAutoModelForCausalLM テキスト生成 http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/spd/llama33-70b-awq__draft-llama32-1b/ ミストラル MistralForCausalLM mistralai / Mistral - 7B -指示- v0.1 テキストのみの言語モデル 1.20.4 QEFFAutoModelForCausalLM テキスト生成 http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Mistral-7B-Instruct-v0.1/ ファイ-4 Phi3ForCausalLM (ファイ 3 フォー コーザル LM) Microsoft/PHI-4 テキストのみの言語モデル 1.20.4 QEFFAutoModelForCausalLM テキスト生成 http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/phi-4/ クウェン3 Qwen3Moeさん Qwen/Qwen3-30B-A3B-指示-2507 テキストのみの言語モデル 1.20.4 QEFFAutoModelForCausalLM テキスト生成 http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Qwen3-30B-A3B-Instruct-2507/ Qwen3-コーダー Qwen3Moeさん Qwen/Qwen3-Coder-30B-A3B-指示 テキストのみの言語モデル 1.20.4 QEFFAutoModelForCausalLM コード生成 http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/Qwen3-Coder-30B-A3B-Instruct/ サルバマイ サルバマイ Sarvamai/Sarvam-1 (サルバマイ/サルバム 1) テキストのみの言語モデル 1.20.4 QEFFAutoModelForCausalLM テキスト生成 インド言語フォーカス http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/sarvam-1/ SDXLの StableDiffusionForTextToImage (StableDiffusionForTextToImage) 安定性AI / stable-diffusion-xl-base-1.0 マルチモーダル言語モデル 1.20.4 AutoPipelineForText2Image (英語) ビジョン言語モデル (テキスト + 画像生成) http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/stable-diffusion-xl-base-1.0/ SDXLターボ StableDiffusionForTextToImage (StableDiffusionForTextToImage) 安定性AI/SDXL-ターボ マルチモーダル言語モデル 1.20.4 AutoPipelineForText2Image (英語) ビジョン言語モデル (テキスト + 画像生成) http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/sdxl_turbo/ ささやく ささやく OpenAI/ウィスパーベース オーディオモデル 1.20.4 QEFFAutoModelForSpeechSeq2Seq 自動音声認識(文字起こし) http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/whisper-base/ ささやく ささやく openai/whisper-large-v3-turbo オーディオモデル 1.20.4 QEFFAutoModelForSpeechSeq2Seq 自動音声認識(文字起こし) http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/whisper-large-v3-turbo/ ささやく ささやく OpenAI/Whisper-Large オーディオモデル 1.20.4 QEFFAutoModelForSpeechSeq2Seq 自動音声認識(文字起こし) http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/whisper-large/ ささやく ささやく OpenAI/Whisper-Medium オーディオモデル 1.20.4 QEFFAutoModelForSpeechSeq2Seq 自動音声認識(文字起こし) http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/whisper-medium/ ささやく ささやく OpenAI/Whisper-Small オーディオモデル 1.20.4 QEFFAutoModelForSpeechSeq2Seq 自動音声認識(文字起こし) http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/whisper-small/ ささやく ささやく openai-ささやき-タイニー オーディオモデル 1.20.4 QEFFAutoModelForSpeechSeq2Seq 自動音声認識(文字起こし) http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/whisper-tiny/ XLM-ロベルタ XLMRobertaモデル intfloat/multilingual-e5-large 埋め込みモデル 1.20.4 QEFFAutoModel(ケフ オートモデル) テキストの埋め込み http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.20.4/multilingual-e5-large/ XLM-ロベルタ XLMRobertaモデル intfloat/multilingual-e5-small 埋め込みモデル 1.19.6 QEFFAutoModel(ケフ オートモデル) テキストの埋め込み http:qualcom-qpc-models.s3-website-us-east-1.amazonaws.com/QPC/1.19.6/multilingual-e5-small/