「PowerEdge：GPUサーマル スロットルおよび検出の問題をトラブルシューティングする方法

準備

• 管理者権限でのオペレーティング システムへのアクセス。
• iDRACまたはBIOSにアクセスして、システム ログと設定を表示します。
• NVIDIA/CUDAドライバーとNVIDIA-SMIユーティリティーをインストールした
• ハードウェア チェックのためのサーバーへの物理的なアクセス

タスクの実行

1. GPUの温度とスロットルのステータスを確認します
   • オペレーティング システムで次のコマンドを実行して、GPUのパフォーマンスとスロットルのステータスを確認します。

     nvidia-smi -q -d performance 

   • スロットルの理由が[非アクティブ]と表示されている場合、GPUは正常に動作しています。
2. システム温度の監視
   • iDRACのシステム イベント ログ(SEL)を確認します。
   • 温度に関する警告については、ライフ サイクル ログを確認します。
   • [Temperature Overview]セクションで[System Inlet Temperature]を確認します。
3. 冷却条件の改善
   • データセンターの周囲温度がサポートされている制限内であることを確認します。
   • ラック内のエアフローの遮断を取り除きます。
   • すべてのシステム ファンが正常に機能していることを確認します。
   • 適切なエアフロー カバーとGPU冷却キット(ある場合)を取り付けます。
4. GPUハードウェアの取り付けの確認
   • GPUがPCIeスロットに正しく装着されていることを確認します。
   • 電源ケーブルとコネクターがしっかりと取り付けられていることを確認します。
   • GPUモデルがサーバー プラットフォームでサポートされていることを確認します。
5. システム ファームウェアのアップデート
   • サーバーBIOSを最新バージョンにアップデートします。
   • iDRACファームウェアを最新バージョンにアップデートします。
   • GPUドライバーとファームウェアを最新リリースにアップデートします。
6. GPU検出の確認
   • 次のコマンドを使用して、GPUがシステムによって検出されているかどうかを確認します。

     nvidia-smi 

   • GPUが検出されない場合は、BIOS設定とハードウェアの取り付けを確認してください。
7. 別のPCIeスロットでGPUをテストします
   • サーバーの電源を切り、電源ケーブルを外します。
   • 現在のPCIeスロットからGPUを取り外します。
   • サポートされている別のPCIeスロットにGPUを取り付けます。
   • 電源を再接続し、システムの電源を入れます。
   • 次による検出の確認 nvidia-smi またはiDRACハードウェア インベントリー。
   • 新しいスロットでGPUが検出された場合、元のスロットに構成またはハードウェアの問題がある可能性があります。
8. GPU診断テストを実行します
   1. DCGMiツール
      • DCGMユーティリティーを参照してください
      • 詳細については、「 PowerEdge: NVIDIA DataCenter GPU Manager (DCGM)のインストールと診断の実行方法
   2. NVIDIA SMIログ
      • そのノードで# nvidia-smi を使用して、GPU の使用状況とステータスの概要を取得します。
      • そのノードで# nvidia-smi -q GPUの詳細については、を参照してください。
      • そのノードで# nvidia-smi nvlink -s をクリックすると、NVLinkのステータスとエラーが表示されます。
   3. OSレベルの出力
      • そのノードで

        # lspci -s 9b: 00.0 -vv

        (必要に応じてデバイスIDを置き換える)を使用して、GPUのPCIeの詳細を表示します。)

確認

• GPU温度は通常の動作範囲内に留まり、スロットル ステータスには「非アクティブ」と表示されます
• GPUは次の出力に表示されます: nvidia-smi iDRACハードウェア インベントリーで確認できます。
• システム イベント ログに温度関連の警告は記録されていません。