H100搭載PowerEdge XE8640: GPUパフォーマンスの問題 - HW電源ブレーキの減速 - アクティブ

まれに、GPUパフォーマンスが低下し、 nvsmi-q ログは、HWパワーブレーキの減速がアクティブであることを示している場合があります。

nvidia-smi & GPU_burn ログ出力、

nvsmi-q ログ出力

    Clocks Throttle Reasons
        Idle                              : Not Active
        Applications Clocks Setting       : Not Active
        SW Power Cap                      : Not Active
        HW Slowdown                       : Active
            HW Thermal Slowdown           : Not Active
            HW Power Brake Slowdown       : Active
        Sync Boost                        : Not Active
        SW Thermal Slowdown               : Not Active
        Display Clock Setting             : Not Active


nvidia-smi --query-gpu=index,timestamp,power.draw,clocks.sm [clocks.sm],clocks.mem,clocks.gr [clocks.gr] --format=csv -l 1 ログ出力

解決方法: BIOS、CPLD、iDRACを最新にアップデートします。最近のフィールド ケースでは、CPLDをバージョン1.2.2にアップデートし、iDRACをバージョン7.10.30にアップデートすることで問題が解決したことがわかっています 

** スニペット ポスト更新 **

gpu_burn が ~ 300k Gflops で動作しており、かつ nvidia-smi 使用率が100%の場合の各GPU~700Wを示しています。

nvsmi-q BIOSアップデート後にログが出力されます。

 Clocks Throttle Reasons
        Idle                              : Active
        Applications Clocks Setting       : Not Active
        SW Power Cap                      : Not Active
        HW Slowdown                       : Not Active
            HW Thermal Slowdown           : Not Active
            HW Power Brake Slowdown       : Not Active
        Sync Boost                        : Not Active
        SW Thermal Slowdown               : Not Active
        Display Clock Setting             : Not Active


nvidia-smi & GPU_burn BIOSアップデート後にログが出力されます。