PowerEdge：GPU 散热节流或未检测到 GPU 问题

• 在高工作负载期间，GPU 性能会降低。
• GPU 时钟速率会自动下降以保护硬件。
• 在压力工作负载期间，GPU 温度达到高值。
• 系统事件日志 （SEL） 显示与系统入口温度相关的警告。
• GPU 未出现在操作系统或管理工具中。
• 命令 nvidia-smi 不显示任何 GPU 设备。
• iDRAC 或 BIOS 未检测到已安装的 GPU。

• 数据中心环境温度过高
• 服务器机架中气流不足或进气口受阻
• 风扇配置文件或散热策略设置不正确
• GPU 未在 PCIe 插槽中正确就位
• 不支持的 GPU 配置或固件不匹配
• 过时的 BIOS、iDRAC 或 GPU 固件
• GPU 模块的电源或线缆连接问题

1.检查 GPU 温度和节流状态：

在操作系统中运行以下命令，以检查 Nvidia GPU 的 GPU 性能和节流状态：

nvidia-smi -q -d performance

如果限制原因显示为“Not Active”，则表示 GPU 运行正常。

2.监视系统温度：

• 在 iDRAC 中检查系统事件日志 （SEL）。
• 检视生命周期日志中的温度警告。
• 从温度概览部分验证系统入口温度。

3.改善冷却条件：

• 确保数据中心环境温度在支持的限制范围内。
• 清除机架中的气流堵塞。
• 验证所有系统风扇是否正常工作。
• 使用合适的通风导流罩和 GPU 冷却套件。

4.验证 GPU 硬件安装：

• 确保 GPU 在 PCIe 插槽中正确就位。
• 检查 GPU 电源线和连接器。
• 确认服务器平台支持 GPU。

5.更新系统固件：

• 更新服务器 BIOS。
• 更新 iDRAC 固件。
• 更新 GPU 驱动程序和固件。

6.验证 GPU 检测：

使用以下命令检查系统是否检测到 Nvidia GPU：

nvidia-smi

如果未检测到 GPU，请检查 BIOS 设置和硬件安装。

7.在另一个 PCIe 插槽中检测 GPU：

如果未检测到 GPU 或继续遇到性能问题，请尝试将 GPU 安装在另一个可用的 PCIe 插槽中。

• 关闭服务器电源并断开电源线。
• 从当前 PCIe 插槽卸下 GPU。
• 将 GPU 安装到另一个受支持的 PCIe 插槽中。
• 重新连接电源并打开系统电源。
• 使用以下命令检查是否检测到 GPU nvidia-smi 或从 iDRAC 硬件资源清册。

如果在另一个插槽中检测到 GPU，则原始 PCIe 插槽可能存在配置或硬件问题。

8.运行 GPU 诊断测试：

运行 NVIDIA Data Center GPU Manager （DCGM） 诊断工具以验证 Nvidia GPU 运行状况并检测潜在的硬件或散热问题。

1. 通过 SSH 或控制台访问操作系统。
2. 运行以下命令以执行扩展 GPU 诊断测试：

sudo dcgmi diag

此命令执行全面的诊断测试，检查 GPU 内存、PCIe 连接和散热行为。查看输出以确定任何硬件或性能相关问题。