PowerEdge: Odstraňování problémů s omezováním teploty grafické karty a detekcí

Příprava

• Přístup k operačnímu systému s oprávněními správce.
• Přístup k řadiči iDRAC nebo systému BIOS k zobrazení systémových protokolů a nastavení.
• Nainstalovaný ovladač NVIDIA/CUDA a nástroj NVIDIA-smi
• Fyzický přístup k serveru pro kontrolu hardwaru

Provedení úlohy

1. Kontrola teploty grafického procesoru a stavu omezení výkonu
   • Spuštěním následujícího příkazu v operačním systému zkontrolujte výkon grafické karty a stav omezení:

     nvidia-smi -q -d performance 

   • Pokud se důvody omezení plynu zobrazují jako "Neaktivní", GPU funguje normálně.
2. Sledování teploty systému
   • Zkontrolujte protokol systémových událostí (SEL) v řadiči iDRAC.
   • Zkontrolujte protokol životního cyklu a vyhledejte výstrahy ohledně teploty.
   • Ověřte vstupní teplotu systému v části Přehled teploty.
3. Zlepšete podmínky chlazení
   • Zajistěte, aby okolní teplota datového centra nedosahovala podporovaných limitů.
   • Odstraňte veškeré překážky proudění vzduchu v racku.
   • Ověřte, zda všechny systémové ventilátory fungují správně.
   • Nainstalujte vhodné kryty proudění vzduchu a chladicí sady grafické karty, pokud jsou k dispozici.
4. Ověření instalace hardwaru GPU
   • Ujistěte se, že je grafická karta správně usazena ve slotu PCIe.
   • Zkontrolujte bezpečné připojení napájecích kabelů a konektorů.
   • Ověřte, zda je model grafické karty podporován na serverové platformě.
5. Aktualizace systémového firmwaru
   • Aktualizujte systém BIOS serveru na nejnovější verzi.
   • Aktualizujte firmware řadiče iDRAC na nejnovější verzi.
   • Aktualizujte ovladače a firmware grafické karty na nejnovější verze.
6. Ověření detekce GPU
   • Pomocí následujícího příkazu zkontrolujte, zda systém grafickou kartu detekuje:

     nvidia-smi 

   • Pokud není GPU rozpoznána, zkontrolujte nastavení systému BIOS a instalaci hardwaru.
7. Test grafické karty v jiném slotu PCIe
   • Vypněte server a odpojte napájecí kabely.
   • Vyjměte grafickou kartu z aktuálního slotu PCIe.
   • Nainstalujte grafickou kartu do jiného podporovaného slotu PCIe.
   • Znovu připojte napájení a zapněte systém.
   • Zkontrolujte detekci pomocí nvidia-smi nebo inventář hardwaru řadiče iDRAC.
   • Pokud je grafická karta rozpoznána v novém slotu, může mít původní slot problém s konfigurací nebo hardwarem.
8. Spuštění diagnostického testu GPU
   1. Nástroj DCGMi
      • Viz nástroj DCGM
      • Další pokyny naleznete v článku PowerEdge: Instalace nástroje NVIDIA DataCenter GPU Manager (DCGM) a způsob spuštění diagnostiky
   2. Protokoly NVIDIA SMI
      • Spustit# nvidia-smi a získejte souhrn o využití a stavu grafické karty.
      • Spustit# nvidia-smi -q , kde najdete podrobné informace o grafické kartě.
      • Spustit# nvidia-smi nvlink -s zobrazíte stav a chyby NVLink.
   3. Výstupy na úrovni operačního systému
      • Spustit

        # lspci -s 9b: 00.0 -vv

        (podle potřeby nahraďte ID zařízení) a zobrazte podrobnosti PCIe pro grafickou kartu.)

Ověření

• Teplota grafického procesoru zůstává v normálním provozním rozsahu a stav omezení plynu ukazuje "Neaktivní".
• GPU se zobrazí ve výstupu nvidia-smi a v inventáři hardwaru řadiče iDRAC.
• V protokolu systémových událostí nejsou přítomna žádná varování související s teplotou.