VxRail: Fejlfindingsvejledning til GPU-problemer (NVIDIA)

NVIDIA GPU'er understøttes på enheder i VxRail V-serien og gør det muligt for kunder at bruge GPU'er til programmer som f.eks. miljøer med virtuelle skriveborde. For understøttede GPU-modeller og supportomfang henvises til artiklen 000021349 GPU-understøttelse på VxRail-arkitekturdiagram

:

Komponenter, der skal konfigureres for at sikre korrekt funktionalitet:

1. BIOS MMIO-indstillinger
2. Installation af NVIDIA vGPU-driver
3. PCI Pass-through-indstillinger for værten
4. Konfiguration af den korrekte grafiktype for værten
5. Konfigurationer af VM-indstillinger og valg af den korrekte GPU-type
6. Installation af den relevante NVIDIA OS-driver

Bekræftelse af, at ESXi-kernen registrerer GPU'er: 

1. Kontrol af, om nvidia-smi Kommandoen returnerer et levedygtigt output i stedet for en fejl som nedenfor:

[root@node04:~] nvidia-smi
Wed Feb 19 22:54:10 2020
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 418.109 Driver Version: 418.109 CUDA Version: N/A |
|-------------------------------+----------------------+----------------------+
| GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. |
|===============================+======================+======================|
| 0 Tesla M10 On | 00000000:3D:00.0 Off | N/A |
| N/A 28C P8 10W / 53W | 18MiB / 8191MiB | 0% Default |
+-------------------------------+----------------------+----------------------+
| 1 Tesla M10 On | 00000000:3E:00.0 Off | N/A |
| N/A 27C P8 10W / 53W | 18MiB / 8191MiB | 0% Default |
+-------------------------------+----------------------+----------------------+
| 2 Tesla M10 On | 00000000:3F:00.0 Off | N/A |
| N/A 23C P8 10W / 53W | 18MiB / 8191MiB | 0% Default |
+-------------------------------+----------------------+----------------------+
| 3 Tesla M10 On | 00000000:40:00.0 Off | N/A |
| N/A 26C P8 10W / 53W | 18MiB / 8191MiB | 0% Default |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| Processes: GPU Memory |
| GPU PID Type Process name Usage |
|=============================================================================|
| 0 69942 G Xorg 4MiB |
| 1 69960 G Xorg 4MiB |
| 2 69977 G Xorg 4MiB |
| 3 69997 G Xorg 4MiB |
+-----------------------------------------------------------------------------+

2. Bekræft, at Xorg Tjenesten kører

[root@vxrail001:~] /etc/init.d/xorg status
Xorg is running

3. Modulet skal angives som NVIDIA PCI-Passthrough

Correct Configuration:
# esxcli hardware pci list -c 0x0300 -m 0xf
... <output truncated>
ModuleName: nvidia

In-correct Configuration:
# esxcli hardware pci list -c 0x0300 -m 0xf
... <output truncated>
ModuleName: pciPassthru

Fejlfinding, når ESXi-kernen ikke registrerer GPU-kort:

1. vSphere Enterprise-licensen er påkrævet til GPU-understøttelse
2. Kontroller, om systemet er konfigureret med den korrekte MMIO-base i BIOS-indstillingerne. Det kan du kontrollere ved at følge artiklen 000039104 ESXi returnerer "Kunne ikke initialisere NVML", når du installerer NVIDIA-driveren på VxRail V-serien
3. Kontrollér, om den korrekte NVIDIA vGPU VIB er installeret. De nyeste kompatible drivere kan downloades fra NVIDIA Enterprise-portalen, når du er logget på med kundens loginoplysninger. Kompatibiliteten kan kontrolleres i forhold til VMware Compatibility Guide (eksternt link), eksempel på Tesla M60

[root@node04:/tmp] esxcli software vib list | grep -i nvidia
NVIDIA-VMware_ESXi_6.5_Host_Driver 390.72-1OEM.650.0.0.4598673 NVIDIA VMwareAccepted 2018-07-26

To install a VIB:
# esxcli software vib install -v <full-file-path-to-vib>

To upgrade an already installed VIB:
# esxcli software vib update -v <full-file-path-to-vib>

To remove an installed VIB:
# esxcli software vib remove --vibname=<vib-name>                      // VIB name can be obtained from "vib list" command

	

4. Bekræft, at ikke alle enheder er i passthrough-tilstand, og at de er konfigureret som Shared Direct (nedenstående trin kan variere en smule på grund af grænseflade- og versionsforskelle)
   1. Vælg værtshardware-PCI-enheder>>>, klik på Rediger 
   2. Skift status for alle NVIDIA-enheder til Utilgængelig (eller mindst en af dem)
   3. Gå tilbage til værtsniveau >Hardwaregrafik >  
   4. Sørg for, at grafiktypen er Delt direkte og ikke Delt
   5. Der kræves en genstart for noden efter denne ændring, bekræft med kunden, før du udfører denne handling, og sørg for, at noden er i vedligeholdelsestilstand, og at klyngen har tilstrækkelige ressourcer under denne aktivitet
5. For licensproblemer henvises der til dokumentationen til NVIDIA Virtual GPU-softwaren Licensering (eksternt link)

Fejlfinding af problemer med registrering af VM GPU:

1. Når du har NVIDIA vGPU Manager fungerer korrekt, kan du vælge en vGPU-profil til den virtuelle maskine. En vGPU-profil giver dig mulighed for at tildele en GPU udelukkende til én virtuel maskines brug eller til at blive brugt i en delt tilstand med andre. Når der er ét fysisk GPU-kort på en værtsserver, vil alle virtuelle maskiner på den server, der kræver adgang til GPU'en, som bruger den samme vGPU-profil.

2. Forkert konfiguration af vGPU-profiler kan resultere i, at VM'er ikke kan tændes med fejlen "The amount of graphics resource available in the parent resource pool is insufficient for the operation. An error was received from the ESXi host while powering on VM <vm-name>. Failed to start the virtual machine. Dette kan også skyldes en forkert vGPU VIB installeret, så marker afsnittet Bekræfter, at ESXi-kernen registrerer GPU'er ovenfor for at sikre, at GPU'en registreres korrekt af ESXi.
3. Ved VM-problemer med gæster skal du sørge for, at den NVIDIA vGPU Manager-version, der blev installeret i ESXi-hypervisoren, er nøjagtig den samme som den driverversion, du installerer i gæsteoperativsystemet til din VM. Du kan finde installationsvejledningen i afsnittet Installering af NVIDIA Virtual GPU-software (eksternt link)
4. Output fra VM-konsollen i VMware vSphere Web Client/vSphere Client er ikke tilgængeligt for VM'er, der kører vGPU. Sørg for, at du har installeret en alternativ måde at få adgang til VM'en på (f.eks. VMware Horizon eller en VNC-server), før du konfigurerer vGPU'en.
5. vMotion-understøttelse til VM'er med vGPU'er aktiveret – Understøttelse af funktionen starter vSphere version 6.7 Update 1 og nyere for vGPU-profiler på op til 12 GB framebuffer (svarende til VxRail-version 4.7.x og frem). Du kan finde flere oplysninger i VMware vSphere vCenter Server and Host Management (eksternt link)

Fejlfinding og udskiftning af defekte GPU-kort:

• Åbn en supportanmodning med VxRail-support.

• Brugervejledning til NVIDIA Virtual GPU-software (eksternt link) 
• VMware-blog ved hjælp af GPU'er med virtuelle maskiner på vSphere (eksternt link)