PowerEdge: PCI-gjennomgang "Modul 'DevicePowerOn' power on failed" når du bruker GPU-er med virtuelle maskiner på vSphere

Innledende

Verts-BIOS må konfigureres riktig for å aktivere Nvidia GPU for gjennomgang, og den virtuelle maskinen som skal kjøre disse akselererte arbeidsbelastningene, må oppfylle spesifikke krav. Denne delen beskriver alle disse kravene.

Hvilke enheter?

Denne artikkelen er bare relevant hvis PCI-enheten tilordner minneområder med størrelser på mer enn 16 GB. Følg VMware KB 1010789 publiserte instruksjoner for å aktivere gjennomgangsenheter under vSphere. Kort som krever mer enn 16 GB minnetilordning er som regel avanserte kort. Du bør følge instruksjonene i denne artikkelen for å aktivere dem for bruk i gjennomgangsmodus på en virtuell maskin.
 

Verts-BIOS

Verts-BIOS må konfigureres for å støtte de store minneområdene som trengs av disse avanserte PCI-enhetene. For å aktivere dette, finn BIOS-vertsinnstillingen for "minnetilordnet I/O over 4 GB" og aktiver den.

Gjesteoperativsystem 

Merk: Disse innstillingene er bare nødvendige hvis BIOS-oppstartsmodus er angitt til UEFI, hvis det er eldre modus eller BIOS-modus, kan du ignorere funksjonene nedenfor.

Hvis du vil ha tilgang til disse store minnetilordningene, kobler du til VMware-nettstedet Gjesteoperativsystemet må starte opp med EFI. Det vil si at du må aktivere EFI i VM-en og deretter utføre en EFI-installasjon av gjesteoperativsystemet.
 

Redigere PCI-enhetens tilgjengelighet på vertsserveren

En installert PCI-kompatibel GPU-maskinvareenhet gjenkjennes først av vSphere-hypervisoren ved oppstart av serveren uten å ha noen spesifikke drivere installert i hypervisoren.

vSphere gjenkjenner alle PCI-enheter på denne måten. Du kan se listen over PCI-enheter som finnes i vSphere Client-verktøyet, ved å velge den bestemte vertsserveren du jobber med, og følge menyvalgene.

Konfigurer" > "Maskinvare" > "PCI-enheter" > "Rediger" for å se listen, som vist i et eksempel i figur 2 nedenfor.

Hvis den bestemte GPU-enheten ikke tidligere er aktivert for DirectPath I/O, kan du sette GPU-enheten i direkte bane-I/O-modus (gjennomgang) ved å klikke i avmerkingsboksen på enhetsoppføringen, som vist i NVIDIA-enhetseksemplet.

Aktivering av avanserte enheter i VM-fil

Når kravene ovenfor er oppfylt, må to oppføringer legges til VM-ens VMX-fil, enten ved å endre filen direkte eller ved å bruke vSphere-klienten til å legge til disse funksjonene. Den første oppføringen er:

Angi den andre oppføringen krever en enkel beregning. Summer GPU-minnestørrelsene for alle GPU-enheter (*) du har tenkt å overføre til den virtuelle maskinen, og rund deretter opp til neste potens av to. Hvis du for eksempel vil bruke gjennomgang med 4 16 GB A2-enheter, vil verdien være: 32 + 32 = 64, rundet opp til neste potens av to for å gi 128. Bruk denne verdien i den andre oppføringen:

Med disse to endringene i VMX-filen følger du VMware KB 1010789 standard vSphere-instruksjoner for å aktivere gjennomgangsenheter på vertsnivå og for å spesifisere hvilke enheter som skal sendes inn i den virtuelle maskinen. VM-en skal nå starte opp på riktig måte med enheten i gjennomgangsmodus.
 

Aktivere avanserte enheter i brukergrensesnittet

I vSphere Client velger du igjen den virtuelle maskinen og bruker alternativene."

Rediger innstillinger > , VM-alternativer >, avanserte > konfigurasjonsparametere > , rediger konfigurasjon" for å komme til listen over PCI-relaterte alternativer vist nedenfor.

Vi beregner verdien av parameteren "64bitMMIOSizeGB" ved hjelp av en enkel tilnærming. Tell antall avanserte PCI GPU-enheter du har tenkt å overføre til denne virtuelle maskinen. Dette kan være én eller flere GPUer. Multipliser det tallet med 16 og rund det opp til neste potens av to.

Hvis du for eksempel vil bruke gjennomgangsmodus med to GPU-enheter i én virtuell maskin, vil verdien være: 4 * 16 = 64, rundet opp til neste potens av to for å gi 128.
 

Tilordne en GPU-enhet til en virtuell maskin

Denne delen beskriver tilordningen av GPU-enheten til den virtuelle maskinen. Slå av den virtuelle maskinen før du tilordner GPU-enheten til den.

Hvis du vil aktivere tilgang til en virtuell maskin på en PCI-enhet, velger du den virtuelle maskinen i vSphere-klienten, bruker alternativet «Edit Settings» og blar ned til PCI-enhetslisten. Hvis enheten din ikke allerede er oppført der, bruker du "Add New Device"-knappen for å legge den til i listen. Når de er lagt til, skal innstillingene for den virtuelle maskinen se ut som de som vises i figur 7. I dette eksemplet er den aktuelle oppføringen "PCI-enhet 0."

Minne Reservasjon

Når PCI-enheten er tilordnet en virtuell maskin, må den virtuelle maskinen ha en minnereservasjon for den fullt konfigurerte minnestørrelsen for den virtuelle maskinen. Dette gjøres i vSphere-klienten ved å velge VM og bruke «Edit Settings > Virtual Hardware > Memory» for å få tilgang til og endre verdien i reservasjonsområdet.

Til slutt, slå på den virtuelle maskinen. Etter at du har slått på den virtuelle maskinen, logger du på gjesteoperativsystemet og kontrollerer at GPU-kortet er til stede ved hjelp av.

• På en virtuell Linux-maskin bruker du kommandoen

"lspci | grep nvidia"

Eller

• På et Windows-operativsystem, bruk "Enhetsbehandling" fra kontrollpanelet for å sjekke tilgjengelige GPU-enheter

GPU-en er nå klar for applikasjonsbruk i gjennomgangsmodus.

Feilsøking

Hvis du har fulgt instruksjonene ovenfor og VM-en fortsatt ikke starter opp på riktig måte med enhetene aktivert, kan materialet i denne delen være nyttig. Hvis du har prøvd forslagene nedenfor og fortsatt har problemer, kan du kontakte oss, så kan vi hjelpe deg.
 

Kartlegging Problem:
Hvis du ser en feil som ligner på følgende i VM-ens vmware.log-fil:

BIOS-innstillingene oppfyller ikke ESXi-kravene for å aktivere denne typen gjennomgangsenhet. ESXi 6.0 p4 til ESXi 6.5 krever at minnet som er tilordnet for PCI-enheter, alle er under 16 TB. Det kan være mulig å omgå dette problemet hvis BIOS støtter muligheten til å kontrollere hvor høyt i adresseområdet til vertens minne PCI-minneområder tilordnes. Noen produsenter, for eksempel SuperMicro, har BIOS-alternativer for å endre hvor høyt dette minnet er tilordnet. På SuperMicro-systemer kan MMIOHBase-parameteren endres til en lavere verdi fra standardverdien på 56 TB. Sugon-systemer har også en lignende (skjult) BIOS-innstilling. Kontakt systemleverandøren for å finne ut om BIOS støtter denne funksjonen for ny tilordning. En annen løsning er å oppdatere ESXi-versjonen til 6.5 u1 eller nyere, som har fjernet begrensningen på 16 TB.

Feil konfigurasjon:
En feil i vmware.log filen i følgende skjema:

Angir at du ikke har aktivert tilordninger "over 4 GB" på riktig måte i verts-BIOS som beskrevet i delen "Verts-BIOS" ovenfor, eller ikke angitt VMX-oppføringene på riktig måte.

Kan ikke bruke enheten:
Hvis du har fulgt alle instruksjonene ovenfor og VM-en har startet opp på riktig måte, men du ser en melding som ligner på følgende når du kjører nvidia-smi-verktøyet i gjesteoperativsystemet:

Vi foreslår at du kontakter Nvidia direkte eller utfører et nettsøk ved hjelp av denne strengen for å finne ytterligere informasjon som kan være til hjelp.