PowerEdge: ESXi 7.0 U3 - Interruzione mancante della porta di rete e impossibile inizializzare il link

I server con una grande quantità di schede di interfaccia di rete (NIC) installate notano un collegamento inattivo sulle porte delle schede di rete dopo l'avvio di ESXi 7.0.

La configurazione della scheda di rete è la seguente:

Analisi:

1. Confermato che la funzionalità funziona con la scheda di rete slot7 eseguendo un test di loopback nel BIOS.
2. Raccolta dei registri del sistema operativo e analisi delle vobd Log, ha rilevato che le porte 3 e 4 di slot7 corrispondenti a VMNIC16 e 17 non sono registrate come dispositivo.
3. Controllare la colonna VMkernel log e ha rilevato che l'ID esadecimale corrispondente b4:00.3 segnalato "failed to allocate 64 MSIX interrupts".

Versione SO:

• VMware ESXi 7.0.3 build - 23794027
• VMware ESXi 7.0 U3

Informazioni sul driver della scheda di rete:

bnxtnet                        231.0.153.0-1OEM.700.1.0.15843807      BCM     VMwareCertified   2025-03-28


180 : 00 : 00        Broadcom Inc. and subsidiaries        NetXtreme-E P425D BCM57504 4x25G SFP28 PCIE        NIC.Slot.7-1-1

180 : 00 : 01        Broadcom Inc. and subsidiaries        NetXtreme-E P425D BCM57504 4x25G SFP28 PCIE        NIC.Slot.7-2-1

180 : 00 : 02        Broadcom Inc. and subsidiaries        NetXtreme-E P425D BCM57504 4x25G SFP28 PCIE        NIC.Slot.7-3-1

180 : 00 : 03        Broadcom Inc. and subsidiaries        NetXtreme-E P425D BCM57504 4x25G SFP28 PCIE        NIC.Slot.7-4-1

vmnic：

0000:b4:00.0 Ethernet controller: Broadcom NetXtreme-E P425D BCM57504 4x25G SFP28 PCIE Ethernet [vmnic14]  in  PCIe Slot 7

0000:b4:00.1 Ethernet controller: Broadcom NetXtreme-E P425D BCM57504 4x25G SFP28 PCIE Ethernet [vmnic15]  in  PCIe Slot 7

0000:b4:00.2 Ethernet controller: Broadcom NetXtreme-E P425D BCM57504 4x25G SFP28 PCIE Ethernet [vmnic16]  in  PCIe Slot 7

0000:b4:00.3 Ethernet controller: Broadcom NetXtreme-E P425D BCM57504 4x25G SFP28 PCIE Ethernet [vmnic17]  in  PCIe Slot 7

vobd registro:

2025-04-03T14:58:31.645Z: [netCorrelator] 13121287320us: [vob.net.vmnic.linkstate.up] vmnic vmnic13 linkstate up

2025-04-03T15:03:56.295Z: [netCorrelator] 13445937328us: [vob.net.vmnic.linkstate.down] vmnic vmnic13 linkstate down

2025-04-03T16:57:06.411Z: [netCorrelator] 20236053468us: [vob.net.vmnic.linkstate.up] vmnic vmnic5 linkstate up

2025-04-03T17:25:17.682Z: [netCorrelator] 21927324575us: [vob.net.vmnic.linkstate.up] vmnic vmnic14 linkstate up

2025-04-03T17:26:56.888Z: [netCorrelator] 22026529736us: [vob.net.vmnic.linkstate.up] vmnic vmnic15 linkstate up

VMkernel:

Line 42990: 2025-04-01T18:42:40.775Z cpu47:2097967)WARNING: VMK_PCI: 598: device 0000:b4:00.3 failed to allocate 64 MSIX interrupts

Line 43540: 2025-04-01T18:42:48.232Z cpu2:2099020)WARNING: VMK_PCI: 598: device 0000:b4:00.2 failed to allocate 64 MSIX interrupts

Line 43589: 2025-04-01T18:42:48.378Z cpu2:2099020)WARNING: VMK_PCI: 598: device 0000:b4:00.3 failed to allocate 64 MSIX interrupts

Line 54191: 2025-04-03T11:20:14.710Z cpu0:2097969)WARNING: VMK_PCI: 598: device 0000:b4:00.2 failed to allocate 64 MSIX interrupts

Line 54254: 2025-04-03T11:20:14.767Z cpu6:2097969)WARNING: VMK_PCI: 598: device 0000:b4:00.3 failed to allocate 64 MSIX interrupts

Line 54801: 2025-04-03T11:20:22.225Z cpu48:2099006)WARNING: VMK_PCI: 598: device 0000:b4:00.2 failed to allocate 64 MSIX interrupts

Line 54850: 2025-04-03T11:20:22.398Z cpu48:2099006)WARNING: VMK_PCI: 598: device 0000:b4:00.3 failed to allocate 64 MSIX interrupts

ESXi non rileva tutte le vmnic adattatori, ma, quelli vmnic gli adattatori sono visualizzati in "lspci" e non in esxcfg-nics -l. 

Nel vmkernel.log dell'host ESXi, vengono visualizzate voci simili a:

xxxx:xx:xx.x failed to allocate 64 MSIX interrupts

Consultare l'articolo della knowledgebase di Broadcom Come aumentare maxIntrCookies se viene raggiunto il limite predefinito in ESXi  

Il file "maxIntrCookies" Il valore predefinito è stato aumentato a 4096 in ESXi versione 8 per risolvere questo problema. Aggiorna host "maxIntrCookies" imposta su 4096 dove i valori risultano impostati al di sotto di 4096.

Soluzione alternativa:
Per risolvere questo problema, regolare l'opzione di avvio "maxIntrCookies" a 4096 per aumentare il limite di interrupt.

Il valore predefinito per "maxIntrCookies" dipende dalla versione di ESXi in uso e dal fatto che il valore delle impostazioni avanzate sia stato impostato manualmente su un valore superiore prima dell'aggiornamento di un host alla versione 8 di ESXi in cui il valore predefinito è stato aumentato.  

• Il valore predefinito "maxIntrCookies" di ESXi versione 7.x è impostato su 1024
• Il valore predefinito in ESXi versione 8 è stato aumentato a 4096.

Nota: Il numero massimo di cookie di interrupt è limitato a 4096 anche se viene impostato su un valore pari > a 4096.
Per ulteriori informazioni sulle istruzioni su come configurare le opzioni di avvio, vedere Configurazione delle opzioni avanzate per ESXi/ESX (310338). 


Da SSH a CLI ESXi:

esxcli system settings kernel set -s maxIntrCookies -v 4096

/sbin/auto-backup.sh