PowerEdge: ESXi 7.0 U3 - Netwerkpoort ontbreekt onderbreking en kan koppeling niet initialiseren

Servers waarop een grote hoeveelheid netwerkinterfacekaarten (NIC's) zijn geïnstalleerd, merken dat de link naar de NIC-poorten niet werkt na het opstarten van ESXi 7.0.

De netwerkkaartconfiguratie is als volgt:

Analyse:

1. Bevestigd dat de functionaliteit werkt met de slot7-netwerkkaart door een loopback-test uit te voeren in het BIOS.
2. Logboeken van besturingssysteem verzameld en de vobd Log, ontdekte dat slot7 poort3 en poort4 overeenkomend met VMNIC16 en 17 niet is geregistreerd als een apparaat.
3. Controleer de VMkernel logboek en ontdekte dat de corresponderende hexadecimale ID b4:00.3 gerapporteerd "failed to allocate 64 MSIX interrupts."

OS-versie:

• VMware ESXi 7.0.3 build-23794027
• VMware ESXi 7.0 U3

De informatie over de NIC-driver:

bnxtnet                        231.0.153.0-1OEM.700.1.0.15843807      BCM     VMwareCertified   2025-03-28


180 : 00 : 00        Broadcom Inc. and subsidiaries        NetXtreme-E P425D BCM57504 4x25G SFP28 PCIE        NIC.Slot.7-1-1

180 : 00 : 01        Broadcom Inc. and subsidiaries        NetXtreme-E P425D BCM57504 4x25G SFP28 PCIE        NIC.Slot.7-2-1

180 : 00 : 02        Broadcom Inc. and subsidiaries        NetXtreme-E P425D BCM57504 4x25G SFP28 PCIE        NIC.Slot.7-3-1

180 : 00 : 03        Broadcom Inc. and subsidiaries        NetXtreme-E P425D BCM57504 4x25G SFP28 PCIE        NIC.Slot.7-4-1

vmnic：

0000:b4:00.0 Ethernet controller: Broadcom NetXtreme-E P425D BCM57504 4x25G SFP28 PCIE Ethernet [vmnic14]  in  PCIe Slot 7

0000:b4:00.1 Ethernet controller: Broadcom NetXtreme-E P425D BCM57504 4x25G SFP28 PCIE Ethernet [vmnic15]  in  PCIe Slot 7

0000:b4:00.2 Ethernet controller: Broadcom NetXtreme-E P425D BCM57504 4x25G SFP28 PCIE Ethernet [vmnic16]  in  PCIe Slot 7

0000:b4:00.3 Ethernet controller: Broadcom NetXtreme-E P425D BCM57504 4x25G SFP28 PCIE Ethernet [vmnic17]  in  PCIe Slot 7

vobd log:

2025-04-03T14:58:31.645Z: [netCorrelator] 13121287320us: [vob.net.vmnic.linkstate.up] vmnic vmnic13 linkstate up

2025-04-03T15:03:56.295Z: [netCorrelator] 13445937328us: [vob.net.vmnic.linkstate.down] vmnic vmnic13 linkstate down

2025-04-03T16:57:06.411Z: [netCorrelator] 20236053468us: [vob.net.vmnic.linkstate.up] vmnic vmnic5 linkstate up

2025-04-03T17:25:17.682Z: [netCorrelator] 21927324575us: [vob.net.vmnic.linkstate.up] vmnic vmnic14 linkstate up

2025-04-03T17:26:56.888Z: [netCorrelator] 22026529736us: [vob.net.vmnic.linkstate.up] vmnic vmnic15 linkstate up

VMkernel:

Line 42990: 2025-04-01T18:42:40.775Z cpu47:2097967)WARNING: VMK_PCI: 598: device 0000:b4:00.3 failed to allocate 64 MSIX interrupts

Line 43540: 2025-04-01T18:42:48.232Z cpu2:2099020)WARNING: VMK_PCI: 598: device 0000:b4:00.2 failed to allocate 64 MSIX interrupts

Line 43589: 2025-04-01T18:42:48.378Z cpu2:2099020)WARNING: VMK_PCI: 598: device 0000:b4:00.3 failed to allocate 64 MSIX interrupts

Line 54191: 2025-04-03T11:20:14.710Z cpu0:2097969)WARNING: VMK_PCI: 598: device 0000:b4:00.2 failed to allocate 64 MSIX interrupts

Line 54254: 2025-04-03T11:20:14.767Z cpu6:2097969)WARNING: VMK_PCI: 598: device 0000:b4:00.3 failed to allocate 64 MSIX interrupts

Line 54801: 2025-04-03T11:20:22.225Z cpu48:2099006)WARNING: VMK_PCI: 598: device 0000:b4:00.2 failed to allocate 64 MSIX interrupts

Line 54850: 2025-04-03T11:20:22.398Z cpu48:2099006)WARNING: VMK_PCI: 598: device 0000:b4:00.3 failed to allocate 64 MSIX interrupts

ESXi detecteert niet alle vmnic adapters, maar die vmnic Adapters zijn te zien in "lspci" en niet in esxcfg-nics -l. 

In het vmkernel.log bestand van de ESXi-host, ziet u vermeldingen die vergelijkbaar zijn met:

xxxx:xx:xx.x failed to allocate 64 MSIX interrupts

Zie het Broadcom-kennisartikel MaxIntrCookies verhogen als de standaardlimiet is bereikt in ESXi  

De "maxIntrCookies" standaardwaarde is verhoogd naar 4096 in ESXi versie 8 om dit probleem op te lossen. Host bijwerken "maxIntrCookies" instellingen op 4096 waarbij waarden lager dan 4096 blijken te zijn ingesteld.

Tijdelijke oplossing:
U kunt dit probleem omzeilen door de opstartoptie "maxIntrCookies" naar 4096 om de onderbrekingslimiet te verhogen.

De standaardwaarde voor "maxIntrCookies" is afhankelijk van de gebruikte ESXi-versie en of de waarde voor geavanceerde instellingen handmatig hoger is ingesteld voordat een host werd geüpgraded naar ESXi versie 8 waar de standaardwaarde werd verhoogd.  

• ESXi versie 7.x "maxIntrCookies" standaardwaarde is ingesteld op 1024
• De standaardwaarde in ESXi versie 8 is verhoogd naar 4096.

Opmerking: De maximale interrupt-cookies zijn beperkt tot 4096, zelfs als u deze instelt op een waarde die 4096 is > .
Zie Geavanceerde opties configureren voor ESXi/ESX (310338) voor meer informatie over instructies voor het configureren van opstartopties. 


SSH naar ESXi CLI:

esxcli system settings kernel set -s maxIntrCookies -v 4096

/sbin/auto-backup.sh