PowerEdge: ESXi 7.0 U3 - Netværksport mangler afbrydelse og kan ikke initialisere link

Servere med en stor mængde netværkskort (NIC er) installeret bemærker link down på NIC-porte efter opstart af ESXi 7.0.

Netværkskortkonfigurationen er som følger:

Analyse:

1. Bekræftede, at funktionaliteten fungerer med slot7-netværkskort ved at udføre en loopback-test i BIOS.
2. Indsamlede OS-logfiler og analyserede vobd log, fandt ud af, at slot7-port3 og port4, der svarer til VMNIC16 og 17, ikke er registreret som en enhed.
3. Tjek VMkernel logge og fandt, at det tilsvarende hexadecimale id b4:00.3 rapporteret "failed to allocate 64 MSIX interrupts."

OS-version:

• VMware ESXi 7.0.3 build-23794027
• VMware ESXi 7.0 U3

Oplysninger om NIC-driver:

bnxtnet                        231.0.153.0-1OEM.700.1.0.15843807      BCM     VMwareCertified   2025-03-28


180 : 00 : 00        Broadcom Inc. and subsidiaries        NetXtreme-E P425D BCM57504 4x25G SFP28 PCIE        NIC.Slot.7-1-1

180 : 00 : 01        Broadcom Inc. and subsidiaries        NetXtreme-E P425D BCM57504 4x25G SFP28 PCIE        NIC.Slot.7-2-1

180 : 00 : 02        Broadcom Inc. and subsidiaries        NetXtreme-E P425D BCM57504 4x25G SFP28 PCIE        NIC.Slot.7-3-1

180 : 00 : 03        Broadcom Inc. and subsidiaries        NetXtreme-E P425D BCM57504 4x25G SFP28 PCIE        NIC.Slot.7-4-1

vmnic：

0000:b4:00.0 Ethernet controller: Broadcom NetXtreme-E P425D BCM57504 4x25G SFP28 PCIE Ethernet [vmnic14]  in  PCIe Slot 7

0000:b4:00.1 Ethernet controller: Broadcom NetXtreme-E P425D BCM57504 4x25G SFP28 PCIE Ethernet [vmnic15]  in  PCIe Slot 7

0000:b4:00.2 Ethernet controller: Broadcom NetXtreme-E P425D BCM57504 4x25G SFP28 PCIE Ethernet [vmnic16]  in  PCIe Slot 7

0000:b4:00.3 Ethernet controller: Broadcom NetXtreme-E P425D BCM57504 4x25G SFP28 PCIE Ethernet [vmnic17]  in  PCIe Slot 7

vobd log:

2025-04-03T14:58:31.645Z: [netCorrelator] 13121287320us: [vob.net.vmnic.linkstate.up] vmnic vmnic13 linkstate up

2025-04-03T15:03:56.295Z: [netCorrelator] 13445937328us: [vob.net.vmnic.linkstate.down] vmnic vmnic13 linkstate down

2025-04-03T16:57:06.411Z: [netCorrelator] 20236053468us: [vob.net.vmnic.linkstate.up] vmnic vmnic5 linkstate up

2025-04-03T17:25:17.682Z: [netCorrelator] 21927324575us: [vob.net.vmnic.linkstate.up] vmnic vmnic14 linkstate up

2025-04-03T17:26:56.888Z: [netCorrelator] 22026529736us: [vob.net.vmnic.linkstate.up] vmnic vmnic15 linkstate up

VMkernel:

Line 42990: 2025-04-01T18:42:40.775Z cpu47:2097967)WARNING: VMK_PCI: 598: device 0000:b4:00.3 failed to allocate 64 MSIX interrupts

Line 43540: 2025-04-01T18:42:48.232Z cpu2:2099020)WARNING: VMK_PCI: 598: device 0000:b4:00.2 failed to allocate 64 MSIX interrupts

Line 43589: 2025-04-01T18:42:48.378Z cpu2:2099020)WARNING: VMK_PCI: 598: device 0000:b4:00.3 failed to allocate 64 MSIX interrupts

Line 54191: 2025-04-03T11:20:14.710Z cpu0:2097969)WARNING: VMK_PCI: 598: device 0000:b4:00.2 failed to allocate 64 MSIX interrupts

Line 54254: 2025-04-03T11:20:14.767Z cpu6:2097969)WARNING: VMK_PCI: 598: device 0000:b4:00.3 failed to allocate 64 MSIX interrupts

Line 54801: 2025-04-03T11:20:22.225Z cpu48:2099006)WARNING: VMK_PCI: 598: device 0000:b4:00.2 failed to allocate 64 MSIX interrupts

Line 54850: 2025-04-03T11:20:22.398Z cpu48:2099006)WARNING: VMK_PCI: 598: device 0000:b4:00.3 failed to allocate 64 MSIX interrupts

ESXi registrerer ikke alle vmnic Adaptere, men de vmnic Adaptere ses i "lspci" og ikke i esxcfg-nics -l. 

I vmkernel.log fil af ESXi-værten, kan du se poster, der ligner:

xxxx:xx:xx.x failed to allocate 64 MSIX interrupts

Se Broadcoms vidensartikel Sådan øges maxIntrCookies, hvis standardgrænsen nås i ESXi  

"maxIntrCookies" standardværdien blev øget til 4096 i ESXi version 8 for at løse dette problem. Opdater vært "maxIntrCookies" til 4096, hvor værdierne viser sig at være indstillet til under 4096.

Løsning:
Du kan løse problemet ved at justere startindstillingen "maxIntrCookies" til 4096 for at øge afbrydelsesgrænsen.

Standardværdien for "maxIntrCookies" afhænger af den anvendte ESXi-version, og om værdien for avancerede indstillinger manuelt blev sat højere, før en vært blev opgraderet til ESXi version 8, hvor standardværdien blev forøget.  

• ESXi version 7.x "maxIntrCookies" standardværdien er indstillet til 1024
• Standardværdien i ESXi version 8 blev øget til 4096.

Bemærk: Det maksimale antal afbrydelsescookies er begrænset til 4096, selvom du indstiller det til en værdi, der er > 4096.
Du kan finde flere oplysninger om instruktioner i, hvordan du konfigurerer startindstillinger, under Konfiguration af avancerede indstillinger for ESXi/ESX (310338). 


SSH til ESXi CLI:

esxcli system settings kernel set -s maxIntrCookies -v 4096

/sbin/auto-backup.sh