PowerEdge: ESXi 7.0 U3 — port sieciowy nie przerywa i nie może zainicjować łącza

Serwery z dużą liczbą zainstalowanych kart interfejsu sieciowego (NIC) zauważają brak łącza na portach kart sieciowych po uruchomieniu oprogramowania ESXi 7.0.

Konfiguracja karty sieciowej jest następująca:

Analiza:

1. Potwierdzono, że funkcja działa z kartą sieciową gniazda 7, przeprowadzając test pętli zwrotnej w systemie BIOS.
2. Zebrano dzienniki systemu operacyjnego i przeanalizowano vobd Log wykrył, że gniazdo 7 port3 i port 4 odpowiadające vmnic16 i 17 nie jest zarejestrowane jako urządzenie.
3. Sprawdź kolumnę VMkernel log i stwierdził, że odpowiedni identyfikator szesnastkowy b4:00.3 zgłoszono "failed to allocate 64 MSIX interrupts”.

Wersja systemu operacyjnego:

• VMware ESXi 7.0.3, kompilacja-23794027
• VMware ESXi 7.0 U3

Informacje o sterowniku karty sieciowej:

bnxtnet                        231.0.153.0-1OEM.700.1.0.15843807      BCM     VMwareCertified   2025-03-28


180 : 00 : 00        Broadcom Inc. and subsidiaries        NetXtreme-E P425D BCM57504 4x25G SFP28 PCIE        NIC.Slot.7-1-1

180 : 00 : 01        Broadcom Inc. and subsidiaries        NetXtreme-E P425D BCM57504 4x25G SFP28 PCIE        NIC.Slot.7-2-1

180 : 00 : 02        Broadcom Inc. and subsidiaries        NetXtreme-E P425D BCM57504 4x25G SFP28 PCIE        NIC.Slot.7-3-1

180 : 00 : 03        Broadcom Inc. and subsidiaries        NetXtreme-E P425D BCM57504 4x25G SFP28 PCIE        NIC.Slot.7-4-1

vmnic：

0000:b4:00.0 Ethernet controller: Broadcom NetXtreme-E P425D BCM57504 4x25G SFP28 PCIE Ethernet [vmnic14]  in  PCIe Slot 7

0000:b4:00.1 Ethernet controller: Broadcom NetXtreme-E P425D BCM57504 4x25G SFP28 PCIE Ethernet [vmnic15]  in  PCIe Slot 7

0000:b4:00.2 Ethernet controller: Broadcom NetXtreme-E P425D BCM57504 4x25G SFP28 PCIE Ethernet [vmnic16]  in  PCIe Slot 7

0000:b4:00.3 Ethernet controller: Broadcom NetXtreme-E P425D BCM57504 4x25G SFP28 PCIE Ethernet [vmnic17]  in  PCIe Slot 7

vobd dziennik:

2025-04-03T14:58:31.645Z: [netCorrelator] 13121287320us: [vob.net.vmnic.linkstate.up] vmnic vmnic13 linkstate up

2025-04-03T15:03:56.295Z: [netCorrelator] 13445937328us: [vob.net.vmnic.linkstate.down] vmnic vmnic13 linkstate down

2025-04-03T16:57:06.411Z: [netCorrelator] 20236053468us: [vob.net.vmnic.linkstate.up] vmnic vmnic5 linkstate up

2025-04-03T17:25:17.682Z: [netCorrelator] 21927324575us: [vob.net.vmnic.linkstate.up] vmnic vmnic14 linkstate up

2025-04-03T17:26:56.888Z: [netCorrelator] 22026529736us: [vob.net.vmnic.linkstate.up] vmnic vmnic15 linkstate up

Jądro VMkernel:

Line 42990: 2025-04-01T18:42:40.775Z cpu47:2097967)WARNING: VMK_PCI: 598: device 0000:b4:00.3 failed to allocate 64 MSIX interrupts

Line 43540: 2025-04-01T18:42:48.232Z cpu2:2099020)WARNING: VMK_PCI: 598: device 0000:b4:00.2 failed to allocate 64 MSIX interrupts

Line 43589: 2025-04-01T18:42:48.378Z cpu2:2099020)WARNING: VMK_PCI: 598: device 0000:b4:00.3 failed to allocate 64 MSIX interrupts

Line 54191: 2025-04-03T11:20:14.710Z cpu0:2097969)WARNING: VMK_PCI: 598: device 0000:b4:00.2 failed to allocate 64 MSIX interrupts

Line 54254: 2025-04-03T11:20:14.767Z cpu6:2097969)WARNING: VMK_PCI: 598: device 0000:b4:00.3 failed to allocate 64 MSIX interrupts

Line 54801: 2025-04-03T11:20:22.225Z cpu48:2099006)WARNING: VMK_PCI: 598: device 0000:b4:00.2 failed to allocate 64 MSIX interrupts

Line 54850: 2025-04-03T11:20:22.398Z cpu48:2099006)WARNING: VMK_PCI: 598: device 0000:b4:00.3 failed to allocate 64 MSIX interrupts

ESXi nie wykrywa wszystkich vmnic adaptery, ale te vmnic Adaptery są widoczne w "lspci", a nie w esxcfg-nics -l. 

W vmkernel.log hosta ESXi, zobaczysz wpisy podobne do:

xxxx:xx:xx.x failed to allocate 64 MSIX interrupts

Zapoznaj się z artykułem bazy wiedzy firmy Broadcom Jak zwiększyć wartość maxIntrCookies, jeśli w oprogramowaniu ESXi  

osiągnięto domyślny limit, w pliku "maxIntrCookiesAby rozwiązać ten problem, wartość domyślna " została zwiększona do 4096 w oprogramowaniu ESXi w wersji 8. Aktualizuj hosta "maxIntrCookies" ustawienia na 4096, gdzie okazuje się, że wartości są ustawione poniżej 4096.

Obejście problemu:
Aby obejść ten problem, dostosuj opcję rozruchu "maxIntrCookies" na 4096, aby zwiększyć limit przerwań.

Domyślna wartość dla "maxIntrCookies" zależy od używanej wersji oprogramowania ESXi oraz od tego, czy wartość ustawień zaawansowanych została ręcznie ustawiona na wyższą przed uaktualnieniem hosta do wersji ESXi 8, w której zwiększono wartość domyślną.  

• Wartość domyślna "maxIntrCookies" systemu ESXi w wersji 7.x to 1024.
• Wartość domyślna w oprogramowaniu ESXi w wersji 8 została zwiększona do 4096.

Uwaga: Maksymalna liczba przerwań plików cookie jest ograniczona do 4096, nawet jeśli ustawisz ją na wartość > 4096.
Aby uzyskać więcej informacji na temat instrukcji konfigurowania opcji rozruchu, patrz Konfigurowanie zaawansowanych opcji ESXi/ESX (310338). 


Za pomocą protokołu SSH do interfejsu wiersza polecenia ESXi:

esxcli system settings kernel set -s maxIntrCookies -v 4096

/sbin/auto-backup.sh