PowerEdge: ESXi 7.0 U3 - мережевий порт не перериває переривання та не може ініціалізувати посилання

Сервери з великою кількістю встановлених мережевих інтерфейсних карт (NIC) помічають падіння з'єднання на портах NIC після завантаження ESXi 7.0.

Конфігурація мережевої карти виглядає наступним чином:

Аналіз:

1. Підтверджено, що функціонал працює з мережевою картою slot7, виконавши тест loopback в BIOS.
2. Зібрали логи ОС і проаналізували vobd log, виявив, що порт 3 і порт 4 слота 7, що відповідають VMNIC16 і 17, не зареєстровані як пристрій.
3. Перевірте VMkernel log і виявив, що відповідний шістнадцятковий ідентифікатор b4:00.3 Про це повідомляє "failed to allocate 64 MSIX interrupts."

Версія ОС:

• VMware ESXi 7.0.3 build-23794027
• VMware ESXi 7.0 U3

Інформація про драйвер NIC:

bnxtnet                        231.0.153.0-1OEM.700.1.0.15843807      BCM     VMwareCertified   2025-03-28


180 : 00 : 00        Broadcom Inc. and subsidiaries        NetXtreme-E P425D BCM57504 4x25G SFP28 PCIE        NIC.Slot.7-1-1

180 : 00 : 01        Broadcom Inc. and subsidiaries        NetXtreme-E P425D BCM57504 4x25G SFP28 PCIE        NIC.Slot.7-2-1

180 : 00 : 02        Broadcom Inc. and subsidiaries        NetXtreme-E P425D BCM57504 4x25G SFP28 PCIE        NIC.Slot.7-3-1

180 : 00 : 03        Broadcom Inc. and subsidiaries        NetXtreme-E P425D BCM57504 4x25G SFP28 PCIE        NIC.Slot.7-4-1

vmnic：

0000:b4:00.0 Ethernet controller: Broadcom NetXtreme-E P425D BCM57504 4x25G SFP28 PCIE Ethernet [vmnic14]  in  PCIe Slot 7

0000:b4:00.1 Ethernet controller: Broadcom NetXtreme-E P425D BCM57504 4x25G SFP28 PCIE Ethernet [vmnic15]  in  PCIe Slot 7

0000:b4:00.2 Ethernet controller: Broadcom NetXtreme-E P425D BCM57504 4x25G SFP28 PCIE Ethernet [vmnic16]  in  PCIe Slot 7

0000:b4:00.3 Ethernet controller: Broadcom NetXtreme-E P425D BCM57504 4x25G SFP28 PCIE Ethernet [vmnic17]  in  PCIe Slot 7

vobd журнал:

2025-04-03T14:58:31.645Z: [netCorrelator] 13121287320us: [vob.net.vmnic.linkstate.up] vmnic vmnic13 linkstate up

2025-04-03T15:03:56.295Z: [netCorrelator] 13445937328us: [vob.net.vmnic.linkstate.down] vmnic vmnic13 linkstate down

2025-04-03T16:57:06.411Z: [netCorrelator] 20236053468us: [vob.net.vmnic.linkstate.up] vmnic vmnic5 linkstate up

2025-04-03T17:25:17.682Z: [netCorrelator] 21927324575us: [vob.net.vmnic.linkstate.up] vmnic vmnic14 linkstate up

2025-04-03T17:26:56.888Z: [netCorrelator] 22026529736us: [vob.net.vmnic.linkstate.up] vmnic vmnic15 linkstate up

Ядро ВМ:

Line 42990: 2025-04-01T18:42:40.775Z cpu47:2097967)WARNING: VMK_PCI: 598: device 0000:b4:00.3 failed to allocate 64 MSIX interrupts

Line 43540: 2025-04-01T18:42:48.232Z cpu2:2099020)WARNING: VMK_PCI: 598: device 0000:b4:00.2 failed to allocate 64 MSIX interrupts

Line 43589: 2025-04-01T18:42:48.378Z cpu2:2099020)WARNING: VMK_PCI: 598: device 0000:b4:00.3 failed to allocate 64 MSIX interrupts

Line 54191: 2025-04-03T11:20:14.710Z cpu0:2097969)WARNING: VMK_PCI: 598: device 0000:b4:00.2 failed to allocate 64 MSIX interrupts

Line 54254: 2025-04-03T11:20:14.767Z cpu6:2097969)WARNING: VMK_PCI: 598: device 0000:b4:00.3 failed to allocate 64 MSIX interrupts

Line 54801: 2025-04-03T11:20:22.225Z cpu48:2099006)WARNING: VMK_PCI: 598: device 0000:b4:00.2 failed to allocate 64 MSIX interrupts

Line 54850: 2025-04-03T11:20:22.398Z cpu48:2099006)WARNING: VMK_PCI: 598: device 0000:b4:00.3 failed to allocate 64 MSIX interrupts

ESXi не виявляє всі vmnic перехідники, але, ті vmnic перехідники видно в "lspci», а не в esxcfg-nics -l. 

У файлі vmkernel.log файлу хоста ESXi, ви бачите записи, схожі на:

xxxx:xx:xx.x failed to allocate 64 MSIX interrupts

Дивіться статтю знань Broadcom Як збільшити maxIntrCookies, якщо в ESXi  

досягнуто ліміту за замовчуваннямmaxIntrCookies" значення за замовчуванням було збільшено до 4096 у версії ESXi 8, щоб вирішити цю проблему. Оновити хост "maxIntrCookies" на 4096, де виявлено, що значення встановлені нижче 4096.

Спосіб вирішення:
Щоб обійти цю проблему, відрегулюйте параметр завантаження "maxIntrCookies" до 4096, щоб збільшити ліміт переривань.

Значення за замовчуванням для "maxIntrCookies" залежить від використовуваної версії ESXi та від того, чи було вручну встановлено вище значення додаткових налаштувань перед оновленням хоста до версії ESXi 8, де значення за замовчуванням було збільшено.  

• Значення за замовчуванням ESXi версії 7.x "maxIntrCookies" встановлено на 1024
• Значення за замовчуванням у версії ESXi 8 було збільшено до 4096.

Примітка: Максимальна кількість файлів cookie для переривання обмежена 4096, навіть якщо ви встановили > значення 4096.
Докладнішу інформацію про інструкції щодо налаштування параметрів завантаження наведено в статті Налаштування додаткових параметрів для ESXi/ESX (310338). 


Від SSH до ESXi CLI:

esxcli system settings kernel set -s maxIntrCookies -v 4096

/sbin/auto-backup.sh