PowerEdge. ESXi 7.0 U3 — сетевому порту не хватает прерывания и невозможно инициализировать соединение

Серверы с большим количеством установленных сетевых плат (NIC) замечают потерю соединения на портах сетевых плат после загрузки ESXi 7.0.

Сетевая плата имеет следующую конфигурацию:

Анализ.

1. Подтверждена, что эта функция работает с сетевой платой slot7, выполнив замыкание на себя в BIOS.
2. Собрали журналы ОС и проанализировали vobd В журнале обнаружено, что порты слотов 7 port3 и 4, соответствующие vmnic16 и 17, не зарегистрированы как устройство.
3. Проверьте файл VMkernel log и обнаружил, что соответствующий шестнадцатеричный идентификатор b4:00.3 сообщил "failed to allocate 64 MSIX interrupts».

Версия ОС:

• VMware ESXi 7.0.3 build-23794027
• VMware ESXi 7.0 U3

Информация о драйвере сетевой платы:

bnxtnet                        231.0.153.0-1OEM.700.1.0.15843807      BCM     VMwareCertified   2025-03-28


180 : 00 : 00        Broadcom Inc. and subsidiaries        NetXtreme-E P425D BCM57504 4x25G SFP28 PCIE        NIC.Slot.7-1-1

180 : 00 : 01        Broadcom Inc. and subsidiaries        NetXtreme-E P425D BCM57504 4x25G SFP28 PCIE        NIC.Slot.7-2-1

180 : 00 : 02        Broadcom Inc. and subsidiaries        NetXtreme-E P425D BCM57504 4x25G SFP28 PCIE        NIC.Slot.7-3-1

180 : 00 : 03        Broadcom Inc. and subsidiaries        NetXtreme-E P425D BCM57504 4x25G SFP28 PCIE        NIC.Slot.7-4-1

vmnic：

0000:b4:00.0 Ethernet controller: Broadcom NetXtreme-E P425D BCM57504 4x25G SFP28 PCIE Ethernet [vmnic14]  in  PCIe Slot 7

0000:b4:00.1 Ethernet controller: Broadcom NetXtreme-E P425D BCM57504 4x25G SFP28 PCIE Ethernet [vmnic15]  in  PCIe Slot 7

0000:b4:00.2 Ethernet controller: Broadcom NetXtreme-E P425D BCM57504 4x25G SFP28 PCIE Ethernet [vmnic16]  in  PCIe Slot 7

0000:b4:00.3 Ethernet controller: Broadcom NetXtreme-E P425D BCM57504 4x25G SFP28 PCIE Ethernet [vmnic17]  in  PCIe Slot 7

vobd журнал:

2025-04-03T14:58:31.645Z: [netCorrelator] 13121287320us: [vob.net.vmnic.linkstate.up] vmnic vmnic13 linkstate up

2025-04-03T15:03:56.295Z: [netCorrelator] 13445937328us: [vob.net.vmnic.linkstate.down] vmnic vmnic13 linkstate down

2025-04-03T16:57:06.411Z: [netCorrelator] 20236053468us: [vob.net.vmnic.linkstate.up] vmnic vmnic5 linkstate up

2025-04-03T17:25:17.682Z: [netCorrelator] 21927324575us: [vob.net.vmnic.linkstate.up] vmnic vmnic14 linkstate up

2025-04-03T17:26:56.888Z: [netCorrelator] 22026529736us: [vob.net.vmnic.linkstate.up] vmnic vmnic15 linkstate up

VMkernel:

Line 42990: 2025-04-01T18:42:40.775Z cpu47:2097967)WARNING: VMK_PCI: 598: device 0000:b4:00.3 failed to allocate 64 MSIX interrupts

Line 43540: 2025-04-01T18:42:48.232Z cpu2:2099020)WARNING: VMK_PCI: 598: device 0000:b4:00.2 failed to allocate 64 MSIX interrupts

Line 43589: 2025-04-01T18:42:48.378Z cpu2:2099020)WARNING: VMK_PCI: 598: device 0000:b4:00.3 failed to allocate 64 MSIX interrupts

Line 54191: 2025-04-03T11:20:14.710Z cpu0:2097969)WARNING: VMK_PCI: 598: device 0000:b4:00.2 failed to allocate 64 MSIX interrupts

Line 54254: 2025-04-03T11:20:14.767Z cpu6:2097969)WARNING: VMK_PCI: 598: device 0000:b4:00.3 failed to allocate 64 MSIX interrupts

Line 54801: 2025-04-03T11:20:22.225Z cpu48:2099006)WARNING: VMK_PCI: 598: device 0000:b4:00.2 failed to allocate 64 MSIX interrupts

Line 54850: 2025-04-03T11:20:22.398Z cpu48:2099006)WARNING: VMK_PCI: 598: device 0000:b4:00.3 failed to allocate 64 MSIX interrupts

ESXi не обнаруживает все vmnic адаптеры, но, те vmnic Адаптеры можно увидеть в "lspci" и не в esxcfg-nics -l. 

В vmkernel.log хоста ESXi, вы увидите записи, аналогичные следующим:

xxxx:xx:xx.x failed to allocate 64 MSIX interrupts

См. статью базы знаний Broadcom Как увеличить maxIntrCookies при достижении лимита по умолчанию в ESXi  

«maxIntrCookies" значение по умолчанию было увеличено до 4096 в ESXi версии 8 для решения этой проблемы. Обновить хост "maxIntrCookies" на 4096, где установлено значение ниже 4096.

Временное решение.
Чтобы обойти эту проблему, настройте параметр загрузки «maxIntrCookies" до 4096, чтобы увеличить лимит прерываний.

Значение по умолчанию для "maxIntrCookies» зависит от используемой версии ESXi и от того, было ли вручную установлено более высокое значение расширенных настроек перед модернизацией хоста до версии ESXi 8, где значение по умолчанию было увеличено.  

• Для параметра «maxIntrCookies» версии 7.x в ESXi по умолчанию установлено значение 1024
• Значение по умолчанию в ESXi версии 8 увеличено до 4096.

Примечание. Максимальное количество файлов cookie прерывания ограничено 4096, даже если задано значение > 4096.
Дополнительные сведения о настройке параметров загрузки см. в разделе Настройка дополнительных параметров для ESXi/ESX (310338). 


Подключение через SSH к интерфейсу командной строки ESXi:

esxcli system settings kernel set -s maxIntrCookies -v 4096

/sbin/auto-backup.sh