PowerEdge: ESXi 7.0 U3 - porta de rede sem interrupção e não é possível inicializar o link

Os servidores com uma grande quantidade de placas de interface de rede (NICs) instaladas notam link inativo nas portas NIC após a inicialização do ESXi 7.0.

A configuração da placa de rede é a seguinte:

Análise:

1. Confirmado que a funcionalidade funciona com a placa de rede slot7 executando um teste de loopback no BIOS.
2. Registros do sistema operacional coletados e análise do vobd log, descobriu que as portas 3 e 4 do slot7 correspondentes a vmnic16 e 17 não estão registradas como um dispositivo.
3. Verifique a coluna VMkernel e descobriu que o ID hexadecimal correspondente b4:00.3 relatou "failed to allocate 64 MSIX interrupts."

Versão do SO:

• VMware ESXi 7.0.3 compilação 23794027
• VMware ESXi 7.0 U3

As informações do driver do NIC:

bnxtnet                        231.0.153.0-1OEM.700.1.0.15843807      BCM     VMwareCertified   2025-03-28


180 : 00 : 00        Broadcom Inc. and subsidiaries        NetXtreme-E P425D BCM57504 4x25G SFP28 PCIE        NIC.Slot.7-1-1

180 : 00 : 01        Broadcom Inc. and subsidiaries        NetXtreme-E P425D BCM57504 4x25G SFP28 PCIE        NIC.Slot.7-2-1

180 : 00 : 02        Broadcom Inc. and subsidiaries        NetXtreme-E P425D BCM57504 4x25G SFP28 PCIE        NIC.Slot.7-3-1

180 : 00 : 03        Broadcom Inc. and subsidiaries        NetXtreme-E P425D BCM57504 4x25G SFP28 PCIE        NIC.Slot.7-4-1

vmnic：

0000:b4:00.0 Ethernet controller: Broadcom NetXtreme-E P425D BCM57504 4x25G SFP28 PCIE Ethernet [vmnic14]  in  PCIe Slot 7

0000:b4:00.1 Ethernet controller: Broadcom NetXtreme-E P425D BCM57504 4x25G SFP28 PCIE Ethernet [vmnic15]  in  PCIe Slot 7

0000:b4:00.2 Ethernet controller: Broadcom NetXtreme-E P425D BCM57504 4x25G SFP28 PCIE Ethernet [vmnic16]  in  PCIe Slot 7

0000:b4:00.3 Ethernet controller: Broadcom NetXtreme-E P425D BCM57504 4x25G SFP28 PCIE Ethernet [vmnic17]  in  PCIe Slot 7

vobd tora:

2025-04-03T14:58:31.645Z: [netCorrelator] 13121287320us: [vob.net.vmnic.linkstate.up] vmnic vmnic13 linkstate up

2025-04-03T15:03:56.295Z: [netCorrelator] 13445937328us: [vob.net.vmnic.linkstate.down] vmnic vmnic13 linkstate down

2025-04-03T16:57:06.411Z: [netCorrelator] 20236053468us: [vob.net.vmnic.linkstate.up] vmnic vmnic5 linkstate up

2025-04-03T17:25:17.682Z: [netCorrelator] 21927324575us: [vob.net.vmnic.linkstate.up] vmnic vmnic14 linkstate up

2025-04-03T17:26:56.888Z: [netCorrelator] 22026529736us: [vob.net.vmnic.linkstate.up] vmnic vmnic15 linkstate up

VMkernel:

Line 42990: 2025-04-01T18:42:40.775Z cpu47:2097967)WARNING: VMK_PCI: 598: device 0000:b4:00.3 failed to allocate 64 MSIX interrupts

Line 43540: 2025-04-01T18:42:48.232Z cpu2:2099020)WARNING: VMK_PCI: 598: device 0000:b4:00.2 failed to allocate 64 MSIX interrupts

Line 43589: 2025-04-01T18:42:48.378Z cpu2:2099020)WARNING: VMK_PCI: 598: device 0000:b4:00.3 failed to allocate 64 MSIX interrupts

Line 54191: 2025-04-03T11:20:14.710Z cpu0:2097969)WARNING: VMK_PCI: 598: device 0000:b4:00.2 failed to allocate 64 MSIX interrupts

Line 54254: 2025-04-03T11:20:14.767Z cpu6:2097969)WARNING: VMK_PCI: 598: device 0000:b4:00.3 failed to allocate 64 MSIX interrupts

Line 54801: 2025-04-03T11:20:22.225Z cpu48:2099006)WARNING: VMK_PCI: 598: device 0000:b4:00.2 failed to allocate 64 MSIX interrupts

Line 54850: 2025-04-03T11:20:22.398Z cpu48:2099006)WARNING: VMK_PCI: 598: device 0000:b4:00.3 failed to allocate 64 MSIX interrupts

O ESXi não detecta todos os vmnic adaptadores, mas, aqueles vmnic adaptadores são vistos em "lspci" e não em esxcfg-nics -l. 

No vmkernel.log do host do ESXi, você verá entradas semelhantes a:

xxxx:xx:xx.x failed to allocate 64 MSIX interrupts

Consulte o artigo de conhecimento da Broadcom Como aumentar maxIntrCookies se o limite padrão for atingido no ESXi  

O "maxIntrCookies" valor padrão foi aumentado para 4096 no ESXi versão 8 para resolver esse problema. Atualize o host "maxIntrCookies" para 4096, onde os valores devem ser definidos abaixo de 4096.

Solução temporária:
Para contornar esse problema, ajuste a opção de inicialização "maxIntrCookies" para 4096 para aumentar o limite de interrupção.

O valor padrão para "maxIntrCookies" depende da versão do ESXi em uso e se o valor das configurações avançadas foi definido manualmente mais alto antes de um host ser atualizado para a versão 8 do ESXi, em que o valor padrão foi aumentado.  

• O valor padrão "maxIntrCookies" do ESXi versão 7.x está definido como 1024
• O valor padrão no ESXi versão 8 foi aumentado para 4096.

Nota: Os cookies de interrupção máxima são limitados a 4096, mesmo se você defini-los para um valor que é > 4096.
Para obter mais informações sobre instruções sobre como configurar opções de inicialização, consulte Configurando opções avançadas para ESXi/ESX (310338). 


SSH para CLI do ESXi:

esxcli system settings kernel set -s maxIntrCookies -v 4096

/sbin/auto-backup.sh