PowerEdge: ESXi 7.0 U3 - 네트워크 포트에 인터럽트 누락 및 링크를 초기화할 수 없음

많은 양의 NIC(Network Interface Card)가 설치된 서버에서 ESXi 7.0을 부팅한 후 NIC 포트에서 링크 다운이 발생합니다.

네트워크 카드 구성은 다음과 같습니다.

분석:

1. BIOS에서 루프백 테스트를 수행하여 슬롯 7 네트워크 카드에서 기능이 작동하는지 확인했습니다.
2. OS 로그를 수집하고 vobd 로그에서 vmnic16 및 17에 해당하는 slot7 port3 및 port4가 디바이스로 등록되지 않은 것을 발견했습니다.
3. 각 노드 풀을 VMkernel 로그 및 해당 16진수 ID를 찾았습니다. b4:00.3 보고되었습니다 "failed to allocate 64 MSIX interrupts"로 변경되었습니다.

OS 버전:

• VMware ESXi 7.0.3 빌드-23794027
• VMware ESXi 7.0 U3

NIC 드라이버 정보:

bnxtnet                        231.0.153.0-1OEM.700.1.0.15843807      BCM     VMwareCertified   2025-03-28


180 : 00 : 00        Broadcom Inc. and subsidiaries        NetXtreme-E P425D BCM57504 4x25G SFP28 PCIE        NIC.Slot.7-1-1

180 : 00 : 01        Broadcom Inc. and subsidiaries        NetXtreme-E P425D BCM57504 4x25G SFP28 PCIE        NIC.Slot.7-2-1

180 : 00 : 02        Broadcom Inc. and subsidiaries        NetXtreme-E P425D BCM57504 4x25G SFP28 PCIE        NIC.Slot.7-3-1

180 : 00 : 03        Broadcom Inc. and subsidiaries        NetXtreme-E P425D BCM57504 4x25G SFP28 PCIE        NIC.Slot.7-4-1

vmnic：

0000:b4:00.0 Ethernet controller: Broadcom NetXtreme-E P425D BCM57504 4x25G SFP28 PCIE Ethernet [vmnic14]  in  PCIe Slot 7

0000:b4:00.1 Ethernet controller: Broadcom NetXtreme-E P425D BCM57504 4x25G SFP28 PCIE Ethernet [vmnic15]  in  PCIe Slot 7

0000:b4:00.2 Ethernet controller: Broadcom NetXtreme-E P425D BCM57504 4x25G SFP28 PCIE Ethernet [vmnic16]  in  PCIe Slot 7

0000:b4:00.3 Ethernet controller: Broadcom NetXtreme-E P425D BCM57504 4x25G SFP28 PCIE Ethernet [vmnic17]  in  PCIe Slot 7

vobd 로그:

2025-04-03T14:58:31.645Z: [netCorrelator] 13121287320us: [vob.net.vmnic.linkstate.up] vmnic vmnic13 linkstate up

2025-04-03T15:03:56.295Z: [netCorrelator] 13445937328us: [vob.net.vmnic.linkstate.down] vmnic vmnic13 linkstate down

2025-04-03T16:57:06.411Z: [netCorrelator] 20236053468us: [vob.net.vmnic.linkstate.up] vmnic vmnic5 linkstate up

2025-04-03T17:25:17.682Z: [netCorrelator] 21927324575us: [vob.net.vmnic.linkstate.up] vmnic vmnic14 linkstate up

2025-04-03T17:26:56.888Z: [netCorrelator] 22026529736us: [vob.net.vmnic.linkstate.up] vmnic vmnic15 linkstate up

VMkernel:

Line 42990: 2025-04-01T18:42:40.775Z cpu47:2097967)WARNING: VMK_PCI: 598: device 0000:b4:00.3 failed to allocate 64 MSIX interrupts

Line 43540: 2025-04-01T18:42:48.232Z cpu2:2099020)WARNING: VMK_PCI: 598: device 0000:b4:00.2 failed to allocate 64 MSIX interrupts

Line 43589: 2025-04-01T18:42:48.378Z cpu2:2099020)WARNING: VMK_PCI: 598: device 0000:b4:00.3 failed to allocate 64 MSIX interrupts

Line 54191: 2025-04-03T11:20:14.710Z cpu0:2097969)WARNING: VMK_PCI: 598: device 0000:b4:00.2 failed to allocate 64 MSIX interrupts

Line 54254: 2025-04-03T11:20:14.767Z cpu6:2097969)WARNING: VMK_PCI: 598: device 0000:b4:00.3 failed to allocate 64 MSIX interrupts

Line 54801: 2025-04-03T11:20:22.225Z cpu48:2099006)WARNING: VMK_PCI: 598: device 0000:b4:00.2 failed to allocate 64 MSIX interrupts

Line 54850: 2025-04-03T11:20:22.398Z cpu48:2099006)WARNING: VMK_PCI: 598: device 0000:b4:00.3 failed to allocate 64 MSIX interrupts

ESXi가 모든 호스트를 감지하지 못함 vmnic 어댑터가 있지만, vmnic 어댑터는 "lspci" 및 not in esxcfg-nics -l. 

안에 vmkernel.log ESXi 호스트의 파일에 다음과 유사한 항목이 표시됩니다.

xxxx:xx:xx.x failed to allocate 64 MSIX interrupts

Broadcom 기술 자료 문서 ESXi  

에서 기본 제한에 도달한 경우 maxIntrCookies를 늘리는 방법"maxIntrCookies" 기본값이 이 문제를 해결하기 위해 ESXi 버전 8에서 4096으로 증가했습니다. Update host"maxIntrCookies" 설정을 4096으로 설정하면 값이 4096 미만으로 설정됩니다.

해결 방법:
이 문제를 해결하려면 부팅 옵션 "maxIntrCookies"를 4096으로 눌러 인터럽트 제한을 늘립니다.

기본값 "maxIntrCookies"는 사용 중인 ESXi 버전과 호스트를 기본값을 늘린 ESXi 버전 8로 업그레이드하기 전에 고급 설정 값을 수동으로 더 높게 설정했는지 여부에 따라 달라집니다.  

• ESXi 버전 7.x "maxIntrCookies" 기본값이 1024로 설정됨
• ESXi 버전 8의 기본값이 4096으로 증가했습니다.

참고: 최대 인터럽트 쿠키는 4096으로 설정 > 하더라도 4096으로 제한됩니다.
부팅 옵션을 구성하는 방법에 대한 자세한 내용은 ESXi/ESXi(310338)에 대한 고급 옵션 구성을 참조하십시오. 


SSH에서 ESXi CLI로 다음을 수행합니다.

esxcli system settings kernel set -s maxIntrCookies -v 4096

/sbin/auto-backup.sh