PowerEdge. Broadcom bnxtnet. Настройка очередей RSS для каждого порта в VMware ESXi
Summary: Заказчики PowerEdge, использующие адаптеры Broadcom NXE в VMware ESXi, могут столкнуться с непредвиденными результатами при попытке настройки параметров портов. В частности, в конфигурациях с несколькими адаптерами NXE для выбора соответствующих команд может быть полезно понимать порядок портов VMware (vmnicX) и Slot-Bus-Device-Function (SBDF) (serverPCI-e). ...
Symptoms
В данном случае рассмотрим сервер с тремя модулями Broadcom bnxtnet на базе сетевых плат с двумя портами для каждого устройства. Ниже приведена базовая команда набора параметров модуля, использующая одно и то же значение RSS для всех портов, например:
esxcfg-module -s 'RSS=4,4,4,4,4,4' bnxtnet
Это приводит к правильной установке всех портов на RSS=4
Тем не менее, если попытаться установить конкретный vmnics При разных значениях становится важным порядок портов.
Параметры модуля применяются в порядке устройств, отсортированных по PCI SBDF (slot-bus-device-function), А НЕ vmnicX упорядочение.
Например:
PCI SBDF |
vmnicX |
RSS Vaule Desired |
0000:1a:00.0 |
vmnic0 |
4 |
0000:1a:00.1 |
vmnic1 |
4 |
0000:86:00.0 |
vmnic4 |
4 |
0000:86:00.1 |
vmnic5 |
8 |
0000:af:00.0 |
vmnic2 |
8 |
0000:af:00.1 |
vmnic3 |
4 |
Используйте команду конфигурации:
esxcfg-module -s 'RSS=4,4,4,8,8,4' bnxtnet
ПРИМЕЧАНИЕ. Чтобы настройки вступили в силу, требуется перезагрузка сервера или выгрузка/перезагрузка модуля.
Метод 'disable_tpa' также будет работать таким же образом:
esxcfg-module -s 'disable_tpa=4,4,4,8,8,4' bnxtnet
Кроме того, команды параметров конфигурации могут быть сгруппированы в одну команду, например, ниже:
esxcfg-module -s "disable_tpa=1,1,1,1,1,1 RSS=8,8,8,8,8,8" bnxtnet
Cause
Resolution
Заказчикам, сообщившим об этой проблеме, рекомендуется выполнить следующие действия.
- Проверьте порядок PCI SBDF и OS vmnic (с помощью «esxcli network nic list» или другими методами -TSR,
lspci, Vcenter и т. д.). - Сборка команд серверного модуля на основе порядка PCI SBDF.
- Используйте команду серверного модуля 'get', чтобы убедиться в правильности настроек для каждого порта:
esxcfg-module -g bnxtnet
vsish -e get /net/pNics/vmnicX/rxqueues/info
Кроме того, VMware позволяет изменить порядок сопоставления псевдонимов vmnic, что описано в статье базы знаний:
Как VMware ESXi определяет порядок назначения имен устройствам (2091560)
Additional Information
Дополнительные команды и информация VMware см. в примечаниях к последнему выпуску:
Пример: примечания к выпуску
Пример: https://dl.dell.com/FOLDER10655246M/1/Bcom_LAN_227.1.111.3_NXE_Manual_227.1.111.3.zip