vCenter отображает предупреждения «Обнаружена общая частота ошибок pnic rx» или «Обнаружена высокая частота ошибок pNic»

В этом сообщении указаны две различные проблемы, требующие отдельного подхода к решению.

Проблема 1. Веб-клиент vCenter отображает следующее сообщение для нескольких хостов. Переменная vmnic в предупреждении может быть любое vmnic что хосты подключаются к сети.
Это отличается от проблемы 2 (упомянутой ниже). Переменная vmnic в тревоге выпуска 2 только Активный и (или) Резервный vmnic vSAN.

Warning: High pnic rx generic error rate detected on vmnicX.

При выполнении следующей команды на хосте ESXi пользователи увидят множество rx (Receive) length, и погрешность продолжает расти. Это вызывает предупреждение.
Замените 'X' с надлежащим vmnic Номер.

esxcli network nic stats get -n vmnicX

vmnic0
Packets received: 2611289
Receive length errors: 279662
Multicast packets received: 529478
Broadcast packets received: 512315

vmnic1
packets received: 5812398
Receive length errors: 279518
Multicast packets received: 538956
Broadcast packets received: 427913 

Все vmnics в хосте имеют практически идентичные Receive length error счетчики. Это означает, что Multicast packets received или Broadcast packets received относятся к Receive length errors.

Многоадресные пакеты передаются в ту же VLAN, что и широковещательные пакеты.

Мы можем рассчитать отношение ошибки длины приема и широковещательных пакетов или отношение ошибки длины приема и многоадресных пакетов, а затем сравнить их с другими узлами.

Даже на разных узлах процент ошибок длины приема, вызванных многоадресной или широковещательной рассылками, почти одинаков.

Для устранения проблемы 1 перехватите пакеты в vmnic.

1. Запустите сеанс SSH на узле
2. Выполните следующую команду: (Замените vmnicX с помощью vmnic которая получила ошибку длины)

   pktcap-uw --uplink vmnicX --dir 2 -o /tmp/lengtherror.pcap

3. Перехват пакетов восходящего канала ошибки и остановка нажатием ctrl+c.
4. Скачайте .pcap на локальный рабочий стол и откройте его с помощью Wireshark.
5. Для фильтра широковещательных пакетов: ip.addr == 255.255.255.255 
6. Для фильтра многоадресных пакетов: eth.dst == ff:ff:ff:ff:ff:ff 
7. Попробуйте найти Malformed Packet из результата фильтра.
8. Иногда этот фильтр работает (только в версии Wireshark 4.0.12): ((eth.len != frame.len - 14) || eth.len != frame.len - 18)

Проблема 2.
Оповещению присвоено имя.

High pNic error rate detected Check the host's vSAN performance view for details.

Когда пользователь проверяет представление производительности vSAN хоста, он может обнаружить, что vmnic указанный в сигнале тревоги всегда является активным или (и) Резервным vmnic трафика vSAN.
В большинстве случаев vmnic является резервным для vSAN.
Этот сигнал тревоги активирован из vSphere 7.0U2.
См.: https://knowledge.broadcom.com/external/article/312096/alarm-about-high-pnic-error-rate-being-d.html
В следующей таблице приведены метрики для pNIC, используемых для vSAN, которые отслеживаются, и их пороговые значения для аварийных сигналов.

Эти типы ошибок могут повлиять на производительность vSAN.

Проблема 1.
В этом случае при сборе пакетов контроллер Cisco Access Point (AP) отправляет пакеты CAPWAP-Control.
Wireshark помечает их как «Malformed Packet».
Как правило, ESXi также не может обработать этот тип пакета.

Если во время анализа Wireshark обнаруживает пакет, который не соответствует ожидаемой структуре протокола, он помечает пакет как неправильно сформированный. Обычно это указывает на то, что пакет мог быть поврежден во время передачи или что он представляет собой необычную или неправильную реализацию протокола.

Следующий фильтр может предоставить другой тип вывода (так как длина кадра не поддерживается), а также может вызвать ошибку received length error.
Однако он не является точным, поэтому, прежде чем отправлять отчет заказчику, необходимо провести дополнительный анализ выходных данных этого фильтра.
((eth.len != frame.len - 14) || eth.len != frame.len - 18)

Вопрос 2:
VMware представила это оповещение для мониторинга ошибок, которые могут повлиять на производительность vSAN.
Когда процент ошибки достигает специального значения, запускается оповещение о том, что производительность vSAN должна быть снижена.

Однако было замечено, что алгоритм срабатывания тревоги может иметь проблемы. При расчете коэффициента пакетов ошибок используется количество пакетов данных в краткосрочном периоде и общее количество пакетов ошибок.

Поэтому в большинстве случаев ошибка vmnic всегда находится в режиме ожидания vmnic vSAN, так как на vmnic.

Проблема 1.

• Исходным IP-адресом был контроллер Cisco AP, подключенный к VLAN 1.
• Проверьте настройки vDS кластера VxRail, чтобы убедиться в отсутствии трафика, использующего VLAN 1.
• Удалите VLAN 1 из портов коммутаторов TOR, подключенных к хостам VxRail.
• Если местоположение отличается от VLAN 1, выполните те же действия, чтобы удалить VLAN с портов коммутатора.
• Если VLAN передает трафик кластера, мы не можем удалить VLAN с портов коммутатора. Пользователю может потребоваться изменить дизайн сети, чтобы изолировать трафик, который вызвал ошибку длины, полученную из кластера VxRail.

Проблема 2.
Существует несколько сценариев решения этой проблемы.

• Переменная vmnic Сообщение об ошибке находится в режиме ожидания vmnic vSAN, и пакет ошибок растет медленно.

Это ложное оповещение, вызванное алгоритмом и не влияющее на производительность vSAN. Мы можем рекомендовать заказчикам игнорировать это оповещение, хотя оно периодически появляется.

• Переменная vmnic Ошибка отчетности активна vmnic vSAN или резервного vminc, но количество пакетов ошибок продолжает расти.

Различные типы ошибок имеют разное решение, мы часто сталкиваемся с оповещениями, вызванными ошибкой CRC, ошибкой длины и кадра паузы.

1. Получены ошибки CRC на vmnic.
   Проблема с оборудованием обычно приводит к ошибкам CRC. В основном они связаны с кабелями, SFP и сетевыми адаптерами, как со стороны узлов, так и со стороны коммутаторов. Выполните процедуру поиска и устранения неисправностей оборудования, чтобы определить причину проблемы.

2. Полученные ошибки длины на vmnic.
   Основная причина та же, что и у Проблемы 1. Вы можете выполнить инструкции по поиску и устранению Проблемы 1, описанные для этого сценария.

3. Кадр приостановки, полученный на vmnic.
   Кадр паузы используется для управления сетевым потоком.
   Включить управление потоком Нестабильность или перегрузка сети приводят к снижению производительности в VxRail и отрицательно влияют на работу хранилища данных ввода-вывода vSAN.
   Управление потоком — это функция коммутатора, которая помогает управлять скоростью передачи данных, чтобы избежать переполнения буфера.
   VxRail рекомендует использовать receive on и transmit off.
   См. https://www.delltechnologies.com/asset/en-us/products/converged-infrastructure/technical-support/h15300-vxrail-network-guide.pdf (стр. 88).

Как проверить, включает ли коммутатор управление потоком.В
качестве примера возьмем коммутатор Dell:

Run the command "show interface ethernet 1/1/1," replacing the switch interface number with the interface connecting the node

S5048-01# show interface ethernet 1/1/1
Ethernet 1/1/1 is up, line protocol is down
Pluggable media present, SFP28 type is SFP28 25GBASE-SR-NOF
    Wavelength is 850
Interface index is 15
Internet address is not set
Mode of IPv4 Address Assignment: not set
Interface IPv6 oper status: Disabled
MTU 1532 bytes, IP MTU 1500 bytes
LineSpeed 0, Auto-Negotiation off
Configured FEC is cl108-rs, Negotiated FEC is cl108-rs
Flowcontrol rx on tx on  ----- tx on means that the flow control is transmit on

Как отключить передачу управления потоком:

S5048-01# configure terminal
S5048-01(config)# interface e1/1/1 ----replace the switch interface number
S5048-01(conf-if-eth1/1/1)# flowcontrol transmit off

Настройте все интерфейсы коммутатора, подключенные к vSAN vmnics Как transmit off.
Сбросьте будильник в зеленый цвет и следите за тем, вернется ли будильник.