PowerSwitch: проблемы с сеансом FCoE из-за пакетов LLDP, отправленных виртуальной машиной или виртуальным коммутатором

Затронутые платформы: коммутаторы MX и MXL, выполняющие, помимо прочего, функции Data Center Bridging (DCB) / VMware Esxi

Воздействие:

• Потеряна связь хоста со средой FCoE
• Связь с хранилищем перестает отвечать или прерывается.
• В стабильной среде может произойти ПОЛНЫЙ ПЕРЕБОЙ в работе всех FCoE vlan при выполнении ручного действия, которое приводит к повторному перечислению LLDP; Например, добавление VLAN или отключение LLDP на vDS. 

Эта статья предназначена для обеспечения дополнительной защиты для сред FCoE, в которых виртуальная машина случайно отправляет пакеты LLDP на коммутатор (FIP/FSB), что приводит к разрыву подключения FCoE к коммутатору. Во время состояния проблемы в системном журнале коммутатора отображается следующее сообщение.

Сообщение об ошибке: «LLDP_MULTIPLE_PEER_DETECTED: DCBX оперативно отключен из-за наличия более одного PEER на интерфейсе» при включении LLDP из ОС)

Предупреждающее сообщение:

-------------------------------------
LLDP_MULTIPLE_PEER_DETECTED: DCBX
-------------------------------------

Можно увидеть две возможные проблемы:

1. VMware vDS отправляет и принимает или только отправляет пакеты LLDP.
   1. Обычно это происходит, если для конфигурации LLDP в VMware vDS задано значение «Оба (слушать и объявлять)» или «advertise».
2. Виртуальные машины отправляют пакеты LLDP через VMware vDS.
   1. Если операционная система виртуальной машины отправляет пакеты LLDP, чтобы объявить о своем присутствии, это нарушает возможность подключения FCoE из-за характера работы FCoE.

Еще один признак того, что коммутатор обнаруживает несколько соседей LLDP и находится в проблемном состоянии. Сеть может выглядеть абсолютно стабильной,
  
даже если "show lldp neighbors" Указывает, что коммутатор находится в проблемном состоянии. Однако если предпринято действие вручную, например добавление VLAN или отключение LLDP на vDS, это может привести к полному прекращению всех сессий FCoE.

Почему так происходит?

FCoE использует DCBx, а DCBx — это протокол, работающий на LLDP. 

«DCBX использует протокол Link Layer Discovery Protocol (LLDP) для обмена параметрами между двумя одноранговыми узлами канала. LLDP — это однонаправленный протокол. Он объявляет информацию о подключении и управлении локальной станцией соседним станциям в той же локальной сети IEEE 802». - https://www.ieee802.org/1/files/public/docs2008/az-wadekar-dcbx-capability-exchange-discovery-protocol-1108-v1.01.pdf
"Предполагается, что DCBX будет работать по каналу «точка-точка». При обнаружении нескольких соседей LLDP DCBX ведет себя так, как если бы TLV однорангового узла отсутствовали, пока не исчезнет условие наличия нескольких соседей LLDP. Сосед LLDP идентифицируется по логическому идентификатору доступа к сервису MAC (MSAP). Логический MSAP представляет собой совокупность значений идентификатора корпуса и идентификатора порта, передаваемых в LLDPDU». - https://www.ieee802.org/1/files/public/docs2008/az-wadekar-dcbx-capability-exchange-discovery-protocol-1108-v1.01.pdf
Любое изменение, которое приводит к повторному перечислению LLDP, может привести к немедленному нарушению функциональности TLV FCoE.

Вариант 1) Измените режим LLDP на vDS для каждой базы данных Broadcom.
Вариант 2) Что мы собираемся сделать, так это добавить политику фильтрации VMware vDS для блокировки пакета LLDP от виртуальных машин. Эта конфигурация сама по себе блокирует любой пакет LLDP от любой виртуальной машины в этой группе портов vDS. * Эта проблема также может наблюдаться с VMware Standard vSwitch, но обходной путь или параметр фильтрации недоступны. Заказчик должен убедиться, что на его виртуальных машинах не установлен протокол LLDP.
 

Процедура

Справка: руководство по фильтрации трафика VMware

1. Найдите группу распределенных портов или группу портов восходящего канала связи в клиенте vSphere.

1. Выберите распределенный коммутатор и перейдите на вкладку Networks.
2. Нажмите Группы распределенных портов, чтобы просмотреть список групп распределенных портов, или Группы портов восходящего канала, чтобы просмотреть список групп портов восходящего канала.

2. Нажмите на группу распределенных портов или группу портов восходящего канала связи и перейдите на вкладку Configure.
3. В разделе Настройки выберите Фильтрация трафика и маркировка.
4. Нажмите кнопку Включить и изменить порядок.

5. Нажмите Включить все правила трафика.
6. Нажмите на кнопку OK.

7. Нажмите кнопку ADD .

Справочное руководство по оценщику MAC-трафика VMware.

8. В окне «Правило» задайте указанные ниже параметры.
   1. «Name» — правило, описывающее действие.
   2. В поле «Действие» выберите «Перебросить».
   3. В разделе «Направление трафика» выберите «Вход».
   4. Перейдите на вкладку «MAC».
      1. Установите флажок «Enable qualifier».
      2. В поле "EtherType":
         1. Выберите «IS».
         2. Выберите «Custom».
         3. Запишите «88CC» в качестве типа ethertype LLDP.
   5. Нажмите на кнопку OK.

9. В конце у вас должна получиться приведенная ниже конфигурация.

10. Проверьте, заблокирован ли какой-либо пакет LLDP в выбранной виртуальной машине.
    1. Перейдите на вкладку Порты.
       1. Выберите идентификатор порта vDS, где находится виртуальная машина.
       2. Перейдите на вкладку Статистика .
          1. Установите флажок «Drop — Incoming Packets»

   
На этом настройка завершена.