PowerSwitch: Проблеми з сесіями FCoE через LLDP-пакети, які надсилаються VM або віртуальним комутатором

Уражені платформи: MX і MXL комутатори з функціями Data Center Bridging (DCB), але не обмежуються ними / VMware Esxi

Вплив:

• Втрата зв'язку хоста з середовищем FCoE
• Зв'язок із сховищем припиняє реагувати або закрилки
• У стабільному середовищі ПОВНЕ ЗБІЙ усіх FCoE VLAN може статися, коли здійснюється ручна дія, яка змушує LLDP перераховувати; наприклад, додавання VLAN або вимкнення LLDP на vDS. 

Ця стаття має на меті забезпечити додатковий захист для середовищ FCoE, коли віртуальна машина випадково надсилає пакети LLDP комутатору (FIP/FSB), що порушує FCoE-з'єднання з комутатором. Під час проблеми ви бачите це повідомлення нижче в syslog комутатора.

Повідомлення про помилку: «LLDP_MULTIPLE_PEER_DETECTED: DCBX операційно вимкнено через наявність більше ніж одного PEER на інтерфейсі» при ввімкненні LLDP з ОС)

Попереджене повідомлення:

-------------------------------------
LLDP_MULTIPLE_PEER_DETECTED: DCBX
-------------------------------------

Дві можливі проблеми, які ви можете побачити:

1. VMware vDS — це надсилання та отримання або лише LLDP-пакети.
   1. Зазвичай це трапляється, коли конфігурація LLDP на VMware vDS встановлена як «І те, і слухати, і рекламувати)» або «рекламувати».
2. Віртуальні машини надсилають LLDP-пакети через VMware vDS.
   1. Якщо операційна система віртуальної машини надсилає LLDP-пакети для реклами своєї присутності, це порушує FCoE-з'єднання через особливості роботи FCoE.

Ще одна ознака того, що комутатор бачить кілька сусідів LLDP і перебуває у проблемному стані:
  
мережа може виглядати абсолютно стабільною навіть тоді, коли "show lldp neighbors" вказує, що перемикач знаходиться у проблемному стані. Однак, якщо зробити ручну дію, наприклад, додати VLAN або вимкнути LLDP на vDS, це може спричинити повний збій у всіх сесіях FCoE.

Чому це могло статися?

FCoE базується на DCBx, а DCBx — це протокол, який працює на LLDP. 

"DCBX використовує протокол Link Layer Discovery Protocol (LLDP) для обміну параметрами між двома зв'язками. LLDP — це односторонній протокол. Вона рекламує інформацію про зв'язок і управління місцевою станцією з сусідніми станціями на тому ж IEEE 802 LAN.» - https://www.ieee802.org/1/files/public/docs2008/az-wadekar-dcbx-capability-exchange-discovery-protocol-1108-v1.01.pdf
"Очікується, що DCBX працюватиме по точковому з'єднанню. Якщо виявлено кілька сусідів LLDP, то DCBX поводиться так, ніби DCBX TLV однорангового не присутні, доки умова множинного сусіда LLDP не зникне. Сусід LLDP ідентифікується за логічним ідентифікатором доступу до сервісу MAC (MSAP). Логічний MSAP — це конкатенація значень корпусного ID та порту, що передаються в LLDPDU.» - https://www.ieee802.org/1/files/public/docs2008/az-wadekar-dcbx-capability-exchange-discovery-protocol-1108-v1.01.pdf
Будь-яка зміна, яка змушує LLDP перераховувати, може призвести до негайного збою функціоналу TLV FCoE.

Варіант 1) змінити режим LLDP на vDS за Broadcom KB.
Варіант 2) Ми додамо політику фільтрації VMware vDS, щоб блокувати LLDP-пакети від VM, ця конфігурація блокує будь-який LLDP-пакет з будь-якої VM у цій VD-групі. *Цю проблему можна побачити і з VMware стандартним vSwitch, але немає варіантів обходу чи фільтрації. Клієнт повинен переконатися, що його віртуальні машини не мають LLDP.
 

Порядок дій

Джерело: Посібник з фільтрації трафіку VMware

1. Знайдіть групу розподілених портів або групу портів для вислизання в клієнті vSphere.

1. Виберіть розподілений комутатор і натисніть вкладку «Мережі».
2. Натисніть «Розподілені групи портів», щоб побачити список розподілених груп портів, або натисніть «Uplink Port Groups», щоб побачити список груп портів uplink.

2. Виберіть розподілену групу портів або групу портів для аплінку і виберіть вкладку «Налаштувати».
3. У розділі «Налаштування» виберіть «Фільтрація та маркування трафіку».
4. Натисніть кнопку «Увімкнути та перевпорядкувати».

5. Натисніть «Увімкнути всі правила дорожнього руху».
6. Натисніть OK.

7. Натисніть кнопку ДОДАТИ .

Довідник VMware MAC Traffic Qualifier .

8. У вікні Правила встановіть параметри нижче.
   1. «Назвіть» правило для опису дії.
   2. У полі «Action» виберіть «Drop».
   3. У розділі «Напрямок руху» виберіть «Вхід».
   4. Натисніть вкладку «MAC».
      1. Увімкніть галочку «Увімкнути кваліфікацію».
      2. Про поле «EtherType»:
         1. Виберіть "IS."
         2. Виберіть «Custom».
         3. Запишіть "88CC" як ефіртип LLDP.
   5. Натисніть OK.

9. Наприкінці має бути наведена нижче конфігурація.

10. Перевірте, чи блокується будь-який LLDP-пакет у вибраній віртуальній машині.
    1. Натисніть вкладку «Порти».
       1. Виберіть vDS Port ID , де знаходиться VM.
       2. Натисніть вкладку «Статистика ».
          1. Перевірте «Відпущено — Вхідні пакети»

   
На цьому конфігурація завершена.