PowerScale: Isilon: Аналіз на кластері Isilon: Мережеві пули — підтримка паралельного оновлення

Network Pools - Parallel Upgrade Support          FAIL

CRITICAL: A parallel upgrade runs the risk of making one or more external networks temporarily unavailable. Affected pools: groupnet0.subnet0.pool1, groupnet0.subnet1.pool1, groupnet0.subnet1.pool2

• Це зроблено задумано, оскільки кластер має розрізнені зовнішні мережі, де існує ризик того, що всі вузли в постраждалих мережевих пулах перезавантажаться одночасно.
• У такому разі клієнти не можуть отримати доступ до кластера через назву SmartConnect Zone Name (SCZN), пов'язану з цим мережевим пулом. 

Важливі визначення:
 

• Diskpool:  Колекція дисків, розподілених між підмножиною вузлів кластеру. 
• Рівні захисту/політики: Усі файли у файловій системі /ifs мають певний рівень захисту. OneFS смітить або дзеркалить вміст файлів між вузлами та дисками одного дискпулу. Файл із рівнем захисту 2d+1n гарантує, що файл залишатиметься доступним, якщо будь-які два диски або один вузол у закритому дискпулі вийдуть з ладу.
• Районах:  Множини вузлів, які повністю містять один або кілька дископулів. Підмножина вузлів, призначених до дискпулу, може перекриватися з підмножиною вузлів, які призначені іншому околу. Між околицями немає перекриття дископулів. 
• API баз даних diskpools та резервування API бази даних Diskpools має функцію резервування, яка дозволяє клієнтському додатку, такому як Upgrade Framework, видаляти набір вузлів (тобто перезавантаження) або диски з кластера без порушення захисту жодного дискпулу.
• Роз'єднані зовнішні мережі: Кластер має розрізнені зовнішні мережі, якщо існує набір вузлів із зовнішніми інтерфейсами, які не перекриваються між усіма дисковими пулами

• Паралельне оновлення встановлює нову операційну систему на всі вузли, а потім одночасно перезавантажує підмножину вузлів, до одного вузла в кожному дископулі.
• Кожен вузол намагається зарезервувати свій хід перезавантаження, доки всі вузли не будуть оновлені.  Підмножини вузлів і резервації базуються на доступності дископулів і вузлів.
• Під час паралельного оновлення підмножини вузлів, які не перезавантажуються, залишаються онлайн і можуть продовжувати обслуговувати клієнтів.

• Кластер має розрізнені зовнішні мережі (приклад баз даних : groupnet0.subnet0.pool1, groupnet0.subnet1.pool1, groupnet0.subnet1.pool2)
• Під час паралельного оновлення існує потенційний ризик DU на цих мережевих пулах, оскільки всі вузли в уражених мережевих пулах можуть перезавантажуватися одночасно (тобто всі вони можуть одночасно зарезервувати дискові пули для перезавантаження). 
• Якщо це станеться, доступ до SCZN ураженого мережевого пулу буде неможливим. 

• Оскільки кожен кластер має різну мережеву конфігурацію, рішення не однакове для всіх кластерів.
• Щоб уникнути можливого DU у роз'єднаному мережевому пулі під час паралельного оновлення, потрібна зміна конфігурації мережі кластера та зовнішнього середовища, що зазвичай вимагає кількох погоджень з боку клієнта.
• Ця стаття в базі не містить прямого вирішення проблеми невдачі перевірки IOCA через вищезазначені пункти.
• Однак загальна рекомендація полягає в тому, що щонайменше зовнішні інтерфейси двох вузлів у уражених мережевих пулах знаходяться в одному домені сусідства/збоїв, щоб уникнути ризику роз'єднаної мережі/DU для цього пулу SmartConnect (тобто додати вузли з одного домену сусідства/збоїв до ураженого мережевого пулу). 
• У статті KB наведено команди щодо визначення доменів сусідства/збоїв кластера та вузлів-членів у постраждалих мережевих пулах.

• Використайте наведену нижче команду для визначення членських вузлів у постраждалих мережевих пулах (Примітка: Замініть ID "<network-pool 1> | <мережевий пул 2 ID> | <network-pool 3 ID>" з ідентифікаторами постраждалих мережевих пулів із перевірки IOCA і розділяє їх символом '|'). 

# isi network pools list -v | egrep -i 'ID: |ifaces' | egrep -A1 '<network-pool 1 ID> | <network-pool 2 ID> | <network-pool 3 ID>'

• Виконайте наступну команду, щоб визначити околиці кластера (Примітка: Замініть <Розташування> скриптів IOCA та <нова версія> OneFS з правильними значеннями) 

# perl <IOCA script location> -o <New OneFS version>,parallel  -e -r "checkNetworkParallelUpgrade"  

• Зрівняйте вихідні дані вищезазначених команд, щоб визначити, які зміни потрібно внести в мережеві пули кластера.
• Швидке вирішення — додати всі вузли кластерів до впливових мережевих пулів, але це зазвичай непросто, оскільки зовнішнє мережеве середовище може не дозволити такої зміни.
• Після внесення необхідних змін повторіть перевірку IOCA.
• Якщо не вдається визначити необхідні зміни, відкрийте заявку у Службі підтримки для подальшої допомоги.
• Приклад нижче для визначення необхідних змін у тестовому сценарії:

1) Determine member nodes in affected network pools:
# isi network pools list -v | grep -i 'ID: |ifaces' | egrep -A1 'groupnet0.subnet0.pool1| groupnet0.subnet1.pool1| groupnet0.subnet1.pool2'
                     ID: groupnet0.subnet0.pool1
                 Ifaces: 1:10gige-agg-1, 2:10gige-agg-1, 4:10gige-agg-1, 3:10gige-agg-1
                     ID: groupnet0.subnet1.pool1
                 Ifaces: 37:10gige-agg-1, 38:10gige-agg-1, 39:10gige-agg-1, 40:10gige-agg-1
                     ID: groupnet0.subnet1.pool2
                 Ifaces: 37:10gige-agg-1, 38:10gige-agg-1, 39:10gige-agg-1, 40:10gige-agg-1

2) Run the IOCA check to determine cluster neighborhoods:
# perl IOCA -o 9.2.1.5,parallel -e -r "checkNetworkParallelUpgrade"
Isilon On-Cluster Analysis                        0.1395
Cluster Name                                      TestCluster
Cluster GUID                                      0050569b6db2ad086861001a2f1dd1d02473
Node Count                                        52
Current OneFS Version                             8.2.2.0
Destination OneFS Version                         9.2.1.5
Destination OneFS Version                         WARN
  WARN: There is a newer patch release available for OneFS 9.2.1: 9.2.1.9
Network Pools - Parallel Upgrade Support          FAIL
  CRITICAL: A parallel upgrade runs the risk of making one or more external networks temporarily unavailable. Affected pools: groupnet0.subnet0.pool1, groupnet0.subnet1.pool1, groupnet0.subnet1.pool2
  
  ==============================
  Node Neighborhoods
  ==============================
  1: [ 1, 7, 10, 16, 19, 24, 27, 31, 35, 40, 43, 45, 47 ]
  2: [ 2, 6, 9, 15, 18, 23, 26, 29, 33, 38, 41, 46, 48 ]
  3: [ 3, 5, 12, 14, 17, 22, 25, 30, 34, 37, 42, 50, 51 ]
  4: [ 4, 8, 11, 13, 20, 21, 28, 32, 36, 39, 44, 49, 52 ]

3) The possible resolution in this case would be to :

a) A quick fix would be to add all clusters nodes to the impacted network pools groupnet0.subnet0.pool1 & groupnet0.subnet1.pool1, groupnet0.subnet1.pool2
b) Add more nodes to affected network pools ( suggested nodes are based on neighborhood command output ) :

- Possible resolution to groupnet0.subnet0.pool1 : at least add node 7  to the network pool as node 7 exists in the same neighborhood as nodes 1
- Possible resolution to groupnet0.subnet1.pool1 : at least add node 34 to the network pool as node 34 exists in the same neighborhood as nodes 37
- Possible resolution to groupnet0.subnet1.pool2 : at least add node 33 to the network pool as node 33 exists in the same neighborhood as nodes 38

4) After applying the network changes, re-run the IOCA check to confirm that there are no issues:
# perl IOCA -o 9.2.1.5,parallel -e -r "checkNetworkParallelUpgrade"