PowerScale. Isilon. On-Cluster Analysis Isilon: Сетевые пулы — поддержка параллельной модернизации

Network Pools - Parallel Upgrade Support          FAIL

CRITICAL: A parallel upgrade runs the risk of making one or more external networks temporarily unavailable. Affected pools: groupnet0.subnet0.pool1, groupnet0.subnet1.pool1, groupnet0.subnet1.pool2

• Это ожидаемое поведение, так как в кластере имеются разрозненные внешние сети, и есть вероятность, что все узлы в затронутых сетевых пулах перезагрузятся одновременно.
• В этом случае клиенты не смогут получить доступ к кластеру через имя зоны SmartConnect (SCZN), связанное с этим сетевым пулом. 

Важные определения
 

• Дисковый пул:  Набор дисков, распределенных между подмножеством узлов кластера. 
• Степени защиты/политики. Всем файлам в файловой системе /ifs назначается уровень защиты. OneFS распределяет или зеркалирует содержимое файлов между узлами и накопителями одного дискового пула. Файл со степенью защиты 2d+1n гарантирует, что он будет по-прежнему доступен при выходе из строя любых двух накопителей или одного узла во вложенном пуле дисков.
• Районов:  Наборы узлов, целиком содержащие один или несколько пулов дисков. Подмножество узлов, назначенных дисковому пулу, может перекрываться с подмножеством узлов, назначенных другому окрестностям. Между окружениями нет перекрывающихся дисковых пулов. 
• API базы данных дисковых пулов и резервирование API базы данных дисковых пулов имеют функцию резервирования, которая позволяет клиентским приложениям, таким как Upgrade Framework, удалять множества узлов (т. е. перезагружать) или накопителей из кластера без нарушения защиты на любом пуле дисков.
• Разделенные внешние сети. Кластер включает в себя разделенные внешние сети, если имеется множество узлов с внешними интерфейсами, которые не перекрываются между всеми дисковыми пулами

• При параллельной модернизации новая операционная система устанавливается на всех узлах, а затем одновременно перезагружается подмножество узлов, не более одного узла в каждом пуле дисков.
• Каждый узел будет пытаться зарезервировать для себя место в очереди на перезагрузку до тех пор, пока все узлы не будут модернизированы.  Подмножество узлов и резервирование зависят от доступности дискового пула и узла.
• Во время параллельной модернизации подмножества узлов, которые не перезагружаются, остаются в оперативном режиме и могут продолжать обслуживание клиентов.

• В кластере имеются непересекающиеся внешние сети (например, базы знаний : groupnet0.subnet0.pool1, groupnet0.subnet1.pool1, groupnet0.subnet1.pool2)
• Во время параллельного обновления существует потенциальный риск возникновения недоступности данных в этих сетевых пулах, так как все узлы в затронутых сетевых пулах могут перезагрузиться одновременно (т. е. все они могут использовать резервирование дисковых пулов для одновременной перезагрузки). 
• В этом случае доступ к SCZN затронутого сетевого пула будет невозможен. 

• Так как каждый кластер имеет разную конфигурацию сети, решение не является одинаковым для всех кластеров.
• Чтобы избежать возможной недоступности данных (DU) в разделенных сетевых пулах во время параллельной модернизации, потребуется изменение конфигурации сети в кластере и внешней среде, что обычно требует нескольких согласований со стороны заказчика.
• В этой статье базы знаний не будет предложено прямое решение ошибки проверки IOCA из-за указанных выше причин.
• Тем не менее, общие рекомендации заключаются в том, что по крайней мере два внешних интерфейса-члена узлов в затронутых сетевых пулах должны находиться в одном соседнем домене/домене сбоя, чтобы избежать риска несвязанности сети или DU в этом сетевом пуле SmartConnect (т. е. добавить узлы из одного соседнего домена/домена сбоя в затронутый сетевой пул). 
• В этой статье базы знаний приведены команды для определения доменов окрестности/сбоя кластера и узлов-участников в затронутых сетевых пулах.

• Используйте приведенную ниже команду для определения узлов-участников в затронутых сетевых пулах (Примечание. Замените идентификатор «<network-pool 1 ID> | <Идентификатор> сетевого пула 2 | <network-pool 3 ID»> с идентификаторами затронутых сетевых пулов из сведений о проверке IOCA и разделите их с помощью символа «|»). 

# isi network pools list -v | egrep -i 'ID: |ifaces' | egrep -A1 '<network-pool 1 ID> | <network-pool 2 ID> | <network-pool 3 ID>'

• Выполните следующую команду, чтобы определить ближайшие районы кластера (Примечание. Замените <Расположение> скрипта IOCA и новая версия> OneFS с правильными <значениями) 

# perl <IOCA script location> -o <New OneFS version>,parallel  -e -r "checkNetworkParallelUpgrade"  

• Сопоставьте выходные данные указанных выше команд, чтобы определить, какие изменения необходимо внести в сетевые пулы кластера.
• Для быстрого устранения проблемы можно добавить все узлы кластеров в соответствующие сетевые пулы, но обычно выполнить это непросто, поскольку это изменение может быть запрещено внешней сетевой средой.
• После применения необходимых изменений повторно запустите проверку IOCA.
• Если не удается определить необходимые изменения, откройте заявку в службе поддержки для получения дополнительной помощи.
• Ниже приведен пример для определения необходимых изменений в сценарии тестирования:

1) Determine member nodes in affected network pools:
# isi network pools list -v | grep -i 'ID: |ifaces' | egrep -A1 'groupnet0.subnet0.pool1| groupnet0.subnet1.pool1| groupnet0.subnet1.pool2'
                     ID: groupnet0.subnet0.pool1
                 Ifaces: 1:10gige-agg-1, 2:10gige-agg-1, 4:10gige-agg-1, 3:10gige-agg-1
                     ID: groupnet0.subnet1.pool1
                 Ifaces: 37:10gige-agg-1, 38:10gige-agg-1, 39:10gige-agg-1, 40:10gige-agg-1
                     ID: groupnet0.subnet1.pool2
                 Ifaces: 37:10gige-agg-1, 38:10gige-agg-1, 39:10gige-agg-1, 40:10gige-agg-1

2) Run the IOCA check to determine cluster neighborhoods:
# perl IOCA -o 9.2.1.5,parallel -e -r "checkNetworkParallelUpgrade"
Isilon On-Cluster Analysis                        0.1395
Cluster Name                                      TestCluster
Cluster GUID                                      0050569b6db2ad086861001a2f1dd1d02473
Node Count                                        52
Current OneFS Version                             8.2.2.0
Destination OneFS Version                         9.2.1.5
Destination OneFS Version                         WARN
  WARN: There is a newer patch release available for OneFS 9.2.1: 9.2.1.9
Network Pools - Parallel Upgrade Support          FAIL
  CRITICAL: A parallel upgrade runs the risk of making one or more external networks temporarily unavailable. Affected pools: groupnet0.subnet0.pool1, groupnet0.subnet1.pool1, groupnet0.subnet1.pool2
  
  ==============================
  Node Neighborhoods
  ==============================
  1: [ 1, 7, 10, 16, 19, 24, 27, 31, 35, 40, 43, 45, 47 ]
  2: [ 2, 6, 9, 15, 18, 23, 26, 29, 33, 38, 41, 46, 48 ]
  3: [ 3, 5, 12, 14, 17, 22, 25, 30, 34, 37, 42, 50, 51 ]
  4: [ 4, 8, 11, 13, 20, 21, 28, 32, 36, 39, 44, 49, 52 ]

3) The possible resolution in this case would be to :

a) A quick fix would be to add all clusters nodes to the impacted network pools groupnet0.subnet0.pool1 & groupnet0.subnet1.pool1, groupnet0.subnet1.pool2
b) Add more nodes to affected network pools ( suggested nodes are based on neighborhood command output ) :

- Possible resolution to groupnet0.subnet0.pool1 : at least add node 7  to the network pool as node 7 exists in the same neighborhood as nodes 1
- Possible resolution to groupnet0.subnet1.pool1 : at least add node 34 to the network pool as node 34 exists in the same neighborhood as nodes 37
- Possible resolution to groupnet0.subnet1.pool2 : at least add node 33 to the network pool as node 33 exists in the same neighborhood as nodes 38

4) After applying the network changes, re-run the IOCA check to confirm that there are no issues:
# perl IOCA -o 9.2.1.5,parallel -e -r "checkNetworkParallelUpgrade"