PowerScale: Isilon: Isilon On-Cluster Analysis: Síťové fondy – podpora paralelního upgradu

Network Pools - Parallel Upgrade Support          FAIL

CRITICAL: A parallel upgrade runs the risk of making one or more external networks temporarily unavailable. Affected pools: groupnet0.subnet0.pool1, groupnet0.subnet1.pool1, groupnet0.subnet1.pool2

• Jedná se o záměrné chování, protože cluster má nesouvislé externí sítě, kde existuje možné riziko, že se všechny uzly v dotčených síťových fondech restartují současně.
• V takovém případě nebudou mít klienti přístup ke clusteru prostřednictvím názvu zóny SmartConnect (SCZN) přidruženého k danému síťovému fondu. 

Důležité definice:
 

• Fond disků:  Kolekce disků distribuovaných mezi podmnožinu uzlů clusteru. 
• Úrovně/zásady ochrany: Všem souborům v systému souborů /ifs je přiřazena úroveň ochrany. Uzel OneFS prokládá nebo zrcadlí obsah souborů napříč uzly a jednotkami jednoho fondu disků. Soubor s úrovní ochrany 2d+1n zaručuje, že bude stále dostupný i v případě, že dojde k výpadku libovolných dvou jednotek nebo jednoho uzlu v ohraničujícím fondu disků.
• Čtvrtí:  Sady uzlů, které zcela obsahují jeden nebo více fondů disků. Podmnožina uzlů přiřazených k fondu disků se může překrývat s podmnožinou uzlů, které jsou přiřazeny k jiným sousedům. Mezi okolími není žádné překrývání fondů disků. 
• Fondy disků DB API a vyhrazení: rozhraní API databáze fondu disků má funkci vyhrazení, která umožňuje klientským aplikacím, jako je Upgrade Framework, odebrat sadu uzlů (např. pro restartování) nebo jednotek z clusteru bez narušení ochrany u libovolného fondu disků.
• Oddělené externí sítě: Cluster má oddělené externí sítě, pokud existuje sada uzlů s externími rozhraními, které se nepřekrývají napříč všemi fondy disků.

• Paralelní upgrade nainstaluje nový operační systém do všech uzlů a poté restartuje podmnožinu uzlů současně, a to až jeden uzel v každém fondu disků.
• Každý uzel se pokusí vytvořit vyhrazení pro restartování, dokud nedojde k upgradu všech uzlů.  Podskupiny a vyhrazení uzlů jsou založeny na dostupnosti fondu disků a uzlu.
• Během paralelního upgradu zůstávají podskupiny uzlů, které se nerestartují, online a mohou pokračovat v obsluze klientů.

• Cluster obsahuje nesouvislé externí sítě (příklad znalostní databáze : groupnet0.subnet0.pool1, groupnet0.subnet1.pool1, groupnet0.subnet1.pool2)
• Během paralelního upgradu existuje u těchto síťových fondů možné riziko ochuzeného uranu, protože všechny uzly v dotčených síťových fondech se mohou restartovat současně (to znamená, že všechny mohou mít rezervaci diskpools k současnému restartování). 
• Pokud k tomu dojde, nebude možný přístup k SCZN dotčeného síťového fondu. 

• Jelikož každý cluster má jinou konfiguraci sítě, řešení není pro všechny clustery stejné.
• Aby během paralelního upgradu u odděleného síťového fondu nedocházelo k možné nedostupnosti dat (DU), bude nutná změna konfigurace sítě v clusteru a externím prostředí, která obvykle vyžaduje několik schválení na straně zákazníka.
• Tento článek znalostní databáze nebude obsahovat přímé řešení selhání kontroly IOCA z výše uvedených důvodů.
• Obecným pravidlem však je, že alespoň dvě rozhraní externích členů uzlů v dotčených síťových fondech existují ve stejné doméně sousedních čtvrtí / selhání, aby se předešlo riziku nesouvislé sítě/DU pro daný síťový fond SmartConnect (tj. přidat uzly ze stejného sousedství/domény selhání do dotčeného síťového fondu). 
• Článek znalostní databáze obsahuje příkazy, jak určit sousední domény clusteru / domény selhání a členské uzly v dotčených síťových fondech.

• Pomocí následujícího příkazu určete členské uzly v dotčených síťových fondech (Poznámka: Nahraďte položku "<network-pool 1 ID> | <ID> fondu sítě 2 | <network-pool 3 ID>" s ID dotčených fondů sítě z podrobností kontroly IOCA a oddělte je znakem "|"). 

# isi network pools list -v | egrep -i 'ID: |ifaces' | egrep -A1 '<network-pool 1 ID> | <network-pool 2 ID> | <network-pool 3 ID>'

• Spuštěním následujícího příkazu určete okolí clusteru (Poznámka: Namontujte <Umístění> skriptu IOCA a <nová verze> systému OneFS se správnými hodnotami) 

# perl <IOCA script location> -o <New OneFS version>,parallel  -e -r "checkNetworkParallelUpgrade"  

• Křížovým odkazem na výstupy výše uvedených příkazů určete, které změny je třeba provést v síťových fondech clusteru.
• Rychlou opravou by bylo přidat všechny uzly clusterů do dotčených síťových fondů, to však obvykle není snadné, protože externí síťové prostředí tuto změnu nemusí umožňovat.
• Po použití potřebných změn znovu spusťte kontrolu IOCA.
• Pokud nemůžete určit potřebné změny, otevřete případ podpory a požádejte o další pomoc.
• Níže uvedený příklad pro určení potřebných změn v testovacím scénáři:

1) Determine member nodes in affected network pools:
# isi network pools list -v | grep -i 'ID: |ifaces' | egrep -A1 'groupnet0.subnet0.pool1| groupnet0.subnet1.pool1| groupnet0.subnet1.pool2'
                     ID: groupnet0.subnet0.pool1
                 Ifaces: 1:10gige-agg-1, 2:10gige-agg-1, 4:10gige-agg-1, 3:10gige-agg-1
                     ID: groupnet0.subnet1.pool1
                 Ifaces: 37:10gige-agg-1, 38:10gige-agg-1, 39:10gige-agg-1, 40:10gige-agg-1
                     ID: groupnet0.subnet1.pool2
                 Ifaces: 37:10gige-agg-1, 38:10gige-agg-1, 39:10gige-agg-1, 40:10gige-agg-1

2) Run the IOCA check to determine cluster neighborhoods:
# perl IOCA -o 9.2.1.5,parallel -e -r "checkNetworkParallelUpgrade"
Isilon On-Cluster Analysis                        0.1395
Cluster Name                                      TestCluster
Cluster GUID                                      0050569b6db2ad086861001a2f1dd1d02473
Node Count                                        52
Current OneFS Version                             8.2.2.0
Destination OneFS Version                         9.2.1.5
Destination OneFS Version                         WARN
  WARN: There is a newer patch release available for OneFS 9.2.1: 9.2.1.9
Network Pools - Parallel Upgrade Support          FAIL
  CRITICAL: A parallel upgrade runs the risk of making one or more external networks temporarily unavailable. Affected pools: groupnet0.subnet0.pool1, groupnet0.subnet1.pool1, groupnet0.subnet1.pool2
  
  ==============================
  Node Neighborhoods
  ==============================
  1: [ 1, 7, 10, 16, 19, 24, 27, 31, 35, 40, 43, 45, 47 ]
  2: [ 2, 6, 9, 15, 18, 23, 26, 29, 33, 38, 41, 46, 48 ]
  3: [ 3, 5, 12, 14, 17, 22, 25, 30, 34, 37, 42, 50, 51 ]
  4: [ 4, 8, 11, 13, 20, 21, 28, 32, 36, 39, 44, 49, 52 ]

3) The possible resolution in this case would be to :

a) A quick fix would be to add all clusters nodes to the impacted network pools groupnet0.subnet0.pool1 & groupnet0.subnet1.pool1, groupnet0.subnet1.pool2
b) Add more nodes to affected network pools ( suggested nodes are based on neighborhood command output ) :

- Possible resolution to groupnet0.subnet0.pool1 : at least add node 7  to the network pool as node 7 exists in the same neighborhood as nodes 1
- Possible resolution to groupnet0.subnet1.pool1 : at least add node 34 to the network pool as node 34 exists in the same neighborhood as nodes 37
- Possible resolution to groupnet0.subnet1.pool2 : at least add node 33 to the network pool as node 33 exists in the same neighborhood as nodes 38

4) After applying the network changes, re-run the IOCA check to confirm that there are no issues:
# perl IOCA -o 9.2.1.5,parallel -e -r "checkNetworkParallelUpgrade"