PowerScale: Isilon: Isilon on-Cluster-analys: Nätverkspooler – stöd för parallell uppgradering

Network Pools - Parallel Upgrade Support          FAIL

CRITICAL: A parallel upgrade runs the risk of making one or more external networks temporarily unavailable. Affected pools: groupnet0.subnet0.pool1, groupnet0.subnet1.pool1, groupnet0.subnet1.pool2

• Detta är avsiktligt eftersom klustret har åtskilda externa nätverk där det finns en möjlig risk för att alla noder i de berörda nätverkspoolerna startas om samtidigt.
• I så fall kan klienterna inte komma åt klustret via det SmartConnect Zone Name (SCZN) som är associerat med den nätverkspoolen. 

Viktiga definitioner:
 

• Diskpool:  Samling diskar fördelade på en delmängd av klusternoderna. 
• Skyddsnivåer/policyer: Alla filer i filsystemet /ifs tilldelas en skyddsnivå. OneFS strimlar eller speglar innehållet i filer över noder och enheter i en enda diskpool. En fil med skyddsnivån 2d+1n garanterar att filen fortfarande är tillgänglig om två enheter eller en nod i den omslutande diskpoolen slutar fungera.
• Stadsdelar:  Uppsättningar med noder som helt innehåller en eller flera diskpooler. En delmängd av noder som tilldelats till en diskpool kan överlappa med en delmängd av noder som har tilldelats till ett annat område. Det finns ingen överlappning av diskpooler mellan stadsdelar. 
• DB API för diskpooler och reservationer Databas-API:et Diskpools har en reservationsfunktion som gör att ett klientprogram, till exempel Upgrade Framework, kan ta bort en uppsättning noder (dvs. omstart) eller enheter från klustret utan att bryta mot skyddet på någon diskpool.
• Osammanhängande externa nätverk: Ett kluster har separata externa nätverk om det finns en uppsättning noder med externa gränssnitt som inte överlappar alla diskpooler

• En parallell uppgradering installerar det nya operativsystemet på alla noder och startar sedan om en delmängd av noderna samtidigt, upp till en nod i varje diskpool.
• Varje nod försöker göra en reservation för sin tur att starta om tills alla noder har uppgraderats.  Noddelmängder och reservationer baseras på diskpool och nodtillgänglighet.
• Under en parallell uppgradering förblir noddelmängder som inte startas om online och kan fortsätta att betjäna klienter.

• Klustret har separata externa nätverk (KB-exempel: groupnet0.subnet0.pool1, groupnet0.subnet1.pool1, groupnet0.subnet1.pool2)
• Under den parallella uppgraderingen finns det en möjlig DU-risk för dessa nätverkspooler eftersom alla noder i de berörda nätverkspoolerna kan startas om samtidigt (d.v.s. de kan alla ta en diskpoolsreservation för att starta om samtidigt). 
• Om det inträffar är det inte möjligt att komma åt den berörda nätverkspoolens SCZN. 

• Eftersom alla kluster har olika nätverkskonfigurationer är lösningen inte densamma för alla kluster.
• För att undvika att ha en möjlig DU i den separata nätverkspoolen under den parallella uppgraderingen krävs en ändring av nätverkskonfigurationen i klustret och den externa miljön, vilket vanligtvis kräver flera godkännanden från kundens sida.
• Den här KB-artikeln innehåller inte en direkt lösning på IOCA-kontrollfelet på grund av ovanstående punkter.
• Den allmänna riktlinjen är dock att minst två noders externa medlemsgränssnitt i de berörda nätverkspoolerna finns på samma grannskaps-/feldomän för att undvika en osammanhängande nätverks-/DU-risk för den SmartConnect-nätverkspoolen (d.v.s. lägga till noder från samma grannskaps-/feldomän i den berörda nätverkspoolen). 
• KB-artikeln innehåller kommandon om hur du fastställer klustrets grannskaps-/feldomäner och medlemsnoderna i berörda nätverkspooler.

• Använd kommandot nedan för att fastställa medlemsnoderna i berörda nätverkspooler (Obs! Ersätt "<network-pool 1 ID> | <network-pool 2 ID> | <network-pool 3 ID"> med de berörda nätverkspool-ID:na från IOCA-kontrollinformationen och separera dem med hjälp av tecknet "|"). 

# isi network pools list -v | egrep -i 'ID: |ifaces' | egrep -A1 '<network-pool 1 ID> | <network-pool 2 ID> | <network-pool 3 ID>'

• Kör kommandot nedan för att fastställa klustrets grannskap (Obs! Sätt tillbaka <IOCA-skriptplats> och <ny OneFS-version> med rätt värden) 

# perl <IOCA script location> -o <New OneFS version>,parallel  -e -r "checkNetworkParallelUpgrade"  

• Korsreferera utdata från kommandona ovan för att avgöra vilka ändringar som måste göras i klustrets nätverkspooler.
• En snabb lösning är att lägga till alla klusternoder i de berörda nätverkspoolerna, men det är vanligtvis inte enkelt eftersom den externa nätverksmiljön kanske inte tillåter den här ändringen.
• När de nödvändiga ändringarna har tillämpats kör du IOCA-kontrollen igen.
• Om det inte går att fastställa vilka ändringar som behövs öppnar du ett ärende hos supporten för att få ytterligare hjälp.
• Exempel nedan för att fastställa nödvändiga ändringar i ett testscenario:

1) Determine member nodes in affected network pools:
# isi network pools list -v | grep -i 'ID: |ifaces' | egrep -A1 'groupnet0.subnet0.pool1| groupnet0.subnet1.pool1| groupnet0.subnet1.pool2'
                     ID: groupnet0.subnet0.pool1
                 Ifaces: 1:10gige-agg-1, 2:10gige-agg-1, 4:10gige-agg-1, 3:10gige-agg-1
                     ID: groupnet0.subnet1.pool1
                 Ifaces: 37:10gige-agg-1, 38:10gige-agg-1, 39:10gige-agg-1, 40:10gige-agg-1
                     ID: groupnet0.subnet1.pool2
                 Ifaces: 37:10gige-agg-1, 38:10gige-agg-1, 39:10gige-agg-1, 40:10gige-agg-1

2) Run the IOCA check to determine cluster neighborhoods:
# perl IOCA -o 9.2.1.5,parallel -e -r "checkNetworkParallelUpgrade"
Isilon On-Cluster Analysis                        0.1395
Cluster Name                                      TestCluster
Cluster GUID                                      0050569b6db2ad086861001a2f1dd1d02473
Node Count                                        52
Current OneFS Version                             8.2.2.0
Destination OneFS Version                         9.2.1.5
Destination OneFS Version                         WARN
  WARN: There is a newer patch release available for OneFS 9.2.1: 9.2.1.9
Network Pools - Parallel Upgrade Support          FAIL
  CRITICAL: A parallel upgrade runs the risk of making one or more external networks temporarily unavailable. Affected pools: groupnet0.subnet0.pool1, groupnet0.subnet1.pool1, groupnet0.subnet1.pool2
  
  ==============================
  Node Neighborhoods
  ==============================
  1: [ 1, 7, 10, 16, 19, 24, 27, 31, 35, 40, 43, 45, 47 ]
  2: [ 2, 6, 9, 15, 18, 23, 26, 29, 33, 38, 41, 46, 48 ]
  3: [ 3, 5, 12, 14, 17, 22, 25, 30, 34, 37, 42, 50, 51 ]
  4: [ 4, 8, 11, 13, 20, 21, 28, 32, 36, 39, 44, 49, 52 ]

3) The possible resolution in this case would be to :

a) A quick fix would be to add all clusters nodes to the impacted network pools groupnet0.subnet0.pool1 & groupnet0.subnet1.pool1, groupnet0.subnet1.pool2
b) Add more nodes to affected network pools ( suggested nodes are based on neighborhood command output ) :

- Possible resolution to groupnet0.subnet0.pool1 : at least add node 7  to the network pool as node 7 exists in the same neighborhood as nodes 1
- Possible resolution to groupnet0.subnet1.pool1 : at least add node 34 to the network pool as node 34 exists in the same neighborhood as nodes 37
- Possible resolution to groupnet0.subnet1.pool2 : at least add node 33 to the network pool as node 33 exists in the same neighborhood as nodes 38

4) After applying the network changes, re-run the IOCA check to confirm that there are no issues:
# perl IOCA -o 9.2.1.5,parallel -e -r "checkNetworkParallelUpgrade"