PowerScale: Isilon: Isilon On-Cluster-analyse: Netværkspuljer – understøttelse af parallel opgradering

Network Pools - Parallel Upgrade Support          FAIL

CRITICAL: A parallel upgrade runs the risk of making one or more external networks temporarily unavailable. Affected pools: groupnet0.subnet0.pool1, groupnet0.subnet1.pool1, groupnet0.subnet1.pool2

• Dette er tilsigtet, da klyngen har separate eksterne netværk, hvor der er en mulig risiko for, at alle noder i de berørte netværkspuljer genstarter samtidigt.
• I så fald kan klienter ikke få adgang til klyngen via det SmartConnect Zone Name (SCZN), der er knyttet til den pågældende netværkspulje. 

Vigtige definitioner:
 

• Diskpulje:  Samling af diske fordelt på et undersæt af klyngenoder. 
• Beskyttelsesniveauer/politikker: Alle filer på /ifs-filsystemet tildeles et beskyttelsesniveau. OneFS spreder eller spejler indholdet af filer på tværs af noder og drev i en enkelt diskpulje. En fil med beskyttelsesniveauet 2d+1n garanterer, at filen stadig er tilgængelig, hvis to drev eller én node i den omsluttende diskpulje går ned.
• Kvarterer:  Nodesæt, der udelukkende indeholder en eller flere diskpuljer. Et undersæt af noder, der er tildelt en diskpool, kan overlappe med et undersæt af noder, der er tildelt til et andet nabolag. Der er ingen overlapning af diskpools mellem kvarterer. 
• Diskpools DB API og reservationer Diskpools-database-API'en har en reservationsfunktion, der gør det muligt for et klientprogram som f.eks. Upgrade Framework at fjerne et sæt noder (dvs. genstarte) eller drev fra klyngen uden at bryde beskyttelsen på nogen diskpool.
• Separate eksterne netværk: En klynge har separate eksterne netværk, hvis der er et sæt noder med eksterne grænseflader, der ikke overlapper hinanden på tværs af alle diskpuljer

• En parallel opgradering installerer det nye operativsystem på alle noder og genstarter derefter et undersæt af noder samtidigt, op til én node i hver diskpool.
• Hver node forsøger at foretage en reservation for deres tur til at genstarte, indtil alle noder er opgraderet.  Nodeundersæt og reservationer er baseret på diskpool og nodetilgængelighed.
• Under en parallel opgradering forbliver nodeundersæt, der ikke genstartes, online og kan fortsætte med at betjene klienter.

• Klyngen har usammenhængende eksterne netværk (KB-eksempel : groupnet0.subnet0.pool1, groupnet0.subnet1.pool1, groupnet0.subnet1.pool2)
• Under den parallelle opgradering er der en mulig DU-risiko på disse netværkspuljer, da alle noder i de berørte netværkspuljer kan genstarte på samme tid (dvs. de kan alle tage en diskpool-reservation for at genstarte samtidigt). 
• Hvis det sker, vil det ikke være muligt at få adgang til SCZN for den berørte netværkspulje. 

• Da hver klynge har forskellige netværkskonfigurationer, er løsningen ikke den samme for alle klynger.
• For at undgå at have en mulig DU på den separate netværkspulje under den parallelle opgradering, vil det være nødvendigt med en ændring af netværkskonfigurationen på klyngen og det eksterne miljø, hvilket normalt kræver flere godkendelser fra kundens side.
• Denne KB-artikel vil ikke indeholde en direkte løsning på IOCA-kontrolfejl grundet ovenstående punkter.
• Den generelle retningslinje er dog, at mindst to noders eksterne medlemsgrænseflader i de berørte netværkspuljer findes på det samme nabolag/fejldomæne for at undgå en usammenhængende netværks-/DU-risiko for den SmartConnect-netværkspulje (dvs. tilføj noder fra samme nabolag/fejldomæne til den berørte netværkspulje). 
• KB-artiklen indeholder kommandoer til, hvordan du bestemmer klyngens nabolags-/fejldomæner og medlemsnoderne i berørte netværkspuljer.

• Brug nedenstående kommando til at bestemme medlemsnoderne i berørte netværkspuljer (Bemærk: Udskift ID'et> for "<netværkspulje 1 | <netværkspulje 2 ID> | <network-pool 3 ID>" med de berørte netværkspulje-id'er fra IOCA kontroloplysningerne og adskilles mellem dem ved hjælp af tegnet '|'). 

# isi network pools list -v | egrep -i 'ID: |ifaces' | egrep -A1 '<network-pool 1 ID> | <network-pool 2 ID> | <network-pool 3 ID>'

• Kør nedenstående kommando for at bestemme klyngens nabolag (Bemærk: Udskift <IOCA-scriptplacering> og <ny OneFS-version> med deres korrekte værdier) 

# perl <IOCA script location> -o <New OneFS version>,parallel  -e -r "checkNetworkParallelUpgrade"  

• Krydsreferer outputtet fra ovenstående kommandoer for at afgøre, hvilke ændringer der skal foretages i klyngens netværkspuljer.
• En hurtig løsning ville være at tilføje alle klyngenoder til de berørte netværkspuljer, men igen er det normalt ikke let, da det eksterne netværksmiljø muligvis ikke tillader denne ændring.
• Når de nødvendige ændringer er anvendt, køres IOCA-kontrollen igen.
• Hvis du ikke kan finde ud af, hvilke ændringer der skal foretages, skal du åbne en sag hos Support for at få yderligere hjælp.
• Eksempel nedenfor for at bestemme de nødvendige ændringer i et testscenarie:

1) Determine member nodes in affected network pools:
# isi network pools list -v | grep -i 'ID: |ifaces' | egrep -A1 'groupnet0.subnet0.pool1| groupnet0.subnet1.pool1| groupnet0.subnet1.pool2'
                     ID: groupnet0.subnet0.pool1
                 Ifaces: 1:10gige-agg-1, 2:10gige-agg-1, 4:10gige-agg-1, 3:10gige-agg-1
                     ID: groupnet0.subnet1.pool1
                 Ifaces: 37:10gige-agg-1, 38:10gige-agg-1, 39:10gige-agg-1, 40:10gige-agg-1
                     ID: groupnet0.subnet1.pool2
                 Ifaces: 37:10gige-agg-1, 38:10gige-agg-1, 39:10gige-agg-1, 40:10gige-agg-1

2) Run the IOCA check to determine cluster neighborhoods:
# perl IOCA -o 9.2.1.5,parallel -e -r "checkNetworkParallelUpgrade"
Isilon On-Cluster Analysis                        0.1395
Cluster Name                                      TestCluster
Cluster GUID                                      0050569b6db2ad086861001a2f1dd1d02473
Node Count                                        52
Current OneFS Version                             8.2.2.0
Destination OneFS Version                         9.2.1.5
Destination OneFS Version                         WARN
  WARN: There is a newer patch release available for OneFS 9.2.1: 9.2.1.9
Network Pools - Parallel Upgrade Support          FAIL
  CRITICAL: A parallel upgrade runs the risk of making one or more external networks temporarily unavailable. Affected pools: groupnet0.subnet0.pool1, groupnet0.subnet1.pool1, groupnet0.subnet1.pool2
  
  ==============================
  Node Neighborhoods
  ==============================
  1: [ 1, 7, 10, 16, 19, 24, 27, 31, 35, 40, 43, 45, 47 ]
  2: [ 2, 6, 9, 15, 18, 23, 26, 29, 33, 38, 41, 46, 48 ]
  3: [ 3, 5, 12, 14, 17, 22, 25, 30, 34, 37, 42, 50, 51 ]
  4: [ 4, 8, 11, 13, 20, 21, 28, 32, 36, 39, 44, 49, 52 ]

3) The possible resolution in this case would be to :

a) A quick fix would be to add all clusters nodes to the impacted network pools groupnet0.subnet0.pool1 & groupnet0.subnet1.pool1, groupnet0.subnet1.pool2
b) Add more nodes to affected network pools ( suggested nodes are based on neighborhood command output ) :

- Possible resolution to groupnet0.subnet0.pool1 : at least add node 7  to the network pool as node 7 exists in the same neighborhood as nodes 1
- Possible resolution to groupnet0.subnet1.pool1 : at least add node 34 to the network pool as node 34 exists in the same neighborhood as nodes 37
- Possible resolution to groupnet0.subnet1.pool2 : at least add node 33 to the network pool as node 33 exists in the same neighborhood as nodes 38

4) After applying the network changes, re-run the IOCA check to confirm that there are no issues:
# perl IOCA -o 9.2.1.5,parallel -e -r "checkNetworkParallelUpgrade"