PowerScale: Var Partition Expansion Issues

Det aktuella IOCA-skriptet (Isilon On-Cluster Analysis Tool) genererar följande varningar relaterade till /var Partitioner:

System Partition Free Space                       FAIL
  CRITICAL: The following nodes have /var mirrors of different sizes: 1-10
  INFO: Please reference KB 000213248 (https://www.dell.com/support/kbdoc/000213248) for further information.
  INFO: For more information refer to KB article 000041465 found at https://www.dell.com/support/kbdoc/000041465.

Eller:

Mirror Status                                     FAIL
  CRITICAL: The mirror pair for var1 appear to be in the same fault domain on nodes: 1-10.
  CRITICAL: The following nodes have /var mirrors of different sizes: 1-10
  INFO: Please open a Technical Support Service Request and reference this failure within the description.
  INFO: Please refer to KB 000213248 (https://www.dell.com/support/kbdoc/en-us/000213248) for further information.

Om det ignoreras är det möjligt att panik kan uppstå på en Gen6- eller Gen6 MLK-nod under en procedur för byte av enhet eller släde.

När noden visas granskar du /var/log/messages Filen för noden visar fel och panikmeddelanden som liknar följande:

(da21:pmspcbsd0:0:22:0): pccb 0xfffffe8543174480, ccb 0xfffff80e31347000: ccbStatus 3, scsiStatus 5 
(da22:pmspcbsd0:0:23:0): pccb 0xfffffe8543151fe0, ccb 0xfffff807c4753000: ccbStatus 3, scsiStatus 5 
(da21:pmspcbsd0:0:22:0): WRITE(10). CDB: 2a 00 00 04 dd 44 00 00 04 00 
(da21:pmspcbsd0:0:22:0): CAM status: CCB request aborted by the host 
(da22:pmspcbsd0:0:23:0): WRITE(10). CDB: 2a 00 00 04 dd 44 00 00 04 00 
(da21:pmspcbsd0:0:22:0): Retrying command, 3 more tries remain 
(da22:pmspcbsd0:0:23:0): CAM status: CCB request aborted by the host 
(da21:pmspcbsd0:0:22:0): pccb 0xfffffe8543151fe0, ccb 0xfffff80e31347000: ccbStatus 3, scsiStatus 2 
(da22:pmspcbsd0:0:23:0): Retrying command, 3 more tries remain 
(da21:pmspcbsd0:0:22:0): cam_periph_error: SSQ_LOST removing device ccb 0xfffff80e31347000 status 0x8 flags 0x2 
(da22:pmspcbsd0:0:23:0): pccb 0xfffffe8543151fe0, ccb 0xfffff807c4753000: ccbStatus 3, scsiStatus 2 
(da21:pmspcbsd0:0:22:0): Invalidating pack 
(da22:pmspcbsd0:0:23:0): cam_periph_error: SSQ_LOST removing device ccb 0xfffff807c4753000 status 0x8 flags 0x2 
(da22:pmspcbsd0:0:23:0): Invalidating pack 
(da21:pmspcbsd0:0:22:0): removing device entry 
(da21:pmspcbsd0:0:22:0): Periph destroyed 
panic @ time 1681142660.493, thread 0xfffffe874ee12000: mirror/var1: all devices failed (read, offset 1304707072, length 0) 
time = 1681142660 
cpuid = 3, TSC = 0x5e76342b8e8e59 
Panic occurred in module kernel loaded at 0xffffffff80200000: 

Stack: -------------------------------------------------- 
kernel:g_mirror_worker+0x251f 
kernel:fork_exit+0x82 
-------------------------------------------------- 
Disabling swatchdog 
Dumping stacks (40960 bytes)

I versionerna 9.2.1.16 och senare, 9.4.0.6 och senare samt 9.5.0.0 och senare utökar OneFS partitionsstorleken /var till 2 GB under en uppgradering. Expansionsprocessen kan leda till att dessa meddelanden eller händelser utlöses.

Meddelandet om att speglingsparet finns i samma feldomän är specifikt för Gen6- och Gen6 MLK-noder (A200, A2000, A300, A3000, H400, H500, H600, H5600, H700, H7000, F800 och F810). Expansionen kanske inte validerar partitionsfeldomäner korrekt, vilket placerar båda partitionerna för någon av dem /var Spegla på enheter i samma enhetssläde. Detta orsakar panik i noden när släden tas bort om båda speglarna för den monterade /var skiljeväggen finns i släden.

Antingen mirror/var0 eller mirror/var1 fungerar som den aktiva /var partitionsspegel när som helst. Från panikmeddelandet i exemplet ser vi att /mirror/var1 var den aktiva spegeln. Om man tittar på gmirror status och isi devices drive list kommandoutdata för noden:

trunkerad status Kommando utdata:

gmirror status
     mirror/var1  COMPLETE  da14p3 (ACTIVE) <<<<
                            da13p3 (ACTIVE) <<<<

Informationen drive list Kommando utdata:

isi devices drive list
Lnn  Location  Device    Lnum  State   Serial       Sled
---------------------------------------------------------
21   Bay  1    /dev/da1  15    L3      xxxxxxxxxxxx N/A
21   Bay  2    /dev/da2  16    L3      xxxxxxxxxxxx N/A
21   Bay  A0   /dev/da5  12    HEALTHY xxxxxxxx     A
21   Bay  A1   /dev/da4  13    HEALTHY xxxxxxxx     A
21   Bay  A2   /dev/da3  14    HEALTHY xxxxxxxx     A
21   Bay  B0   /dev/da8  9     HEALTHY xxxxxxxx     B
21   Bay  B1   /dev/da7  10    HEALTHY xxxxxxxx     B
21   Bay  B2   /dev/da6  11    HEALTHY xxxxxxxx     B
21   Bay  C0   /dev/da11 6     HEALTHY xxxxxxxx     C
21   Bay  C1   /dev/da10 7     HEALTHY xxxxxxxx     C
21   Bay  C2   /dev/da9  8     HEALTHY xxxxxxxx     C
21   Bay  D0   /dev/da14 3     HEALTHY xxxxxxxx     D <<<<
21   Bay  D1   /dev/da13 4     HEALTHY xxxxxxxx     D <<<<
21   Bay  D2   /dev/da12 5     HEALTHY xxxxxxxx     D
21   Bay  E0   /dev/da17 0     HEALTHY xxxxxxxx     E
21   Bay  E1   /dev/da16 1     HEALTHY xxxxxxxx     E
21   Bay  E2   /dev/da15 2     HEALTHY xxxxxxxx     E
---------------------------------------------------------

I det här exemplet, /mirror/var1 bygger på enheterna D0 och D1. När D-släden tas bort från klustret får noden panik på grund av att det inte går att komma åt /var filsystem.

De olika storlekarna på var-partitionerna kan påverka alla typer av Isilon- eller PowerScale-noder som kör OneFS 9.x. Expansionen för /var utökar bara den aktiva /var partitionen på systemet. LKG-partitionen (Last Known Good) förblir den ursprungliga storleken. Om den aktiva /var partitionen utökas och fylls till mer än 50 %, detta kan orsaka problem om partitionen måste roteras för underhåll.

Använd följande kommando för att avgöra om det här problemet påverkar en LKG-partition i klustret:

# isi_for_array -sX 'gmirror list var0 var1' | grep -A20 mirror | egrep "var|Media"

Exempel:

lab-1# isi_for_array -sX 'gmirror list var0 var1' | grep -A20 mirror | egrep "var|Media"
lab-1: 1. Name: mirror/var0
lab-1:    Mediasize: 2147479552 (2.0G)
lab-1:    Mediasize: 2147483648 (2.0G)
lab-1:    Mediasize: 2147483648 (2.0G)
lab-2: 1. Name: mirror/var0
lab-2:    Mediasize: 2147479552 (1.0G) <<<<
lab-2:    Mediasize: 2147483648 (1.0G) <<<<
lab-2:    Mediasize: 2147483648 (1.0G) <<<<
lab-3: 1. Name: mirror/var0
lab-3:    Mediasize: 2147479552 (2.0G)
lab-3:    Mediasize: 2147483648 (2.0G)
lab-3:    Mediasize: 2147483648 (2.0G)
lab-4: 1. Name: mirror/var0
lab-4:    Mediasize: 2147479552 (2.0G)
lab-4:    Mediasize: 2147483648 (2.0G)
lab-4:    Mediasize: 2147483648 (2.0G)
....

Om någon av enheterna kommer tillbaka med en storlek på (1,0G) påverkas den.

I exemplet ovan är lab-2:s var0 partitioner påverkas och måste åtgärdas. Kör kommandot igen för var1 i klustret för att avgöra om det också påverkas.

Den permanenta korrigeringen för FAULT DOMAIN ISSUE ONLY finns i följande kodversioner:

• OneFS 9.5.0.6 
• 9.4.0.16 
• 9.2.1.25 

Den permanenta korrigeringen för partitionerna med olika storlekar /var arbetas på. Lös problemet genom att följa skriptprocessen. Om du inte kan uppgradera följer du skriptprocessen.
 
Så här använder du skriptet:

1. Ladda ned skriptet och md5-filen till klustret. Kopiera filerna till /ifs/data/Isilon_Support på klustret och kontrollera att md5-hashvärdet matchar hashvärdet i md5-filen:

Lab-1# mv var_mirror_repair.sh /ifs/data/Isilon_Support/
Lab-1# mv var_mirror_repair.md5 /ifs/data/Isilon_Support/
Lab-1# md5 /ifs/data/Isilon_Support/var_mirror_repair.sh
MD5 (/ifs/data/Isilon_Support/var_mirror_repair.sh) = 0881afeeb39fdaf02e2a90d784e4ed21
Lab-1# # cat /ifs/data/Isilon_Support/var_mirror_repair.md5
0881afeeb39fdaf02e2a90d784e4ed21

2. Om hashen inte matchar laddar du ned skriptet från FTP-platsen och kopierar det till klustret igen. Om hashen matchar kör du följande kommando som rot:

lab-1# sh /ifs/data/Isilon_Support/var_mirror_repair.sh

3. Skriptet tar vanligtvis 5–10 minuter att köra. Det kan ta längre tid på stora (30+ noder) eller upptagna kluster. När skriptet har slutförts rapporterar det om det lyckades eller om det uppstod problem.

När du startar skriptet visas följande utdata:

Lab-1# sh /ifs/data/Isilon_Support/var_mirror_repair.sh
Full output can be found at:
 /ifs/data/Isilon_Support/var_mirror_repair.FULL_CLUSTER.2023-10-19T092522.csv

Status: 0/4 Nodes checked, 0/4 var0 partitions, 0/4 var1 partitions

När skriptet fortskrider uppdateras raden Status:

Status: 4/4 Nodes checked, 4/4 var0 partitions, 4/4 var1 partitions

När skriptet har slutförts visas följande:

Status: 4/4 Nodes checked, 4/4 var0 partitions, 4/4 var1 partitions

No issues were identified.

Moving files to: var_mirror_repair.2023-10-19T092522.d
Bundle Location: var_mirror_repair.2023-10-19T092522.tgz

Detta indikerar att alla påverkade noder reparerades och att skriptet inte hade några problem. Om mottagna utdata skiljer sig från det här exemplet kontaktar du Dells support och tillhandahåller utdata och loggfiler från paketplatsen.