Data Domain: Flera enheter slutar fungera vid failover av HA-system | Problem med fast programvara CA01 CA02

Komponentfelet är begränsat till 8 TB-enheter med CA01- och CA02-versioner av fast programvara. Vanligtvis påverkas flera RAID-grupper (diskgrupper). Den kan vara enkel degraderad (ett fel) eller dubbel degraderad (två diskfel).

De system som inte startar om stöter på avbrott i filsystemet men bör återställas på egen hand. Med flera diskombyggnadsprojekt som pågår och väntar. För system som startas om tvingas en failover fram, vilket kan leda till att filsystemet fastnar under starten.

Gäller för:

• Endast modeller DD9400 och DD9900
• 8 TB hårddisk i externa lagringshöljen med fast programvara (fast programvara) version CA01 eller CA02

Korrigering:

• Åtgärdade DDOS-versioner: DDOS 7.11.x, 7.10.1.0 och 7.7.5.1 och senare har inbyggd fast CA04-programvara.
• En MDU (Minimal Disruptive Upgrade) är tillgänglig för alla andra DDOS 7.x-versioner.
  • Länk till MDU: Läs mig + ladda ner: DDOS 7.X-hårddiskpaket med minimalt störande uppgradering (MDU) – november 2022 (Logga in som registrerad Dell-supportanvändare krävs för att visa dokumentet)

Symptom på diskfel:

• Diskloggar rapporterar sense-nyckel 4/0x29/0xcd när du gör en SCSI WRITE cdb 0x8aorsakar ett skrivkommandofel diskfel i DD_RAID-modulen.

Sep 16 06:17:59 DD9900 kernel: [11647695.019070] (E4)scsi16: (ffff88fe1522d800) (0/5/10000) chnl/tgt/lun 0/232/0 result 0x2, cdb 0x8a:00000001498b4728:00000308, sense 4/0x29/0xcd - Unit Attention Retry-able
Sep 16 06:20:58 DD9900 kernel: [11647874.161940] (E4)scsi16: (ffff88b96b72cc00) (1/5/10000) chnl/tgt/lun 0/246/0 result 0x2, cdb 0x8a:0000000149adb300:00000308, sense 4/0x29/0xcd - Unit Attention Retry-able
Sep 16 06:20:58 DD9900 kernel: [11647874.161997] (E4)scsi16: (ffff88b946a08e00) (1/5/10000) chnl/tgt/lun 0/237/0 result 0x2, cdb 0x8a:000000014a777478:00000308, sense 4/0x29/0xcd - Unit Attention Retry-able

• DD_RAID diskar slutar fungera på grund av "WRITE I/O"-fel.

Sep 16 06:17:59 DD9900 kernel: [11647695.020655] (E4)DD_RAID: Failing working disk [6.35 dm-27p3 WSD48SRA 254:3635] from DiskGroup dg19
Sep 16 06:20:59 DD9900 kernel: [11647875.122961] (E4)DD_RAID: Failing working disk [2.32 dm-25p3 WSD49GCR 254:403] from DiskGroup dg4
Sep 16 06:21:54 DD9900 kernel: [11647930.659786] (E4)DD_RAID: Failing working disk [2.39 dm-46p3 WSD48TEG 254:739] from DiskGroup dg2
Sep 16 06:21:58 DD9900 kernel: [11647934.612549] (E4)DD_RAID: Failing working disk [{*}6.43{*} dm-233p3 WSD49GG6 254:3731] from DiskGroup dg18
Sep 16 06:22:04 DD9900 kernel: [11647940.363248] (E4)DD_RAID: Failing working disk [{*}6.21{*} dm-219p3 WSD47KYS 254:3507] from DiskGroup dg18
Sep 16 06:22:04 DD9900 kernel: [11647940.477630] (E4)DD_RAID: Failing working disk [{*}6.5{*} dm-242p3 WSD4B13V 254:3875] from DiskGroup dg17
Sep 16 06:22:04 DD9900 kernel: [11647940.651261] (E4)DD_RAID: Failing working disk [{*}6.18{*} dm-259p3 WSD47EWA 254:4147] from DiskGroup dg17
Sep 16 06:22:04 DD9900 kernel: [11647940.726575] (E4)DD_RAID: Failing working disk [{*}6.15{*} dm-265p3 WSD49BGL 254:4243] from DiskGroup dg16
Sep 16 06:22:05 DD9900 kernel: [11647941.100980] (E4)DD_RAID: Failing working disk [{*}6.26{*} dm-257p3 WSD49ART 254:4115] from DiskGroup dg16

DDFS kan inte starta symptom:

• I ddfs.info gäller meddelandena nedan under en lång tidsperiod under DDFS-start. Den fortskrider inte förrän DDFS-processen har avslutats och tvingat fram en redundansväxling till peer-noden.

09/15 21:49:21.962018 [a0cc980] SYSTEM_STARTUP: ===== completed <SegStore> - time (1663292961) =====
09/15 21:49:21.962028 [a0cc980] SYSTEM_STARTUP: ===== starting <CC-Agent> - time (1663292961) =====

09/15 21:57:11.699754 [7fc335f111f0] cp_scrub_partitions: cc is not initialized yet,Skipping scheduling of CP to scrub
09/15 21:59:11.819754 [7fc335f111f0] cp_scrub_partitions: cc is not initialized yet,Skipping scheduling of CP to scrub
09/15 22:01:11.939754 [7fc335f111f0] cp_scrub_partitions: cc is not initialized yet,Skipping scheduling of CP to scrub
...
09/16 02:01:26.339755 [7fc335f111f0] cp_scrub_partitions: cc is not initialized yet,Skipping scheduling of CP to scrub
09/16 02:03:26.459755 [7fc335f111f0] cp_scrub_partitions: cc is not initialized yet,Skipping scheduling of CP to scrub
09/16 02:05:26.579755 [7fc335f111f0] cp_scrub_partitions: cc is not initialized yet,Skipping scheduling of CP to scrub

Grundorsak till diskfelet:
Enhetens DRAM-cachebuffert stöter på ett falskt dataintegritetsfel under en slumpmässig I/O-arbetsbelastning. Hårddisktillverkaren har tillhandahållit en korrigering av den fasta programvaran för att lösa problemet.

Alternativ lösning

Om en omstart eller failover-funktion har inträffat kan DD_RAID "failback" De trasiga enheterna är inte ett alternativ. I det här fallet låter du traditionella diskåterskapande (paritet) slutföras. Inaktivera GC tills alla diskåterställningar har slutförts. Om filsystemet har problem med att starta efter en omstart eller en redundansväxling kontaktar du en DDFS TSE innan du avslutar DDFS-processen.

Om en omstart eller failover inte har inträffat kan DD_RAID "failback" Ombyggnad av de trasiga diskarna. Detta är en manuell åtgärd med "dd_raidtool" i bash. Innan du initierar diskåterställning efter fel måste de felaktiga diskfacken startas om. Kontakta Dells tekniska support för att få detta gjort.

Baserat på praktisk erfarenhet bör du tillåta att diskåterskapande över 50 % slutförs i stället för att växla till återställning efter fel.

När alla ombyggnadsfunktioner har slutförts kan enheter som fortfarande inte fungerar "unfailed" om deras respektive kortplatser har slagits om. 

Korrigering

Den fasta programvaran för disk version CA04 är nu tillgänglig som en MDU-korrigeringsfil i form av ett DDOS-uppgraderingspaket. Kontakta supporten för att få en kopia av RPM. Det ligger i /auto/cores/drive-firmware-rpm/drive-firmware-CA04.rpm.

Vanliga frågor: 

1. Kan uppgraderingen göras med ett Data Domain-filsystem online?
   Nej, DDFS måste vara offline|inaktiverat under uppgraderingen av den fasta programvaran.
2. Krävs en omstart?
   Nej, en omstart krävs inte.
3. Kan den fasta programvaran tillämpas på den passiva noden?
   Nej, den kan inte tillämpas på den passiva noden. Den får endast köras på den aktiva noden.
4. Hur lång tid tar det att slutföra uppgraderingen av den fasta programvaran CA04.RPM för 180–240(4-DS60)-enheter?
   Uppgraderingen är i parallellt läge, det tar 10–15 minuter om det inte finns några problem.
5. Om alla enheter inte är uppdaterade, uppdaterar systemet automatiskt icke-CA04-enheter?
   Nej, uppdateringen måste köras om eller kan göras manuellt. Se "Ytterligare information" nedan.
6. Måste de använda den fasta programvaran för den fasta programvaran CA04? RPM-korrigering på andra icke-HA DD också eftersom de kan ha enheterna på äldre fast programvara också?
   Vi rekommenderar att du även tillämpar den fasta programvaran för den fasta programvaran CA04.RPM på icke-HA-DD:er med 8 TB-enheter.
7. Kan en drivenhet sluta fungera under uppdateringen?
   Om en enhet slutar fungera före eller under uppdateringen av fast programvara kontrollerar du om det finns felhistorik på disken (till exempel "disk show reliability-data"). Om disken innehåller några fel måste den förbli trasig och måste bytas ut. Om det inte finns några fel på disken kör du kommandot "disk unfail <disk.id>" för att göra enheten till en reservenhet. Om en defekt enhet byts ut mot en enhet med den äldre fasta programvaran för CA01/CA02-enheten måste enheten uppdateras manuellt. Se "Så här uppdaterar du ersättningsenheter manuellt" nedan i det ytterligare avsnittet nedan.
8. Varför är det nödvändigt att pausa aktivitet i diskgrupp 2 (dg2), även när DDFS är nere?
   DDOS har fortsatt åtkomst till de EXT3-monteringar som finns i dg2.

Tillämpa MDU-paketet:

1. Anslut till den aktiva noden i HA-systemet. Uppdateringen fungerar inte från den passiva noden eller väntelägesnoden.
2. Schemalägg skärmavbrott med användaren eftersom DDFS måste inaktiveras under uppdateringen av den fasta programvaran. Kör följande kommandon för att kontrollera aktuella aviseringar och åtgärda dem efter behov. Stoppa rengöringsprocessen om den är igång. Inaktivera filsystemet. 
               # alerts show current
      # filesys clean status
      # filesys clean stop
      # filesys disable
3. Kontrollera autosupport för CA01/CA02-diskar som ingår i >=dg2 för system som inte har genomgått lagringsmigrering. För system som har genomgått lagringsmigrering kan diskgruppen med ext3-disksystem inte vara dg2. 
   Sök efter ext3. Den visar DD_RAID histogram för dgXX där XX är DG-numret. Se exempel i avsnittet "Ytterligare information" nedan. Om dg2/dgXX-diskarna har fast CA01/C02-programvara måste disksystemet tillfälligt avbrytas under MDU-uppgraderingsprocessen. Om du inte gör det kan det utlösa ett nytt fel om all I/O-aktivitet i diskgruppen inte pausas. Öppna ett supportärende om du vill ha hjälp med att pausa diskgruppen. Om dg2/dgXX inte innehåller CA01/CA02-diskar behövs inget supportärende. Gå till steg 4.
4. Ladda upp drive-firmware-CA04.rpm från användargränssnittet för DD System Manager.
5. Uppgradera diskarna. Kör följande kommando och vänta tills det är klart. 
              # system upgrade start drive-firmware-CA04.rpm"
6. Vänta ~10 minuter.
7. Kontrollera att alla diskar är uppgraderade. Om diskarna fortfarande visas med den fasta programvaran CA01/CA02 upprepar du steg 5 och 6. 
              # disk show hardware
8. Kontrollera det aktuella disktillståndet. Om det finns flera diskfel kontaktar du supporten för att få hjälp. För fel på en disk kontrollerar du om det finns någon felhistorik på disken. Om det inte finns några fel tar du bort disken. 
             # disk unfail <disk.id>
9. Verifiera varningar och aktivera DDFS. 
             # alerts show current
          # filesys enable

Så här kontrollerar du om det finns dg2/dgXX-diskar som har ext3-disksystem och innehåller fast CA01/CA02-programvara.
För icke-lagringsmigrerade system har dg2 ext3-disksystemen.

Sök i autosupporten efter följande rader. (i fet stil)

• DD_RAID Histogram

DD_RAID Histogram for dg2 0xafc318cb033dc226
DG:dg2 UUID:0xafc318cb033dc226 MajorNr:61 MajorNrEx:62 GrpNr:10 State:Complete Status:Reassembled Index:0
    Total Disks:14 Working Disks:14 Max Disk Failures:2 Sectors:148681617408 Options:0x10000100 Type:StandAlone Primary
    Pool UUID:0x0:0 Tier Type:0x2 Host SN:CNWS300198000G MG UUID:0x0
Array [ext3] (active): [raid-type 0] [(0x0, 0x0) options] [NVR:N/N] [256KB stripe] [117458432 sectors] ID[0xb6fbb5a5a61ecf9]
Array [ppart] (active): [raid-type 6] [(0x10, 0x3) options] [NVR:N/N] [4608KB stripe] [148681617408 sectors] ID[0xfb32c1339fafc87b]

• Lagring Show All (Det här kommandot kan även köras på DD CLI)

dg2       2.1-2.3, 2.13-2.15, 2.25-2.27,     14      7.2 TiB               
          2.37-2.39, 2.49-2.50

• Disk Show Hardware (Det här kommandot kan köras på DD CLI)

2.1          A0     SEAGATE STCRSEI1CLAR8000   CA01       WSD4R8GS       7.2 TiB    SASe      DG118000919             
2.2          A1     SEAGATE STCRSEI1CLAR8000   CA01       WSD4REMW       7.2 TiB    SASe      DG118000919             
2.3          A2     SEAGATE STCRSEI1CLAR8000   CA01       WSD4LM5C       7.2 TiB    SASe      DG118000919      
2.13         B0     SEAGATE STCRSEI1CLAR8000   CA01       WSD4SMHX       7.2 TiB    SASe      DG118000919             
2.14         B1     SEAGATE STCRSEI1CLAR8000   CA01       WSD4RF04       7.2 TiB    SASe      DG118000919             
2.15         B2     SEAGATE STCRSEI1CLAR8000   CA01       WSD4QHQE       7.2 TiB    SASe      DG118000919    
2.25         C0     SEAGATE STCRSEI1CLAR8000   CA01       WSD4RE9Y       7.2 TiB    SASe      DG118000919             
2.26         C1     SEAGATE STCRSEI1CLAR8000   CA01       WSD4LMME       7.2 TiB    SASe      DG118000919             
2.27         C2     SEAGATE STCRSEI1CLAR8000   CA01       WSD4REW8       7.2 TiB    SASe      DG118000919
2.37         D0     SEAGATE STCRSEI1CLAR8000   CA01       WSD4SMHM       7.2 TiB    SASe      DG118000919             
2.38         D1     SEAGATE STCRSEI1CLAR8000   CA01       WSD4QHWR       7.2 TiB    SASe      DG118000919             
2.39         D2     SEAGATE STCRSEI1CLAR8000   CA01       WSD4R862       7.2 TiB    SASe      DG118000919     
2.49         E0     SEAGATE STCRSEI1CLAR8000   CA01       WSD4SSKK       7.2 TiB    SASe      DG118000919             
2.50         E1     SEAGATE STCRSEI1CLAR8000   CA01       WSD4SV53       7.2 TiB    SASe      DG118000919             
2.51         E2     SEAGATE STCRSEI1CLAR8000   CA01       WSD4R944       7.2 TiB    SASe      DG118000919

I exemplet ovan har diskarna fast programvara CA01. Ett supportärende måste öppnas så att Dell Technologies kan hjälpa till med att pausa diskgruppen (dg2) som innehåller ext3-disksystemet innan MDU-uppgraderingen tillämpas. 

För lagringsmigrerade system kan det hända att disksystemet som innehåller ext3 inte är dg2. Sök i autosupporten efter följande rader. (I fetstil)

• Licenses (STORAGE-MIGRATION-FOR-DATADOMAIN-SYSTEMS)

Licenses
--------
System locking-id: APX00123456789
Licensing scheme: EMC Electronic License Management System (ELMS) node-locked mode
Capacity licenses:
##   Feature           Shelf Model    Capacity      Type        State    Expiration Date   Note
--   ---------------   ------------   -----------   ---------   ------   ---------------   ----
1    CAPACITY-ACTIVE   HIGH_DENSITY   1396.98 TiB   permanent   active   n/a                   
--   ---------------   ------------   -----------   ---------   ------   ---------------   ----
Licensed Active Tier capacity: 1396.98 TiB*
* Depending on the hardware platform, usable filesystem capacities may vary.
Feature licenses:
##   Feature                                    Count   Type         State    Expiration Date   Note           
--   ----------------------------------------   -----   ----------   ------   ---------------   ---------------
1    REPLICATION                                    1   permanent    active   n/a                              
2    VTL                                            1   permanent    active   n/a                              
3    DDBOOST                                        1   permanent    active   n/a                              
4    RETENTION-LOCK-GOVERNANCE                      1   permanent    active   n/a                              
5    ENCRYPTION                                     1   permanent    active   n/a                              
6    I/OS                                           1   permanent    active   n/a                              
7    RETENTION-LOCK-COMPLIANCE                      1   permanent    active   n/a                              
8    STORAGE-MIGRATION-FOR-DATADOMAIN-SYSTEMS       6   evaluation   grace    2023-11-20        
--   ----------------------------------------   -----   ----------   ------   ---------------   ---------------
License file last modified at : 2022/08/29 11:02:13.

• DD_RAID Histogram

DD_RAID Histogram for dg23 0x323d6b863ae21b8f
DG:dg23 UUID:0x323d6b863ae21b8f MajorNr:61 MajorNrEx:62 GrpNr:18 State:Complete Status:Reassembled Index:0
    Total Disks:14 Working Disks:14 Max Disk Failures:2 Sectors:161373947904 Options:0x10000100 Type:StandAlone Primary
    Pool UUID:0x0:0 Tier Type:0x2 Host SN:CNWS30021O001N MG UUID:0x0
Array [ext3] (active): [raid-type 0] [(0x0, 0x0) options] [NVR:N/N] [256KB stripe] [117458432 sectors] ID[0x16222e80737dc6bf]
Array [ppart] (active): [raid-type 6] [(0x10, 0x3) options] [NVR:N/N] [4608KB stripe] [161373947904 sectors] ID[0x8febacd8140b2c05]

• Storage Show All (This command can be ran on the DD CLI)

dg23      6.1-6.3, 6.13-6.15, 6.25-6.27,     14      7.2 TiB               
          6.37-6.39, 6.49-6.50

• Disk Show Hardware (This command can be ran on the DD CLI)

6.1          A0     HITACHI H04728T8CLAR8000   A430       VYH2S3SS         7.2 TiB    SASe      DG118000785             
6.2          A1     HITACHI H04728T8CLAR8000   A430       VYH2RVSS         7.2 TiB    SASe      DG118000785             
6.3          A2     HITACHI H04728T8CLAR8000   A430       VYH2K9KS         7.2 TiB    SASe      DG118000785          
6.13         B0     HITACHI H04728T8CLAR8000   A430       VYH2JJBS         7.2 TiB    SASe      DG118000785             
6.14         B1     HITACHI H04728T8CLAR8000   A430       VYH1Y83S         7.2 TiB    SASe      DG118000785             
6.15         B2     HITACHI H04728T8CLAR8000   A430       VYH2RNGS         7.2 TiB    SASe      DG118000785    
6.25         C0     HITACHI H04728T8CLAR8000   A430       VYH1DN8S         7.2 TiB    SASe      DG118000785             
6.26         C1     HITACHI H04728T8CLAR8000   A430       VYH2124S         7.2 TiB    SASe      DG118000785             
6.27         C2     HITACHI H04728T8CLAR8000   A430       VYH0ZM6S         7.2 TiB    SASe      DG118000785  
6.25         C0     HITACHI H04728T8CLAR8000   A430       VYH1DN8S         7.2 TiB    SASe      DG118000785             
6.26         C1     HITACHI H04728T8CLAR8000   A430       VYH2124S         7.2 TiB    SASe      DG118000785             
6.27         C2     HITACHI H04728T8CLAR8000   A430       VYH0ZM6S         7.2 TiB    SASe      DG118000785           
6.47         D10    HITACHI H04728T8CLAR8000   A430       VYH1XGJS         7.2 TiB    SASe      DG118000785             
6.48         D11    HITACHI H04728T8CLAR8000   A430       VYH20VHS         7.2 TiB    SASe      DG118000785             
6.49         E0     HITACHI H04728T8CLAR8000   A430       VYH2G5XS         7.2 TiB    SASe      DG118000785

Eftersom enheterna inte har CA01- och CA02-firmware krävs inget supportärende. Gå till steg 3 av MDU-uppgraderingsstegen i avsnittet "Resolution" ovan.