Healthcheck voor Data Domain HA (DDHA)-appliances

Summary: Dit artikel is bedoeld als leidraad voor het uitvoeren van een eenvoudige healthcheck van het HA-systeem na een servicegebeurtenis. DDHA-configuraties (Data Domain Highly Available) variëren afhankelijk van de gebruikte Data Domain-modellen. ...

This article applies to This article does not apply to This article is not tied to any specific product. Not all product versions are identified in this article.

Symptoms

Data Domain Highly Available systemen (DDHA) zijn ontworpen voor failover tussen knooppunten.  Alleen het actieve knooppunt is in productie terwijl het stand-byknooppunt wacht op een foutgebeurtenis om de plaats van het actieve knooppunt in te nemen (ACTIEF - PASSIEF). 
Het is absoluut noodzakelijk om te controleren of beide DDHA-knooppunten in goede staat zijn en een failover uit te voeren, mocht er een storing optreden. 
De CLI-opdrachten die in dit artikel worden beschreven, helpen bij het ontdekken van mogelijke problemen die een succesvolle failover kunnen voorkomen. 
Deze gids is onderverdeeld in belangrijke gebieden die moeten worden gecontroleerd.
  • HA-hardware en -configuratie
  • Netwerk
  • Filesystem
HA Network Troubleshooting
 
# net show settings  
De netwerkpoortinstellingen verschillen, afhankelijk van welk knooppunt de opdracht #net instellingen weergeven wordt uitgevoerd. Geconfigureerde poorten op DDHA-systemen hebben het type "floating" of het type "fixed".  Voer
 "net show settings"
op beide knooppunten en vergelijk de uitvoer.
  1. "Zwevende" interfaces:  Controleer of elke geconfigureerde netwerkkaartpoort, alias of veth, die een ingeschakelde en actieve status weergeeft op het actieve knooppunt, een identieke ingeschakelde en actieve status heeft op het stand-byknooppunt.  Verwacht wordt dat elke geconfigureerde NIC-poort, alias of Veth die is ingesteld op type floating een IP-adres heeft dat wordt weergegeven op het actieve knooppunt en een bijbehorende n.v.t. op het stand-byknooppunt. 
  2. "Vaste" interfaces: Controleer of elke geconfigureerde NIC-poort, alias of kabel met het label "fixed" de status "enabled and running state" weergeeft. "Vaste" interfaces hebben geen identieke configuraties tussen knooppunten
  3. Controleer of de HA-interconnect (veth99) wordt weergegeven en of alle vereiste poorten zijn ingeschakeld en worden uitgevoerd, Opmerking:  Het aantal vereiste poortverbindingen en slotlocatie voor de HA-interconnect (veth99) is DD-modelspecifiek

Actief knooppunt:
# net show settings
port     enabled   state     DHCP   IP address                             netmask          type           additional setting
------   -------   -------   ----   ------------------------------------   --------------   ------------   -----------------------------------------------
ethMa    yes       running   no     10.25.18.50                            255.255.255.0       fixed
                                           2620:0:170:1608:260:16ff:fe5c:92bc**   /64
                                                fe80::260:16ff:fe5c:92bc**        /64
ethMb    no        down      ipv4   n/a                                           n/a          fixed
ethMc    no        down      ipv4   n/a                                           n/a          fixed
ethMd    no        down      ipv4   n/a                                           n/a          fixed
eth4a    yes       running   no     10.25.18.63                            255.255.255.0       floating
                                           2620:0:170:1608:260:16ff:fe51:8c60**   /64
                                               fe80::260:16ff:fe51:8c60**         /64
eth4b    no        down       no     n/a                                          n/a          fixed
eth4c    no        down       no     n/a                                          n/a          fixed
eth4d    no        down       no     n/a                                          n/a          fixed
eth5a    no        down       no     n/a                                          n/a          fixed
eth5b    yes       running   no     10.25.18.60                            255.255.255.0       floating
                                           2620:0:170:1608:260:16ff:fe52:2951**   /64
                                                fe80::260:16ff:fe52:2951**        /64
eth5c    no        down       no     n/a                                          n/a          fixed
eth5d    no        down       no     n/a                                          n/a          fixed
eth11a   yes       running   n/a    n/a                                           n/a          interconnect   bonded to veth99
eth11b   yes       running   n/a    n/a                                           n/a          interconnect   bonded to veth99
eth11c   yes       running   n/a    n/a                                           n/a          interconnect   bonded to veth99
eth11d   yes       running   n/a    n/a                                           n/a          interconnect   bonded to veth99
veth99   yes       running   no     d:d:d:d:d:0060:1652:0ecc                 /80               interconnect   lacp hash xor-L3L4: eth11a,eth11b,eth11c,eth11d
                                                 fe80::260:16ff:fe52:ecc**   /64
------   -------   -------   ----   ------------------------------------   --------------   ------------   -----------------------------------------------
Stand-by knooppunt:
# net show settings
port     enabled   state     DHCP   IP address                             netmask          type           additional setting
------   -------   -------   ----   ------------------------------------   --------------   ------------   -----------------------------------------------
ethMa    yes       running   no     10.25.18.49                            255.255.255.0    fixed
                                     2620:0:170:14567:260:16ff:fe5c:dr3**  /64
                                               fe80::260:16ff:fe5c3457c**  /64
ethMb    no        down      ipv4   n/a                                    n/a              fixed
ethMc    no        down      ipv4   n/a                                    n/a              fixed
ethMd    no        down      ipv4   n/a                                    n/a              fixed
eth4a    yes       running   no     n/a                                    255.255.255.0    floating
                                    2620:0:170:1608:260:1ght6:fe51:4570**  /64
                                               fe80::260:16ff:fe51:7890**  /64
eth4b    no        down       no     n/a                                   n/a              fixed
eth4c    no        down       no     n/a                                   n/a              fixed
eth4d    no        down       no     n/a                                   n/a              fixed
eth5a    no        down       no     n/a                                   n/a              fixed
eth5b    yes       running    no     n/a                                   255.255.255.0    floating
                                     2620:0:170:160:456:16ff:fe5234561**   /64
                                              fe80::260:16ff:fe52:3456**   /64
eth5c    no        down       no     n/a                                   n/a              fixed
eth5d    no        down       no     n/a                                   n/a              fixed
eth11a   yes       running    n/a    n/a                                   n/a              interconnect   bonded to veth99
eth11b   yes       running    n/a    n/a                                   n/a              interconnect   bonded to veth99
eth11c   yes       running    n/a    n/a                                   n/a              interconnect   bonded to veth99
eth11d   yes       running    n/a    n/a                                   n/a              interconnect   bonded to veth99
veth99   yes       running    no     d:d:d:d:d:0e456:1652:dft4c            /80              interconnect   lacp hash xor-L3L4: eth11a,eth11b,eth11c,eth11d
                                                 fe80::264:16ff:fec2:ecb** /64
------   -------   -------   ----   ------------------------------------   --------------   ------------   -----------------------------------------------
 
Controleer de netwerkverbinding.
Controleer de IP's die op elk knooppunt worden vermeld en zorg ervoor dat elk geconfigureerd IP-adres op het actieve knooppunt en de stand-byknooppunten de geconfigureerde gateway kan pingen. 
Opmerking: Bij sommige klanten is de ping (ICMP) uitgeschakeld in hun omgeving.  In dit geval vraagt u de klant om de verbinding te bevestigen.

 
(actief:1)# netto route show gateway detailed 
IPv4 Default Gateways
gateway IP   source   tables   interface address   owner
----------   ------   ------   -----------------   -----
10.25.18.1   static   tethMa   10.25.18.50/24      none
10.25.18.1   static   teth4a   10.25.18.63/24      none
10.25.18.1   static   teth5b   10.25.18.60/24      none
----------   ------   ------   -----------------   -----

Ping het gateway IP-adres met elke geconfigureerde ethxx.
 
#(active:1)# ping 10.25.18.1 interface ethMa
                                                           PING 10.25.18.1 (10.25.18.1) from 10.25.18.50 ethMa: 56(84) bytes of data.
                                                           64 bytes from 10.25.18.1: icmp_seq=0 ttl=255 time=0.697 ms
(active:1)# ping 10.25.18.1 interface eth4a
                                                           PING 10.25.18.1 (10.25.18.1) from 10.25.18.63 eth4a: 56(84) bytes of data.
                                                           64 bytes from 10.25.18.1: icmp_seq=0 ttl=255 time=1.31 ms
(active:1)# ping 10.25.18.1 interface eth5b
                                                          PING 10.25.18.1 (10.25.18.1) from 10.25.18.63 eth4a: 56(84) bytes of data.
                                                          64 bytes from 10.25.18.1: icmp_seq=0 ttl=255 time=1.31 ms
 
# net troubleshooting duplicate-ip
Controleer vanaf beide knooppunten op dubbele IP's
No duplicate IP addresses detected

Testen van Fibre Channel
Controleer of deze functies zijn gelicentieerd en test vervolgens deze functies om te controleren of ze volledig functioneel zijn (bijvoorbeeld: Voer testback-upbewerkingen uit naar de VTL)
# license show  or # elicense show

##   License Key           Feature
--   -------------------   ----------------------------------------
1    WTXV-TSWX-HWDR-RHDX  VTL
2    EZXW-SZZF-BGCS-VRZX   Block services (Vdisk)
3 .... HA

Autosupport en waarschuwingstests van zowel actief als stand-by
 
 (active:1)## autosupport test alert-summary
                              OK: Message sent.
 (active:1)## autosupport test support-notify
                              OK: Message sent.
 
 (standby:0)# autosupport test alert-summary
                              OK: Message sent.
 (standby:0)# autosupport test support-notify
                              OK: Message sent.


In het geval dat CONNECTEMC (Secure Remote Services) wordt gebruikt om ASUPS door te sturen naar Data Domain, gebruikt u de volgende opdracht om de verbinding op beide knooppunten te controleren.
De tijdstempel geeft aan wanneer de laatste verbinding tot stand is gebracht.
sysadmin@hostname# support connectemc show history
File Time Transport Result
--------------------------------------- --------------------- --------- --------
RSC_CKM00XXX601153_120315_092804166.xml "2015-12-03 09:28:07" HTTP Success
RSC_CKM00XXX601153_120315_101257767.xml "2015-12-03 10:13:00" HTTP Success
RSC_CKM00XXX601153_120315_111649065.xml "2015-12-03 11:16:53" HTTP Success
--------------------------------------- --------------------- --------- --------
Note: It says HTTP above, but it is HTTPS

HA Filesystem Troubleshooting
 
# filesys status
Controleer of de FS is ingeschakeld en wordt uitgevoerd. De reinigingsstatus kan ook worden weergegeven.
The filesystem is enabled and running.
Cleaning started at 2016/08/20 14:12:16: phase 1 of 12 (pre-merge)
  0.7% complete, 95911 GiB free; time: phase  0:00:09, total  0:00:09

 
(actief:1)#(standby:0)# Status
systeemupgradeControleer vanuit beide knooppunten of alle upgrades zijn voltooid.
Current Upgrade Status: DD OS upgrade Succeeded
End time: 2016.08.20:13:27
 
(actief:1)#(standby:0)#Datum
Zorg ervoor dat tijd en datum binnen 10 seconden op beide knooppunten overeenkomen
-p1(active:1)# date
Sat Aug 20 14:34:29 EDT 2016
-p0(standby:0)# date
Sat Aug 20 14:34:17 EDT 2016

Controleer vanuit het actieve knooppunt bij de klant of DD-replicatie (indien geconfigureerd) werkt zoals verwacht.
# replication status
CTX   Destination                                                 Enabled   Connection         Sync'ed-as-of-time
---   ---------------------------------------------------------   -------   ----------------   ------------------
3     mtree://ddxxx.com/data/col1/eric.dest                        no        idle               Fri Nov  6 15:16
4     mtree://ddxxx.com/data/col1/thy-repl                         yes       idle               Fri Jul 22 15:38
5     dir://ddxxxx.com/backup/replicate-rtp                        yes       disconnected       Fri Jul 22 14:55
6     mtree://ddxxxx.com/data/col1/theman_test                     yes       idle               Sat Aug 20 22:11
7     dir://ddxxx.com/backup/lakeland/sym                          yes       Sat Aug 20 13:15   Fri Aug 19 15:09
---   ---------------------------------------------------------   -------   ----------------   ----------------

Cause

HA-hardware en -configuratie
 
# alerts show current

Controleer op zowel het actieve knooppunt als het stand-byknooppunt of er een actieve waarschuwing is die wijst op een mogelijk probleem. Waarschuwingen worden niet altijd gedeeld tussen knooppunten, dus controleer beide knooppunten.  Als er zich een onverwacht probleem voordoet, dient u een supportcase in. Genereer altijd een supportbundel van beide knooppunten.
Opmerking.  De meeste waarschuwingen worden slechts op één van de knooppunten weergegeven. Niet elke waarschuwing wordt gedeeld tussen knooppunten.
 

Voorbeelden van waarschuwingen:

Severity   Class             Object   Message
   --------   ---------------   ------   ----------------------------------------------
CRITICAL      HardwareFailure            EVT-ENVIRONMENT-00049: The system detected an invalid hardware configuration.
--   ------------------------   --------   ---------------   ------   ----------------------------------------------
CRITICAL      HardwareFailure            EVT-ENVIRONMENT-00048: Filesystem can't be enabled due to an invalid hardware configuration.
--   ------------------------   --------   ---------------   ------   ----------------------------------------------
WARNING       HardwareFailure            Enclosure=1:Slot=5   EVT-ENVIRONMENT-00047: PCI communication speed is degraded
--   ------------------------   --------   ---------------   ------   ----------------------------------------------
WARNING             HA                   EVT-HA-00003: Standby node time is off by 15 second(s).
--   ------------------------   --------   ---------------   ------   ----------------------------------------------
WARNING    HardwareFailure   Port Index=1   EVT-MPATH-00003: Missing disk connection from system port 6a.
--   ------------------------   --------   ---------------   ------   ----------------------------------------------

 

# HA status

Command #ha status op het actieve knooppunt en het stand-byknooppunt kan worden gebruikt om de huidige HA-status te bepalen.
Als de status 'zeer beschikbaar' is, is failover ingeschakeld. 
Als de status 'degraded' is, of als een van de knooppunten niet de status 'online' geeft, is failover tussen knooppunten uitgeschakeld.

 
SE@hostname-p0(active:0)## ha status
HA System name:hostname-n1.chaos.local
HA System status: highly available
 
Node Name                         Node id   Role      HA State
-------------------------------   -------   -------   --------
hostname-p0.chaos.local   0         active    online
hostname-p1.chaos.local   1         standby   online
-------------------------------   -------   -------   --------

# HA status gedetailleerd
De opdracht #ha status die alleen op het actieve knooppunt wordt beschreven, kan worden gebruikt voor meer gedetailleerde informatie over de HA-status.
Elk van de onderstaande uitgangen met 'niet in orde' onder het gedeelte Mirroringstatus geeft aan dat er sprake is van een niet-functionerend component en de HA-systeemstatus wordt weergegeven als 'gedegradeerd'. 
Elke gedegradeerde status voorkomt failover tussen knooppunten.

Notitie: Deze opdracht is niet beschikbaar op het stand-byknooppunt.
 
SEhostname-p0(active:0)## ha status detailed
HA System name: hostname.chaos.local
HA System Status: highly available
Interconnect Status: ok
Primary Heartbeat Status:  ok
External LAN Heartbeat Status: not ok
Hardware compatibility check: ok
Software Version Check:   ok
 
Node hostname-p0.chaos.local:
        Role:      active
        HA State:  online
        Node Health: ok
 
Node hostname-p1.chaos.local:
        Role:     standby
        HA State: online
        Node Health: ok
 
Mirroring Status:
Component Name   Status
--------------   ------
nvram            ok
registry         ok
sms              ok
ddboost          ok
cifs             ok
--------------   ------


# enclosure show io-cards
Controleer of beide knooppunten identieke, ondersteunde configuraties hebben.


# enclosure show misconfiguration
Voer een verkeerde configuratietest uit vanaf het actieve knooppunt en stand-byknooppunten om te controleren of er een probleem is met de hardwareconfiguratie. 
Referentie: KB-https://www.dell.com/support/kbdoc/en-us/463399


Voorbeelden: 
Memory DIMMs:
Locator Bank Locator Size(GiB) Status
------- ------------ --------- ----------
CHCD1     7     0     missing
CHDD1     7     0     missing
CHAD0     4     8     wrong size
CHBD0     4     8     wrong size
IO Cards:
Slot   Device       Status
----   ----------   ---------
10     Hera NVRAM   extra
10     Hera NVRAM   misplaced
----   ----------   ---------
CPUs:
    No misconfiguration found.
Disks:
Slot   Size(GiB)   Type   Media   Status
----   ---------   ----   -----   -------
2      186         SATA   SSD     missing
----   ---------   ----   -----   -----
 
# enclosure show topology
Controleer de topologie van beide knooppunten. 
Zoek naar eventuele fouten tussen de verbindingspunten en
controleer of alle schapnummering correct is.
- Fouten en fouten worden gesymboliseerd met '?', '!' Oftewel: '!!'
Opmerking: Die topologie-uitgangen voor elk knooppunt moeten van elkaar worden omgekeerd (spiegelbeeld).
 
(Stdby:0)## enclosure show topology
Port       enc.ctrl.port       enc.ctrl.port       enc.ctrl.port       enc.ctrl.port
----   -   -------------   -   -------------   -   -------------   -   -------------
2a
2b
2c
2d     >    5.A.E: 5.A.H   ?   4.A.E: 4.A.H   >    3.A.E: 3.A.H   >    2.A.E: 2.A.H
3a
3b
3c
3d
6a     !!    2.B.E: 2.B.H   >    3.B.E: 3.B.H   >    5.B.E: 5.B.H   >    ?.B.E: ?.B.H
6b
6c
6d
----   -   -------------   -   -------------   -   -------------   -   -------------
 
(active:1)## enclosure show topology
Port       enc.ctrl.port       enc.ctrl.port       enc.ctrl.port       enc.ctrl.port
----   -   -------------   -   -------------   -   -------------   -   -------------
2a
2b
2c
2d   >    2.A.H: 2.A.E   >    3.A.H: 3.A.E   >    4.A.H: 4.A.E   >    5.A.H: 5.A.E
3a
3b
3c
3d
6a    >    5.B.H: 5.B.E   >    4.B.H: 4.B.E   >    3.B.H: 3.B.E   >    2.B.H: 2.B.E
6b
6c
6d
----   -   -------------   -   -------------   -   -------------   -   -------------
 
# enclosure test topology all duration 1
Voer vanaf zowel de actieve als de stand-byknooppunten een diagnostische test van 1 minuut uit voor alle SAS HBA-poorten met aangesloten externe storage.
Voer geen topologietests uit op beide knooppunten tegelijkertijd. 
Het verwachte resultaat is dat er geen fout wordt gedetecteerd voor elke poort met aangesloten storage. 
Als er een probleem wordt gevonden, kan de test stoppen met een foutmelding die aangeeft dat de SAS-verbinding een fout vertoont, of kan er een fout worden weergegeven (? , ! ) bij een bepaalde verbinding
.

 
Opmerking: Tijdens de topologietest hebben afzonderlijke poorten een afzonderlijke uitgang, die de status aangeeft. Let op fouten (? , ! ) om het probleem aan te gevenEr wordt geen CLI-uitvoer weergegeven totdat elke poorttest is voltooid. 
 
# enclosure test topology  
Started: 1471719316
Ended: 1471719498
Duration: 182
Port      enc.ctrl.port       enc.ctrl.port       enc.ctrl.port       enc.ctrl.port
----  -  ---------------  -  ---------------  -  ---------------  -  ---------------
2d    >    5.A.H:5.A.E    >    4.A.H:4.A.E    >    3.A.H:3.A.E    >    2.A.H:2.A.E
----  -  ---------------  -  ---------------  -  ---------------  -  ---------------
Error message:
-----------------
No error detected
-----------------

# system show nvram
Controleer op zowel actieve als stand-byknooppunten of de NVRAM-batterijen zijn opgeladen of worden opgeladen en dat alle NVRAM-fouttellers een waarde van nul weergeven.
 
# system show nvram
NVRAM Cards:
        Card   Component                 Value
        ----   -----------------------   ----------------------------------------------------------------------
        1      Slot                      0
               Firmware version          0.0.80
               Memory size               7.93 GiB
               Errors                    0 memory (0 uncorrectable), 0 PCI, 0 controller
               Flash controller Errors   0 Cfg Err, 0 PANIC, 0 Bus Hang, 0 Bad Blk Warn, 0 Bkup Err, 0 Rstr Err
               Board temperature         37 C
               CPU temperature           47 C
               Number of batteries       1
        ----   -----------------------   ----------------------------------------------------------------------
NVRAM Batteries:
        Card   Battery   Status   Charge   Charging   Time To       Temperature   Voltage
                                           Status     Full Charge
        ----   -------   ------   ------   --------   -----------   -----------   -------
        1      1         ok       94 %     enabled    0 mins        34 C          4.016 V
        ----   -------   ------   ------   --------   -----------   -----------   -------

Resolution

Als meer hulp nodig is, neemt u contact op met uw gecontracteerde serviceprovider.

Additional Information

te installeren.

Affected Products

Data Domain

Products

Data Domain, DD OS 6.0
Article Properties
Article Number: 000017861
Article Type: Solution
Last Modified: 05 Jul 2024
Version:  3
Find answers to your questions from other Dell users
Support Services
Check if your device is covered by Support Services.