Data Domain: Troubleshooting von ausgefallenen oder zeitweilig nicht funktionierenden Schnittstellen für NutzerInnen

1. Stellen Sie fest, ob das Problem an einer einzigen Schnittstelle, mehreren Schnittstellen, einer zeitweiligen Schnittstelle oder einer Netzwerkkarte liegt.
   1. Ermitteln Sie, ob die Schnittstelle ausgefallen ist, zeitweilig nicht reagiert oder bei einer Netzwerkkarte ein Problem vorliegt.
   2. Verbindungsstatus „Nein“ verweist auf eine Schnittstelle, die kein elektrisches Signal hat und nicht aktiv ist.
   3. Zeitweilig, tritt in unregelmäßigen Intervallen auf; nicht kontinuierlich oder durchgehend.
   4. Um den Status der Hardwareschnittstellen auf der Data Domain zu überprüfen, führen Sie den folgenden Befehl aus.

      # net show hardware

   5. Um die aktuellen Warnmeldungen zu überprüfen, führen Sie den folgenden Befehl aus.

      # alerts show current

   6. Um den Verlauf von Warnmeldungen zu überprüfen, führen Sie den folgenden Befehl aus.

      # alerts show history

   7. Überprüfen Sie die Net Show-Einstellungen, um festzustellen, ob die ausgefallene Schnittstelle Teil eines virtuellen Bond, eines vLAN oder eines Alias ist.

      # net show settings

      HINWEIS: Damit eine Schnittstelle eine Verbindungsanzeige hat und ausgeführt wird, muss sie mit einer IP-Adresse oder in einem Bond konfiguriert werden.
   8. Wenn nach einem DDOS-Upgrade eine Schnittstelle ausfällt, ist es höchst unwahrscheinlich, dass dies an einem Hardwarefehler liegt.
      1. Wenn sich die inaktive Schnittstelle nicht in einem Bond befindet, können Sie sie deaktivieren und mit den folgenden Befehlen aktivieren.

# net disable ethXx

# net enable ethXx

9. Es wird dringend empfohlen, dass Sie mit Ihrem Netzwerkteam die Switch-Konfiguration überprüfen, bevor Sie einen Fall beim Dell Support öffnen.
   1. Während eines Upgrades werden Schnittstellen vom Netzwerk getrennt, und manchmal tritt bei Switches ein Timeout auf, nachdem sie keine Antwort von DD-Schnittstellen erhalten und ihre Ports deaktiviert haben.
   2. Wenn bei den Switchports ein Timeout aufgetreten ist und sie deaktiviert sind, kann Ihnen der Data Domain-Support nicht helfen, dies zu beheben. Sie müssen sich an Ihr Netzwerkteam wenden, um sie zu aktivieren.
10. Wenn Sie Personal vor Ort im Rechenzentrum haben, bitten Sie eine(n) AußendiensttechnikerIn vor Ort zu gehen und den SFP oder das Kabel von der DD-Seite und der Patchfeld- oder der Switch-Seite aus neu einzusetzen.
11. Wenn Sie eine neue Schnittstelle auf der Data Domain konfiguriert haben, diese jedoch nicht ausgeführt wird, überprüfen Sie, ob ein Kabel mit der Patchfeld- oder der Switch-Seite verbunden ist.
12. Wenn Sie zum ersten Mal eine Data Domain einrichten und Schnittstellen nicht ausgeführt werden, stellen Sie sicher, dass zusätzlich zur Geschwindigkeitseinstellung auch die Switch-seitige Portkonfiguration korrekt ist.
    1. Bei 10G-Schnittstellen auf der Data Domain sollte der Switch ebenfalls auf 10G-Geschwindigkeit eingestellt werden.
    2. Bei 1G-Geschwindigkeiten auf der Data Domain funktioniert der Switch nicht, wenn er auf 10G eingestellt ist. Möglicherweise sollte die Verbindungsgeschwindigkeit automatisch auf dem Switch ausgehandelt werden.
13. Wenn Sie zum ersten Mal eine Data Domain mit Glasfaser- oder DA-Kupferschnittstellen einrichten, stellen Sie sicher, dass Sie über kompatible SFPs und Kabel verfügen.
14. Wenn nach einem Neustart oder einem Systemupgrade aktuelle Warnmeldungen auf einen MissingSlave hinweisen und Schnittstellen ausgefallen sind, starten Sie die Data Domain nochmals neu.
    Beispiel

    p0-96 Tue Oct 24 16:47:52 2023 CRITICAL Network MissingSlave=veth0_eth1a EVT-NETM-00012: Network interface eth1a is missing. This is a physical interface for veth0.

    1. Dieses Problem ist entweder ein Hardwarefehler oder eine falsche Warnmeldung aufgrund einer Race-Bedingung, bei der bestimmte Komponenten und Schichten in falscher Reihenfolge online geschaltet wurden.
    2. Wenn eine MissingSlave-Warnmeldung nach dem zweiten Neustart nicht gelöscht wird und die Schnittstellen immer noch inaktiv sind, öffnen Sie einen Fall beim Data Domain-Hardwaresupport.
15. Um die Ausgabe zum Typ der installierten Netzwerkkarte abzurufen, führen Sie die folgenden Befehle aus:

# system show hardware

# enclosure show io-cards

16. Um frühere automatische Supportanfragen für den Vergleich mit dem aktuellen Status anzuzeigen, melden Sie sich bei der Benutzeroberfläche an und gehen Sie zu Wartung > Support > Autosupport-Berichte.
    Dort sehen Sie die letzten 14 automatischen Supportanfragen, die Sie herunterladen und mit Notepad öffnen können ++
17. Wenn die Schnittstelle plötzlich ausgefallen ist und nicht nach einem Neustart oder Upgrade, ist es auch möglich, dass es sich um ein fehlerhaftes Kabel oder einen fehlerhaften SFP handelt.
    HINWEIS: Der Dell Hardware-Support ersetzt keine Kabel oder SFPs auf der Panelfeld-/Switch-Seite des Kunden. Es liegt in der Verantwortung des Rechenzentrums des Kunden, Kabel und SFPs auf der Rechenzentrumsseite auszutauschen.
    1. Wenden Sie sich an Ihr Rechenzentrumspersonal, um das Kabel oder den SFP neu einzusetzen.
    2. Wenn Sie nach dem Wiedereinsetzen immer noch keine Verbindungsanzeige sehen, bitten Sie das Rechenzentrum, das Kabel und ggf. den Glasfaser-SFP auf der Switch-Seite auszutauschen.
    3. Wenn Sie Kabel und Glasfaser-SFP austauschen, bitten Sie das Rechenzentrum, den Port auf dem Patchfeld oder Switch zu überprüfen, oder versuchen Sie es mit einem anderen Port.
    4. Wenn alle Schritte befolgt wurden und die Funktionsfähigkeit immer noch nicht wiederhergestellt ist, öffnen Sie einen Dell Hardware-Fall, um den SFP auf der DD-Seite zu ersetzen.
18. Schritte zum Troubleshooting, wenn die ausgefallene Schnittstelle Teil eines virtuellen Bond ist.
    1. Wenn die Schnittstelle nach einem Upgrade oder Neustart nicht gestartet wurde, wenden Sie sich an Ihr Netzwerkteam auf der Switchport-Seite, um zu versuchen, sie zu deaktivieren und erneut zu aktivieren.
    2. Wenn Ihr Netzwerkteam den Switchport überprüft und den Port deaktiviert und aktiviert hat, können Sie es auch auf der Data Domain-Seite versuchen.
19. Auf der Data Domain-Seite können Sie den virtuellen Bond deaktivieren und mit den folgenden Befehlen erneut aktivieren.

# net disable vethXx

# net enable vethXx

20. Sie können die Schnittstelle aus dem Bond entfernen und sie dann wieder zum Bond hinzufügen. Dies kann über die Benutzeroberfläche oder die Befehlszeile erfolgen:

#net aggregate del vethX interface ethXx

#net aggregate add vethX interface ethXx

#net failover del vethX interfaces ethXx

#net failover add vethX interfaces ethXx

21. Wenn das Problem durch Entfernen und Hinzufügen der Schnittstelle nicht behoben werden konnte, versuchen Sie, den virtuellen Bond zu löschen und neu zu erstellen.
    HINWEIS: Seien Sie vorsichtig, wenn Sie den gesamten Bond zerstören. Sie müssen immer sicherstellen, dass Sie Redundanz haben und über eine SSH-Verbindung neben dem Bond verfügen.
    Wenn Sie die Methode mit dem Zerstören des virtuellen Bond nicht wünschen oder wenn dies Ihre einzige Verbindung zur Data Domain ist, fahren Sie nicht fort.
    Dies kann über die Benutzeroberfläche erfolgen, was einfacher ist.
    Data Domain – Konfigurieren physischer Schnittstellen mit grafischer Benutzeroberfläche (UI)
22. Wenn beim Löschen und erneuten Erstellen des virtuellen Bond die Schnittstelle oder Schnittstellen nicht aktiviert wurde(n), löschen Sie sie erneut und weisen Sie der Schnittstelle IP-Adressen zu.
    Wenn Sie der Schnittstelle eine IP-Adresse zuweisen und diese startet und ausgeführt wird, ist die Switch-Seite höchstwahrscheinlich nicht korrekt konfiguriert. Dies liegt außerhalb des Umfangs des Data Domain-Supports, und in diesem Fall sollten Sie Ihr Netzwerkteam kontaktieren.
23. Schritte zum Troubleshooting, wenn die Schnittstelle weiterhin inaktiv ist.
    1. Wenden Sie sich an Ihr Rechenzentrumspersonal, um das Kabel oder den SFP neu einzusetzen.
    2. Wenn Sie nach dem Wiedereinsetzen immer noch keine Verbindungsanzeige sehen, bitten Sie das Rechenzentrum, das Kabel und ggf. den Glasfaser-SFP auf der Switch-Seite auszutauschen.
    3. Wenn Sie Kabel und Glasfaser-SFP austauschen, bitten Sie das Rechenzentrum, den Port auf dem Patchfeld oder Switch zu überprüfen, oder versuchen Sie es mit einem anderen Port.
    4. Wenn alle Schritte befolgt wurden und die Funktionsfähigkeit immer noch nicht wiederhergestellt ist, öffnen Sie einen Dell Hardware-Fall, um den SFP auf der DD-Seite zu ersetzen.
       HINWEIS: Der Dell Hardware-Support ersetzt keine Kabel oder SFPs auf der Panelfeld-/Switch-Seite des Kunden. Es liegt in der Verantwortung des Rechenzentrums des Kunden, Kabel und SFPs auf der Rechenzentrumsseite auszutauschen.
24. Wenn Sie Vor-Ort-MitarbeiterInnen im Rechenzentrum haben, sind im Folgenden die Schritte zum Troubleshooting aufgeführt, mit denen Probleme von AußendienstmitarbeiterInnen behoben werden können.
    1. Stellen Sie sicher, dass das Kabel sicher zwischen der Data Domain und dem Switchport oder Patchfeld-Port angeschlossen ist.
       1. Wenn möglich, verfolgen Sie das Kabel zurück, um sicherzustellen, dass es mit dem richtigen Port auf der Rückseite der Data Domain verbunden ist.
    2. Überprüfen Sie, ob eine Verbindungsanzeige am Switchport oder Patchfeld-Port vorhanden ist.
    3. Wenn keine Verbindungsanzeige am Data Domain-Port vorhanden ist, schließen Sie das Kabel neu an.
    4. Wenn keine Verbindungsanzeige auf der Rückseite des Patchfeld-Ports oder Switch-Ports vorhanden ist, schließen Sie das Kabel neu an
    5. Wenn nach dem erneuten Anschluss auf der Data Domain-Seite und der Patchfeld-Port- oder dem Switchport-Seite keine Verbindung vorhanden ist, tauschen Sie das Kabel aus.
    6. Wenn AußendienstmitarbeiterInnen vor Ort sind, können Sie sie auch anweisen, am Schnittstellenport, der bei Data Domain ausgefallen ist, ein funktionierendes Schnittstellenkabel anzuschließen.
       Nach dem Austausch durch AußendienstmitarbeiterInnen sollten diese eine Verbindungsanzeige sehen, und auf der Data Domain sollte „net show hard“ den Link „Yes“ anzeigen.

       # net show hardware

    7. Wenn Sie beim Austausch eine Verbindungsanzeige sehen, muss das Problem an einem ein fehlerhaften SFP auf der Data Domain, einem fehlerhaften Kabel, einem fehlerhaften SFP auf der Switch-Seite oder einem fehlerhaften Port auf der Patchfeld-Switch-Seite liegen.
    8. Ein weiterer Troubleshooting-Schritt für RechenzentrumsmitarbeiterInnen besteht darin, einen Loopback-Test durchzuführen.
       1. Wenn eine freie, nicht konfigurierte Schnittstelle auf der Data Domain vorhanden ist, die demselben Typ entspricht, führen Sie eine Schleife von einer Schnittstelle zu einer anderen.
          Beispiel: Wenn eth1a Kupfer und eth4a Kupfer ist, aber nicht verwendet wird, verbinden Sie eth1a mit eth4a.
          eth4a muss mit einer Dummy-IP-Adresse konfiguriert werden, wie beispielsweise

          # net config eth4a 1.2.3.4 netmask 255.255.255.0
          

          Nachdem Sie den Lookback-Test abgeschlossen haben, löschen Sie die Konfiguration für die Dummy-IP

          # net config eth4a 0.0.0.0

       2. Wenn der Loopback-Test nicht funktioniert hat und SFPs oder Kabel oder beides ausgetauscht wurden, öffnen Sie einen Fall beim Data Domain-Hardware-Supportteam.

25. Troubleshooting bei physischen Glasfaserschnittstellen und direkt angeschlossenen Kupferschnittstellen.

    Die folgenden Beispiele sehen möglicherweise nicht genau so aus wie Ihre Ausgabe.
    
    Beispiel für die Ausgabe einer physischen Glasfaserschnittstelle.

    	sysadmin@dd3300-ddsupport# net show hardware
    	  Port    Speed      Duplex    Supp Speeds   Hardware Address    Physical   Link Status   State     Autonegotiation
    	  -----   --------   -------   -----------   -----------------   --------   -----------   -------   ---------------
    	  eth1b   unknown    unknown   1000/10000    00:0c:29:46:fc:1b   Fiber      no            up        on
    	  -----   --------   -------   -----------   -----------------   --------   -----------   -------   ---------------

    
    Beispiel für die Ausgabe einer physischen DA-Kupferschnittstelle.

    	sysadmin@ddsupport# net show hardware
    	Net Show Hardware
    	-----------------
    	Port Speed Duplex Supp Speeds Hardware Address       Physical     Link   Status    
    	----- ------- ------- ----------- ----------------- --------- ----------- -------
    	eth8a unknown unknown  25000  34:80:0d:94:70:52     DA Copper  no        up
    	----- ------- ------- ----------- ----------------- --------- ----------- -------

    In den meisten Kundenumgebungen bestehen Glasfaserschnittstellen aus drei Komponenten: einem SFP auf der Data Domain-Seite, einem optischen Kabel und einem SFP auf der Patchfeld- oder Switch-Seite des Kunden.
    
    Bei einigen Kunden ist die Data Domain jedoch mit einem Patchfeld verbunden und dann an ein Breakout-Kabel angeschlossen, das dann mit einem QSFP verbunden wird, der über andere Verbindungen verfügt.
    
    Manchmal müssen Sie sich nach der Konnektivität des Kunden erkundigen, da das Problem mitunter nicht zwischen der Data Domain- und der Patchfeld- oder zur Switch-Seite vorliegt, sondern andere Komponenten oder nachgeschaltete Verbindungen, die sich auf die Schnittstelle auswirken können, dafür verantwortlich sind.

26. Wenn nach dem Upgrade eine Warnmeldung angezeigt wird, dass eine Geschwindigkeitsabweichung auf Schnittstellen vorliegt, überprüfen Sie die folgenden Informationen.

    Beispiel

    	Id Post Time Severity Class Object Message
    	------ ------------------------ -------- ------- ----------------------------- --------------------------------------------------------------------------------
    	p0-618 Tue Oct 20 09:50:53 2023 CRITICAL Network Bonded Interface Name=veth1 EVT-NETM-00015: One or more interfaces in the bonded group has a speed mismatch.
    	------ ------------------------ -------- ------- ----------------------------- --------------------------------------------------------------------------------

    Dies kann bedeuten, dass die Geschwindigkeit für eine Schnittstelle in einem Bond auf 100 Mbit/s eingestellt ist, während eine andere Schnittstelle auf 1.000 Mbit/s eingestellt ist.
    
    Dies kann aus verschiedenen Gründen geschehen, die möglicherweise nichts mit der Data Domain zu tun haben.

    • Ein fehlerhaftes Ethernet-Kabel
    • Ein fehlerhafter Port auf der Patchfeld- oder Switch-Seite
    • Die Switchport-Konfiguration begrenzt die Geschwindigkeit.
    • Die Switch-Geschwindigkeit ist eingeschränkt.
    • Die Schnittstelle, die sich in dem virtuellen Bond befindet, ist nicht die richtige Schnittstelle.
    • Die Schnittstelle ist mit dem falschen Switch oder Switch-Port verbunden.

      Nachfolgend sind mögliche weitere Troubleshooting-Schritte aufgeführt.

      Diese Schritte können auch über eine Benutzeroberfläche durchgeführt werden.
      Data Domain – Konfigurieren physischer Schnittstellen mit grafischer Benutzeroberfläche (UI)

      1. Um den Status der Hardwareschnittstellen auf der Data Domain zu überprüfen, führen Sie den folgenden Befehl aus

         # net show hardware

      2. Um die aktuellen Warnmeldungen zu überprüfen, führen Sie den folgenden Befehl aus:

         # alerts show current

      3. Überprüfen Sie die Net Show-Einstellungen, um festzustellen, ob die ausgefallene Schnittstelle Teil eines virtuellen VLAN oder Alias ist.

         # net show settings

      4. Wenn nach einem DDOS-Upgrade eine Schnittstelle ausfällt, ist es höchst unwahrscheinlich, dass dies an einem Hardwarefehler liegt.

# net disable ethXx

# net enable ethXx

5. Die Schnittstelle wurde möglicherweise zuvor nicht korrekt eingestellt, aber die Warnmeldungen werden erst jetzt nach einem Upgrade oder Neustart angezeigt, und Sie können den Verlauf überprüfen.

# alerts show history

6. Wenden Sie sich an Ihr Netzwerkteam, um die Switch-Konfiguration zu überprüfen und die Switch-Geschwindigkeit neu zu konfigurieren oder die automatische Verhandlung neu zu konfigurieren.
7. Deaktivieren und aktivieren Sie den Switchport.
8. Überprüfen Sie die LLDP-Informationen im Autosupport, um festzustellen, ob sich die richtigen Schnittstellen im LACP-Bond befinden, wenn LACP verwendet wird.
9. Entfernen sie die Schnittstelle aus dem Bond.

   # net failover del vethX interfaces ethXx

10. Konfigurieren Sie die Schnittstelle mit einer Dummy-IP-Adresse.

    # net config ethXx 1.2.3.4 netmask 255.255.255.0

11. Versuchen Sie, die Geschwindigkeit manuell zu ändern.
    HINWEIS: Je nach Schnittstelle und Data Domain-Modell können Sie die Geschwindigkeit eventuell nicht festlegen.

    #net config ethXx duplex full speed 1000

12. Führen Sie nach dem Versuch, die vorherigen Schritte zum Löschen der Dummy-IP-Adresse durchzuführen, den folgenden Befehl aus.

    #net config ethXx 0.0.0.0

13. Fügen Sie sie wieder zum Bond hinzu.

    # net failover add vethX interfaces ethXx

14. Wenn das Problem immer noch nicht behoben ist, empfehlen wir, das Kabel auszutauschen und die Switch-Seite erneut zu überprüfen.

Eine Reihe von Gründen, warum eine physische Schnittstelle auf einem System ausfallen kann:
Eine physische Schnittstelle auf einem System kann aus verschiedenen Gründen ausfallen, die von Hardwareproblemen bis hin zu Netzwerkproblemen reichen. Hier ist eine Liste der häufigsten Gründe:

• Trennen des physischen Kabels: Das Kabel, das die Schnittstelle mit dem Netzwerk oder einem anderen Gerät verbindet, wurde möglicherweise physisch getrennt, was dazu führt, dass die Schnittstelle ausfällt.
• Falsche Schnittstelle: Das Kabel ist mit der falschen Schnittstelle auf der Data Domain-Seite verbunden.
• Falsche Schnittstelle: Das Kabel ist mit der falschen Schnittstelle auf der Patchfeld- und der Switch-Seite verbunden.
• Hardwarefehler: Fehlerhafte Hardwarekomponenten wie Netzwerkschnittstellenkarten (NICs), Switches, Router oder Kabel können zu Schnittstellenausfallzeiten führen.
• Probleme mit der Stromversorgung: Stromschwankungen, Ausfälle oder eine unzureichende Stromversorgung der Netzwerkgeräte können dazu führen, dass die Schnittstellen ausfallen.
• Überhitzen: Übermäßige Hitze kann Hardwarekomponenten beschädigen, was zu Schnittstellenausfällen und Systemabschaltungen führen kann.
• Netzwerküberlastung: Ein hohes Maß an Netzwerkdatenverkehr oder Überlastung kann die Schnittstelle überfordern, was dazu führt, dass sie nicht mehr reagiert oder ausfällt.
• Softwarefehler: Probleme, Störungen oder Inkompatibilitätsprobleme innerhalb der Gerätetreiber, Firmware oder des Betriebssystems können zu Schnittstellenfehlern führen.
• Konfigurationsfehler: Falsche Netzwerkkonfigurationen, wie z. B. IP-Adresskonflikte oder falsche Subnetzmasken, können dazu führen, dass eine Schnittstelle nicht mehr zugänglich ist.
• Sicherheitsmaßnahmen: Sicherheitsrichtlinien, wie z. B. Angriffserkennungs- oder Firewallregeln, können den Datenverkehr über die Schnittstelle versehentlich blockieren oder einschränken.
• Physische Beschädigung: Physische Schäden an der Hardware, wie z. B. Wassereinwirkung, Aufprall oder Verschleiß, können zu Schnittstellenfehlern führen.
• Umgebungsfaktoren: Extreme Temperatur, Feuchtigkeit, Staub oder andere Umgebungsfaktoren können die Funktionalität der Hardware beeinträchtigen und dazu führen, dass Schnittstellen ausfallen.
• Firmware- oder Softwareupdates: Falsch angewendete Firmware- oder Softwareupdates können zu Instabilität und zu Schnittstellenausfällen führen.
• Netzwerkangriffe: DoS-Angriffe (Denial of Service), DDoS-Angriffe (Distributed Denial of Service) oder andere bösartige Aktivitäten können die Schnittstelle überlasten und dazu führen, dass sie fehlschlägt.
• Routing-Probleme: Falsche Routingtabelleneinträge oder Probleme mit dynamischen Routingprotokollen können die Konnektivität über die Schnittstelle unterbrechen.
• Konfiguration physischer Schnittstellen: Falsche Geschwindigkeits- und Duplexeinstellungen, Probleme mit der automatischen Verhandlung oder nicht übereinstimmende Konfigurationen zwischen verbundenen Geräten können zu Ausfällen der Schnittstelle führen.
• Kabelqualität: Qualitativ minderwertige oder beschädigte Kabel können zu zeitweiligen Konnektivitäts- oder vollständigen Schnittstellenausfällen führen.
• Switch- oder Routerfehler: Ausfälle von Netzwerkgeräten wie Switches oder Routern, die mit der Schnittstelle verbunden sind, können zu nachgeschalteten Schnittstellenproblemen führen.
• Probleme mit Netzwerkanbietern: Wenn das System eine Verbindung zu einem externen Netzwerkanbieter herstellt, können Probleme auf deren Seite (Wartung, Ausfälle, Konfigurationsfehler) dazu führen, dass die Schnittstelle ausfällt.
• Ressourcenerschöpfung: Unzureichende Arbeitsspeicher- oder Verarbeitungsleistung im System kann zu Schnittstellenausfällen führen, insbesondere in Szenarien mit hohem Datenverkehr.
• Deaktivierung des physischen Ports: Manuelle oder automatisierte Aktionen zum Deaktivieren des physischen Ports durch einen Administrator, ein Netzwerkmanagementsystem oder eine Sicherheitsrichtlinie.
• Verlust von Glasfasersignalen: Bei Glasfaserverbindungen können Probleme wie Signalverlust durch Verbiegen, Verschmutzung oder Brüche dazu führen, dass die Schnittstelle ausfällt.

Data Domain – Konfigurieren physischer Schnittstellen mit der grafischen Benutzeroberfläche (UI)
Data Domain – Konfigurieren physischer Schnittstellen über die Befehlszeilenschnittstelle (CLI)

Weitere Informationen finden Sie in diesem Video: