Verwenden von Systemd für die automatisierte Systemwiederherstellung

Mit der Aufnahme der Unterstützung für Watchdog-Hardware kann systemd nun die Funktion eines Watchdog-Daemon unter Linux ausführen. Auf Dell PowerEdge-Systemen kann es sich bei dieser Hardware entweder um den in den Chipsatz der Plattform integrierten Watchdog-Zeitgeber für den Chipsatz des Chipsatzes (wie Intel ICH9) oder um den IPMI-konformen BMC-Watchdog-Zeitgeber von Dell iDRAC handeln.

Dell iDRAC bietet eine automatisierte Systemwiederherstellung , die zusätzlich zur Wiederherstellung nach Betriebssystemabstürzen einen Screenshot zur späteren Analyse erstellen kann. Es war erforderlich, dies auf dem Betriebssystem zu aktivieren. Mit neueren Distributionen, die systemd unterstützen, funktioniert diese Funktion mit Software, die nativ in einer Distribution verfügbar ist, wodurch die Notwendigkeit von Add-on-Software entfällt.

Es war jedoch möglich, den watchdogd-Daemon unter Linux zu verwenden, aber es bestand die Möglichkeit, dass der Daemon selbst hängen blieb, während der Rest des Systems betriebsbereit war. systemd fungiert als Software-Watchdog für alle Systemdienste und der BMC-Watchdog-Zeitgeber fungiert als Hardware-Watchdog für systemd selbst. Wenn systemd also nicht funktionsfähig ist, ist die Wahrscheinlichkeit groß, dass das System im Allgemeinen unbrauchbar ist. Wir haben jetzt also eine zuverlässigere Methode für alle Systemdienste, den Manager der Dienste (systemd), der vom Watchdog-Timer des BMC "überwacht" werden soll.

Das Bindeglied zwischen systemd und dem BMC-Watchdog von Dell iDRAC ist das ipmi_watchdog-Kernel-Modul, das Linux-Watchdog-API-Zugriff auf den BMC-Watchdog mithilfe von /dev/watchdog bietet. Systemd verwendet diese Schnittstelle, um den Watchdog periodisch auszulösen.

Einrichten von systemd mit ipmi_watchdog

Systemd kann für die Verwendung von iDRAC BMC Watchdog mit den folgenden Schritten konfiguriert werden (unter Fedora 19):

1. Da das System über zwei Watchdog-Timer (Chipsatz und BMC) verfügt, können wir beide verwenden. In diesem Beispiel deaktivieren wir den Chipsatz-Watchdog. Der Chipsatz-Watchdog kann deaktiviert werden, indem die Option "Operating System Watchdog Timer" im System-BIOS auf "Disabled" (Standardeinstellung) gesetzt wird.
2. Ermitteln Sie einen Timeout-Wert für den Watchdog, z. B. 180 Sekunden.
3. Aktivieren Sie das Laden des ipmi_watchdog-Kernel-Moduls beim Systemstart mit dem oben genannten Timeout:

• Methode 1: Erstellen Sie /etc/modules-load.d/ipmi_watchdog mit folgendem Inhalt:
  • Optionen ipmi_watchdog Timeout = 180
  • Liste verweigern iTCO_wdt # Optional. Wenn der Chipsatz-Watchdog im BIOS-Setup nicht deaktiviert ist.
• Methode 2:
  • Installieren von OpenIPMI rpm
    • $ sudo yum OpenIPMI installieren
  • Legen Sie IPMI_WATCHDOG=yes und IPMI_WATCHDOG_OPTIONS mit dem Timeout in /etc/sysconfig/ipmi fest.
  • Automatisches Starten des IPMI-Dienstes aktivieren
    • $ sudo systemctl enable ipmi
• Aktivieren Sie den Watchdog von systemd:
  • Kommentieren Sie RuntimeWatchdogSec=180 in /etc/systemd/system.conf aus und setzen Sie RuntimeWatchdogSec=180
• Starten Sie systemd neu
  • # systemctl daemon-reexec

Testen Sie, ob dies funktioniert:

1. Überprüfen Sie, ob der Watchdog aktiv ist.
   • $ sudo journalctl |grep -i 'Hardware Watchdog' # sollte zeigen, dass systemd für die Verwendung von IPMI-Watchdog eingerichtet ist.
   • $ sudo ipmitool mc watchdog get # überprüfen Sie, ob der "Watchdog Timer ist: Started/Running."
2. Testen Sie, indem Sie eine Kernel Panic simulieren (tun Sie dies nicht auf einem Produktionssystem). Stellen Sie sicher, dass kdump deaktiviert ist.
   • $ sudo echo c > /proc/sysrq-trigger
3. Überprüfen Sie nach dem Zurücksetzen des Systems, ob ein Bild des Fehlerbildschirms im iDRAC verfügbar ist
   • Anmelden bei der iDRAC-Webnutzeroberfläche
   • Übersicht -> Server -> Fehlerbehebung -> Bildschirm "Letzter Absturz".