使用 Systemd 進行自動化系統復原

在包含監視程式硬體支援後，systemd 現在可以執行監視程式精靈 Linux 的功能。在 Dell PowerEdge 系統上，此硬體可以是內建於平台晶片組的晶片組監視程式計時器 （例如 Intel ICH9），或是 Dell iDRAC 的 IPMI 相容 BMC 監視程式計時器。

Dell iDRAC 提供 自動化系統復原 功能，除了從作業系統鎖定中復原之外，還可以擷取螢幕擷取畫面以供日後分析。必須在 作業系統上啟用此功能。對於支援 systemd 的新發行版，此功能可與發行版中原生可用的軟體配合使用，無需附加軟體。

但是，可以在Linux上使用watchdogd守護進程，但是當系統的其餘部分正常運行時，守護進程本身可能會鎖定。systemd 是所有系統服務的軟體監視程式，而 BMC 監視程式計時器則是 systemd 本身的硬體監視程式。因此，如果 systemd 無法運行，則很有可能系統通常無法使用。因此，我們現在對所有系統服務都有了更可靠的方法，即由 BMC 的監視計時器“監視”的服務管理器 （systemd）。

systemd 與 Dell iDRAC 的 BMC 看門狗之間的粘合劑是 ipmi_watchdog 核心模組，它使用 /dev/watchdog 為 Linux Watchdog 提供 Linux Watchdog API 存取 BMC Watchdog。Systemd 會使用此介面定期踢出監視程式。

使用 ipmi_watchdog設定 systemd

系統可設定為透過下列步驟使用 iDRAC BMC 監視程式 （在 Fedora 19 上）：

1. 由於系統有兩個監視程式計時器（晶元組和BMC），因此我們可以使用其中一個。在此範例中，我們停用晶片組監視程式。在系統 BIOS 中將「Operating System Watchdog Timer」選項設為「Disabled」（預設），即可停用晶片組監控程式。
2. 到達監視程式的超時值，例如 180 秒。
3. 啟用 ipmi_watchdog 核心模組，以在系統啟動時載入上述逾時：

• 方法 1：使用以下內容建立 /etc/modules-load.d/ipmi_watchdog
  • 選項 ipmi_watchdog 逾時 = 180
  • 拒絕清單 iTCO_wdt # 可選。如果未在 BIOS 設定中停用晶片組監視程式。
• 方法 2：
  • 安裝 OpenIPMI RPM
    • $ sudo yum install OpenIPMI
  • 將 IPMI_WATCHDOG=yes 設定，並在 /etc/sysconfig/ipmi 中IPMI_WATCHDOG_OPTIONS逾時。
  • 啟用 IPMI 服務自動啟動
    • $ sudo systemctl 啟用 IPMI
• 啟用 systemd 的監視程式：
  • 取消註解，並在 /etc/systemd/system.conf 中設定 RuntimeWatchdogSec=180
• 重新啟動 systemd
  • # systemctl daemon-reexec

測試這是否有效：

1. 檢查監視程式是否作用中
   • $ sudo journalctl |grep -i 'hardware watchdog' # 應顯示 systemd 已設定為使用 IPMI Watchdog。
   • $ sudo ipmitool mc watchdog get # 檢查「Watchdog Timer 是否為：已啟動/正在運行。
2. 透過模擬核心錯誤來測試 （請勿在生產系統上執行此操作）。請確定 kdump 已停用。
   • $ sudo echo c > /proc/sysrq-trigger
3. 系統重設後，請確認 iDRAC 中是否有故障畫面的影像
   • 登入 iDRAC Web UI
   • 概觀 -> 伺服器 -> 故障診斷 -> 上次當機畫面。