PowerFlex 3.X:寫入作業系統磁碟的速度緩慢可能會導致多個 MDM 問題。
Summary: 緩慢寫入作業系統磁碟可能會導致多個 MDM 問題。
Symptoms
由於 MDM 上的作業系統磁碟速度緩慢,可能會出現許多情況。
在 ScaleIO 3.0 中,MDM 機制變得更加強大,可以更好地處理嚴重緩慢的操作系統磁碟問題。(10+ 秒延遲)
當 MDM 在寫入時間過長的作業系統磁碟上運行時,可能會出現以下癥狀:
-
將 SDS 置於維護狀態會導致主 MDM 中斷連線。
-
重新建置事件會導致主 MDM,也可能使從屬 MDM 中斷連線。
-
MDM 切換不起作用;從屬 MDM 無法接管主 MDM 責任,因此沒有 MDM 是主。
-
「scli --query_cluster」的輸出顯示從屬 MDM 未偶爾同步。
-
SDC 寫入 IO 錯誤。
在所有情況下,MDM trc 記錄中都會顯示「強化花費的時間太長」:
08/12 03:36:42.336327 0x7f64207f4eb0:replFile_WriteUnlocked:00667: WARNING: Harden took too long: 1360 ms 08/12 03:36:44.811987 0x7f6420668eb0:replFile_WriteUnlocked:00667: WARNING: Harden took too long: 1840 ms 08/12 03:36:46.463661 0x7f642072eeb0:replFile_WriteUnlocked:00667: WARNING: Harden took too long: 2210 ms
影響
MDM 儲存庫寫入超過強化閾值表示 MDM 未同步。
這表示 MDM 叢集未同步,且 MDM 程序會重新開機。
如果 MDM 重新啟動的速度/重複度足夠高,則在重複故障轉移後,可能會發生完全數據不可用的情況(當沒有可用的主 MDM 時),例如在 MDM 群集中關閉。
Cause
當主 MDM 必須更改資料塊的狀態時,它必須將這些狀態更改寫入 MDM 儲存庫檔,然後將這些更改同步到從屬 MDM。當這些寫入完成時,MDM 會通知 SDS 變更已完成,而且它們只能從主要複本向 SDC 提供寫入 IO (直到重新建置完成為止)。如果主 MDM 將更改寫入本地存儲庫的時間超過 500 毫秒(1/2 秒),則 MDM trc 日誌中將顯示“強化花費的時間太長”消息。這會導致 MDM 無法足夠快速地回應 SDS 要求,並可能導致 SDC 發生 IO 錯誤。MDM 將保持在此狀態,直到 IO 可在 500 毫秒內寫入儲存庫,或是在叢集中發生 MDM 切換擁有權的 10 秒後。
Resolution
解決方案是解決作業系統磁碟延遲問題。
這可能是由於:
-
RAID 重建 (14G 就緒節點在 RAID1 中具有 BOSS 介面卡和 2 個 M.2 SATA 磁碟機)
-
磁碟磨損/使用年限
-
作業系統磁碟大小/選擇不當 (HDD、速度慢/便宜的 SSD 等,通常只在軟體組態中)
-
作業系統磁碟控制器/磁碟韌體中的錯誤
-
磁碟故障/預測性故障狀態
-
但最常見的原因是操作系統磁碟上的無關 IO 負載。
在任何情況下,都必須監視/分析 OS 磁碟的性能。
磁碟延遲可由 sar 或 iostat 監控。
最簡單/最普遍可用的工具是iostat。
執行
iostat -xtN 1
並觀察以毫秒為單位報告的等待時間。
所有版本都會受到影響。