PowerFlex 4.X:SMART_AGGREGATED_STATE_FAILED - DAX 裝置 - SIO03.02.0000013
Summary: PowerFlex 回報其中一個 dax 裝置即將故障,需要更換。NVDIMM 可修正記憶體錯誤可能會導致 DAX 裝置在 PowerFlex 中顯示為「立即故障」,而該裝置並未真正故障。
Symptoms
此錯誤通常是由標準 PowerFlex 裝置觸發,在這種情況下建議的動作是更換磁碟,但是如果所述裝置是 NVDIMM 而非磁碟的 DAX 裝置,本文說明額外的故障診斷步驟。
PowerFlex 會回報以下警示,指出其中一個 dax 裝置 即將故障,或是以低效能運作。這也反映在 DialHome 警報的形式中:
SIO03.02.0000013
磁碟可能即將故障,或可能以降低的效能運作。
SMART_AGGREGATED_STATE_FAILED_NOW軟體定義儲存 (SDS)。
Device.SMART_Aggregated_State_Failed_Now建議的動作:考慮更換磁碟。

Cause
PowerFlex 偵測到儲存節點的其中一個 NVDIMM 發生可修正或無法修正的錯誤。偵測到錯誤後,即會產生智慧彙總狀態立即失敗錯誤。
Resolution
淨化 NVDIMM 可在不更換 NVDIMM 的情況下解決問題。只有在淨化後問題仍然存在的情況下,才更換 NVDIMM。
- 若為 15G 節點,您只能清理所有 NVDIMM - 在執行清理之前移除所有裝置 (SDS 裝置 + DAX 裝置),以避免資料損毀
- 若為 14G 節點,您只能清除有問題的單一 NVDIMM,或是所有 NVDIMM,請依照以下步驟識別故障的 NVDIMM
驗證故障
第 1 步: 在 PowerFlex Manager 中,前往 區塊 > 裝置
第 2 步: 選擇右上角的列框,並將“S.M.A.R.T 狀態”添加到清單中。

第 3 步: 檢查 dax 裝置清單,並確認是否有任何顯示「Failed Now」(立即失敗)

第 4 步: 針對每個處於「立即故障」狀態的 dax 裝置,請判斷 dax 對應的 SDS,並登入 iDRAC。
步驟5: 判斷生命週期記錄中是否有每個 NVDIMM 所記錄的可修正錯誤。
- NVDIMM 上可修正的記憶體錯誤可能會導致 dax 裝置在 PowerFlex 中顯示「Failed Now」(立即失敗),儘管並未失敗。

第 6 步: SSH 進入對應叢集的主要 MDM,然後執行下列命令。這用於驗證 NVDIMM 的 dax 健全狀況、插槽資訊和 SN,顯示失敗:
- 使用管理員登入登入主要 MDM。如果密碼包含特殊字元,請使用單引號 ' '
scli --login --username admin --password '<password>' --management_system_ip <pfmp_ip>
- 執行下列命令,列出所有 SDS 詳細資料:
scli --query_all_sds
範例:
SDS ID: 2e400d3800000004 Name: LAB10_SDS3 State: Connected, Joined IP: XXX
SDS ID: 2e400d3700000003 Name: LAB10_SDS2 State: Connected, Joined IP: XXX
SDS ID: 2e400d3600000002 Name: LAB10_SDS4 State: Connected, Joined IP: XXX
SDS ID: 2e400d3500000001 Name: LAB10_SDS1 State: Connected, Joined IP: XXX
SDS ID: 2e400d3400000000 Name: LAB10_SDS5 State: Connected, Joined IP: XXX
- 尋找受影響的 SDS,並記下 SDS 名稱,然後執行下列命令:
scli --query_sds --sds_name <sds name>
- 記下此 SDS 的所有裝置的裝置路徑,稍後將用於在步驟 8 中重新新增裝置
- 記下受影響的裝置 ID,然後執行以下命令
# scli --query_sds_device_info --device_id <device_id>
範例輸出:
# scli --query_sds_device_info --device_id XXXXX
Device ID: _________ Name: /dev/dax1.0 Path: /dev/dax1.0
ScaleIO Device Configuration:
Original Path: /dev/dax1.0
Acceleration Pool: _________
Used for RFcache: no
Capacity Limit: 31.4 GB (32107 MB)
Device State: Normal
Physical Device Information:
Device Type: UNKNOWN
Media Type: NVDIMM
Auto Detected Media Type: UNKNOWN
Vendor Name: N/A
Model Name: nmem2
Serial Number: _________
Slot Number: B5
Firmware Version: N/A
Cache Look-ahead: not Active
Write Cache: not Active
ATA Security: not Active
Logical Sector Size: 0 B
Physical Sector Size: 0 B
Capacity: 0 GB
LED Setting: OFF
Background Device Scanner Information:
Scanned: 0 MB
Error Fixes: 0
Compare Errors: 0
SMART Information:
Aggregated State: FAILED_NOW
Temperature State: NEVER_FAILED
Current Value: 34 Worst Value: 34 Threshold: 0
Media Wearout Indicator State: NEVER_FAILED
Current Value: 95 Worst Value: 95 Threshold: 5
RAID Controller Information:
Serial Number: N/A
RAID vDisk Status: N/A
RAID vDisk Type: N/A
RAID vDisk Cache: N/A
步驟 7: 識別出哪個 dax 對應於注意到的 NVDIMM 後,如果錯誤可修正,請按照標準程序,透過 iDRAC 清除 NVDIMM。如果錯誤無法修正,請遵循 NVDIMM 故障診斷的標準指南。
- 此動作必須 從 SDS 移除裝置以避免資料損毀, 請依照以下文章中概述的必要步驟操作
步驟8: 在 NVDIMM 清理後,將 dax 裝置加回 SDS,然後根據先前指出的裝置路徑將 powerflex 裝置顯示為「永不失敗」,對應的警示也將會自動從警示標籤中清除。
請查看文章 PowerFlex:如何在 15G 及更新版本中更換 NVDIMM 中的步驟 9 和 10 PowerEdge 節點
Additional Information
如何清理 NVDIMM: PowerFlex:如何清理 NVDIMM 和 SDPM - 影片
DialHome 警示建議: PowerFlex Top Dial Home 建議動作