Linux 核心錯誤造成的 PowerFlex SDS 錯誤

案例

• Intel HaswellCPU 正在使用中。
• 其中一個 SDS 回報「資料降級」狀態，且 SDC 與磁碟區失去連線，但沒有明顯的原因
• 軟體定義儲存 （SDS） 緊急
   

症狀

• ScaleIO 系統事件報告「資料已降級」：

ScaleIO system events report "data degraded":
205466 2015-12-10 08:11:49.450 MDM_DATA_DEGRADED ERROR The system is now in DEGRADED state.
205468 2015-12-10 08:12:04.688 MDM_DATA_DEGRADED ERROR The system is now in DEGRADED state.
205470 2015-12-10 08:12:06.699 MDM_DATA_DEGRADED ERROR The system is now in DEGRADED state.
205472 2015-12-10 08:12:16.931 MDM_DATA_DEGRADED ERROR The system is now in DEGRADED state.

軟體定義儲存 （SDS） 經驗 0：

10/12 02:13:14.134144 Panic in file /emc/svc_flashbld/workspace/ScaleIO-SLES12/src/tgt/ioh/ioh.c, line 70, function iohIo_TimerExpired, PID 22333.Panic Expression !(1).
/opt/emc/scaleio/sds/bin/sds-1.32.3455.5(mosDbg_BackTrace+0x22) [0x479ba9]
/opt/emc/scaleio/sds/bin/sds-1.32.3455.5(mosDbg_Panic+0xf0) [0x4740ad]
/opt/emc/scaleio/sds/bin/sds-1.32.3455.5(iohIo_TimerExpired+0x5d) [0x43d92d]
/opt/emc/scaleio/sds/bin/sds-1.32.3455.5(mosTimerQ_PollUnlocked+0x1b4) [0x46f6e3]
/opt/emc/scaleio/sds/bin/sds-1.32.3455.5(mosTimer_PollQRange+0x83) [0x46fa6c]
/opt/emc/scaleio/sds/bin/sds-1.32.3455.5(netPoll_StartIntr+0x2ef) [0x465808]
/opt/emc/scaleio/sds/bin/sds-1.32.3455.5(mosUmt_StartFunc+0xbe) [0x47f07d]
/opt/emc/scaleio/sds/bin/sds-1.32.3455.5(mosUmt_SignalHandler+0x4a) [0x47fa3a]

影響

• 資料無法使用
• SDC 失去與磁碟區的連線。
• I/O 故障
• 長期 I/O 服務/效能下降

由於 Linux 核心錯誤，SDS 程序行為異常，因此，SDS 程序處於壓力中，行為無法預測。
在回復保持連線要求時，SDS 無法完全運作，且未回應 SDC I/O 要求。
這樣的狀況不允許 ScaleIO 將 SDS 標記為失敗，最終導致資料無法使用。

• Linux 核心錯誤資訊：
  Futex：修復REQUEUE_PI和任務死亡之間的爭用條件 （bcn #851603（futex 可伸縮性系列）。
  Futex：確保 get_futex_key_refs（） 總是意味著障礙（bcn #851603 （futex 可擴展性系列））。
   
• 如需詳細資訊，請參閱下列連結：
  Suse：SUSE-SU-2015：0068-1
  Red Hat：嚴重的紅帽Linux漏洞影響基於Haswell的伺服器 - InfoQ

因應措施

• 升級 Linux 核心版本。