Linux 内核错误导致的 PowerFlex SDS 崩溃

情况说明

• 英特尔 Haswell正在使用 CPU。
• 其中一个 SDS 报告“数据降级”状态和 SDC 丢失与卷的连接，原因不明
• SDS 崩溃
   

症状

• ScaleIO 系统事件报告“数据降级”：

ScaleIO system events report "data degraded":
205466 2015-12-10 08:11:49.450 MDM_DATA_DEGRADED ERROR The system is now in DEGRADED state.
205468 2015-12-10 08:12:04.688 MDM_DATA_DEGRADED ERROR The system is now in DEGRADED state.
205470 2015-12-10 08:12:06.699 MDM_DATA_DEGRADED ERROR The system is now in DEGRADED state.
205472 2015-12-10 08:12:16.931 MDM_DATA_DEGRADED ERROR The system is now in DEGRADED state.

SDS exp.0:

10/12 02:13:14.134144 Panic in file /emc/svc_flashbld/workspace/ScaleIO-SLES12/src/tgt/ioh/ioh.c, line 70, function iohIo_TimerExpired, PID 22333.Panic Expression !(1).
/opt/emc/scaleio/sds/bin/sds-1.32.3455.5(mosDbg_BackTrace+0x22) [0x479ba9]
/opt/emc/scaleio/sds/bin/sds-1.32.3455.5(mosDbg_Panic+0xf0) [0x4740ad]
/opt/emc/scaleio/sds/bin/sds-1.32.3455.5(iohIo_TimerExpired+0x5d) [0x43d92d]
/opt/emc/scaleio/sds/bin/sds-1.32.3455.5(mosTimerQ_PollUnlocked+0x1b4) [0x46f6e3]
/opt/emc/scaleio/sds/bin/sds-1.32.3455.5(mosTimer_PollQRange+0x83) [0x46fa6c]
/opt/emc/scaleio/sds/bin/sds-1.32.3455.5(netPoll_StartIntr+0x2ef) [0x465808]
/opt/emc/scaleio/sds/bin/sds-1.32.3455.5(mosUmt_StartFunc+0xbe) [0x47f07d]
/opt/emc/scaleio/sds/bin/sds-1.32.3455.5(mosUmt_SignalHandler+0x4a) [0x47fa3a]

影响

• 数据不可用
• SDC 与卷的连接丢失。
• I/O 故障
• 长时间 I/O 服务/性能下降

由于 Linux 内核错误，SDS 进程行为异常，因此，SDS 进程处于压力状态，行为不可预测。
在回复保持活动请求时，SDS 未完全正常工作，并且未响应 SDC I/O 请求。
这种情况不允许 ScaleIO 将 SDS 标记为失败，这最终导致数据不可用。

• Linux 内核错误信息：
  Futex：修复了 REQUEUE_PI 和任务死亡之间的争用条件 （bcn #851603 （futex scalability series）。
  Futex：确保 get_futex_key_refs（） 始终隐含障碍 （bcn #851603 （futex scalability series））。
   
• 有关更多信息，请参阅以下链接：
  SUSE：SUSE-SU-2015：0068-1
  Red Hat：Red Hat Linux 的严重漏洞影响基于 Haswell 的服务器 - InfoQ

解决方法

• 升级 Linux 内核版本。