Pane no PowerFlex SDS causada por bug do kernel do Linux

Situação

• Intel Haswell A CPU está sendo usada.
• Um dos SDSs relata estado de "dados degradados" e perda de conexão do SDC com volumes, sem motivo óbvio
• Pane do SDS
   

Sintomas

• Relatório de eventos do sistema ScaleIO "dados degradados":

ScaleIO system events report "data degraded":
205466 2015-12-10 08:11:49.450 MDM_DATA_DEGRADED ERROR The system is now in DEGRADED state.
205468 2015-12-10 08:12:04.688 MDM_DATA_DEGRADED ERROR The system is now in DEGRADED state.
205470 2015-12-10 08:12:06.699 MDM_DATA_DEGRADED ERROR The system is now in DEGRADED state.
205472 2015-12-10 08:12:16.931 MDM_DATA_DEGRADED ERROR The system is now in DEGRADED state.

SDS exp.0:

10/12 02:13:14.134144 Panic in file /emc/svc_flashbld/workspace/ScaleIO-SLES12/src/tgt/ioh/ioh.c, line 70, function iohIo_TimerExpired, PID 22333.Panic Expression !(1).
/opt/emc/scaleio/sds/bin/sds-1.32.3455.5(mosDbg_BackTrace+0x22) [0x479ba9]
/opt/emc/scaleio/sds/bin/sds-1.32.3455.5(mosDbg_Panic+0xf0) [0x4740ad]
/opt/emc/scaleio/sds/bin/sds-1.32.3455.5(iohIo_TimerExpired+0x5d) [0x43d92d]
/opt/emc/scaleio/sds/bin/sds-1.32.3455.5(mosTimerQ_PollUnlocked+0x1b4) [0x46f6e3]
/opt/emc/scaleio/sds/bin/sds-1.32.3455.5(mosTimer_PollQRange+0x83) [0x46fa6c]
/opt/emc/scaleio/sds/bin/sds-1.32.3455.5(netPoll_StartIntr+0x2ef) [0x465808]
/opt/emc/scaleio/sds/bin/sds-1.32.3455.5(mosUmt_StartFunc+0xbe) [0x47f07d]
/opt/emc/scaleio/sds/bin/sds-1.32.3455.5(mosUmt_SignalHandler+0x4a) [0x47fa3a]

Impacto

• Dados indisponíveis
• O SDC perdeu a conexão com os volumes.
• Falha de E/S
• Degradação longa do desempenho/serviço de E/S

Devido ao bug do kernel do Linux, o processo do SDS se comportou de forma anormal, devido a essa condição, o processo do SDS estava em estresse e o comportamento era imprevisível.
Ao responder às solicitações de manutenção ativa, o SDS não estava totalmente funcional e não estava respondendo às solicitações de E/S do SDC.
Tal condição não permitia que o ScaleIO marcasse o SDS como com falha, o que acabava levando à indisponibilidade de dados.

• Informações sobre bugs do kernel do Linux:
  Futex: Corrija uma condição de corrida entre REQUEUE_PI e morte de tarefa (bcn #851603 (série de escalabilidade futex).
  Futex: Certifique-se de que get_futex_key_refs() sempre implica uma barreira (bcn #851603 (futex scalability series)).
   
• Para obter mais informações, consulte os seguintes links:
  Suse:SUSE-SU-2015:0068-1
  Red Hat: Bug sério do Red Hat Linux afeta servidores baseados em Haswell - InfoQ

Solução temporária

• Faça upgrade da versão do kernel do Linux.