PowerFlex SDS-panik forårsaget af Linux-kernefejl

Scenarie

• Intel Haswell CPU er ved at blive brugt.
• En af SDS'erne rapporterer "data forringet" tilstand og SDC's mistede forbindelse til volumener uden nogen åbenbar grund
• SDS-panik
   

Symptomer

• ScaleIO-systemhændelser rapporterer "data forringet":

ScaleIO system events report "data degraded":
205466 2015-12-10 08:11:49.450 MDM_DATA_DEGRADED ERROR The system is now in DEGRADED state.
205468 2015-12-10 08:12:04.688 MDM_DATA_DEGRADED ERROR The system is now in DEGRADED state.
205470 2015-12-10 08:12:06.699 MDM_DATA_DEGRADED ERROR The system is now in DEGRADED state.
205472 2015-12-10 08:12:16.931 MDM_DATA_DEGRADED ERROR The system is now in DEGRADED state.

SDS exp.0:

10/12 02:13:14.134144 Panic in file /emc/svc_flashbld/workspace/ScaleIO-SLES12/src/tgt/ioh/ioh.c, line 70, function iohIo_TimerExpired, PID 22333.Panic Expression !(1).
/opt/emc/scaleio/sds/bin/sds-1.32.3455.5(mosDbg_BackTrace+0x22) [0x479ba9]
/opt/emc/scaleio/sds/bin/sds-1.32.3455.5(mosDbg_Panic+0xf0) [0x4740ad]
/opt/emc/scaleio/sds/bin/sds-1.32.3455.5(iohIo_TimerExpired+0x5d) [0x43d92d]
/opt/emc/scaleio/sds/bin/sds-1.32.3455.5(mosTimerQ_PollUnlocked+0x1b4) [0x46f6e3]
/opt/emc/scaleio/sds/bin/sds-1.32.3455.5(mosTimer_PollQRange+0x83) [0x46fa6c]
/opt/emc/scaleio/sds/bin/sds-1.32.3455.5(netPoll_StartIntr+0x2ef) [0x465808]
/opt/emc/scaleio/sds/bin/sds-1.32.3455.5(mosUmt_StartFunc+0xbe) [0x47f07d]
/opt/emc/scaleio/sds/bin/sds-1.32.3455.5(mosUmt_SignalHandler+0x4a) [0x47fa3a]

Påvirkning

• Data er ikke tilgængelige
• SDC mistede forbindelsen til diskenheder.
• I/O-fejl
• Lang I/O-service/forringelse af ydeevnen

På grund af Linux-kernefejlen opførte SDS-processen sig unormalt, på grund af denne tilstand var SDS-processen i stress, og adfærden var uforudsigelig.
Mens SDS svarede for at holde liv i anmodninger, var det ikke fuldt funktionelt og svarede ikke på SDC I / O-anmodninger.
En sådan betingelse tillod ikke ScaleIO at markere sikkerhedsdatabladet som mislykket, hvilket i sidste ende førte til, at data ikke var tilgængelige.

• Oplysninger om Linux-kernefejl:
  Futex: Ret en racetilstand mellem REQUEUE_PI og opgavedød (bcn #851603 (futex scalability series).
  Futex: Sørg for, at get_futex_key_refs() altid indebærer en barriere (bcn #851603 (futex scalability series)).
   
• Du kan finde flere oplysninger ved at klikke på følgende links:
  Suse:SUSE-SU-2015:0068-1
  Red Hat: Alvorlig Red Hat Linux-fejl påvirker Haswell-baserede servere - InfoQ

Løsning

• Opgrader Linux Kernel-versionen.