Linux Çekirdeği hatasının neden olduğu PowerFlex SDS paniği

Senaryo

• Intel Haswell CPU kullanılıyor.
• SDS'lerden biri, bariz bir neden olmaksızın "veri bozulmuş" durumu ve SDC'nin birimlerle bağlantısının kesildiğini bildiriyor
• SDS paniği
   

Belirtiler

• ScaleIO sistem olayları raporu "veriler bozuldu":

ScaleIO system events report "data degraded":
205466 2015-12-10 08:11:49.450 MDM_DATA_DEGRADED ERROR The system is now in DEGRADED state.
205468 2015-12-10 08:12:04.688 MDM_DATA_DEGRADED ERROR The system is now in DEGRADED state.
205470 2015-12-10 08:12:06.699 MDM_DATA_DEGRADED ERROR The system is now in DEGRADED state.
205472 2015-12-10 08:12:16.931 MDM_DATA_DEGRADED ERROR The system is now in DEGRADED state.

SDS exp.0:

10/12 02:13:14.134144 Panic in file /emc/svc_flashbld/workspace/ScaleIO-SLES12/src/tgt/ioh/ioh.c, line 70, function iohIo_TimerExpired, PID 22333.Panic Expression !(1).
/opt/emc/scaleio/sds/bin/sds-1.32.3455.5(mosDbg_BackTrace+0x22) [0x479ba9]
/opt/emc/scaleio/sds/bin/sds-1.32.3455.5(mosDbg_Panic+0xf0) [0x4740ad]
/opt/emc/scaleio/sds/bin/sds-1.32.3455.5(iohIo_TimerExpired+0x5d) [0x43d92d]
/opt/emc/scaleio/sds/bin/sds-1.32.3455.5(mosTimerQ_PollUnlocked+0x1b4) [0x46f6e3]
/opt/emc/scaleio/sds/bin/sds-1.32.3455.5(mosTimer_PollQRange+0x83) [0x46fa6c]
/opt/emc/scaleio/sds/bin/sds-1.32.3455.5(netPoll_StartIntr+0x2ef) [0x465808]
/opt/emc/scaleio/sds/bin/sds-1.32.3455.5(mosUmt_StartFunc+0xbe) [0x47f07d]
/opt/emc/scaleio/sds/bin/sds-1.32.3455.5(mosUmt_SignalHandler+0x4a) [0x47fa3a]

Etki

• Veri kullanılamıyor
• SDC'nin disk bölümleriyle bağlantısı kesildi.
• G/Ç arızası
• Uzun G/Ç hizmeti/performans düşüşü

Linux çekirdeği hatası nedeniyle, SDS işlemi anormal davrandı, bu durum nedeniyle SDS süreci stres altındaydı ve davranış tahmin edilemezdi.
SDS, canlı tutma isteklerini yanıtlarken tam olarak işlevsel değildi ve SDC G/Ç isteklerine yanıt vermiyordu.
Böyle bir durum, ScaleIO'nun SDS'yi başarısız olarak işaretlemesine izin vermedi ve bu da sonunda verilerin kullanılamamasına neden oldu.

• Linux Çekirdeği hata bilgileri:
  Futex: REQUEUE_PI ve görev ölümü arasındaki yarış durumu düzeltildi (bcn #851603 (futex ölçeklenebilirlik serisi).
  Futex: get_futex_key_refs() öğesinin her zaman bir engel anlamına geldiğinden emin olun (bcn #851603 (futex ölçeklenebilirlik serisi)).
   
• Daha fazla bilgi için aşağıdaki bağlantılara bakın:
  SUSE:SUSE-SU-2015:0068-1
  Red Hat: Ciddi Red Hat Linux Hatası Haswell Tabanlı Sunucuları Etkiliyor - InfoQ

Geçici Çözüm

• Linux Çekirdeği sürümünü yükseltin.