PowerFlex: SDC "hat Zugriff auf Volume verloren"

• Auf dem ESXi-Host der problematischen SVM meldet der RAID-Controller-Treiber lsi_mr3 Abbrüche auf der zugrunde liegenden Festplatte des lokalen Datenspeichers und ESXi meldet verlorenen Zugriff auf das Volume.

Im VMkernel-Protokoll:

2017-12-03T17:47:01.634Z cpu54:33648)ScsiDeviceIO: 2636: Cmd(0x43be59ec8a00) 0x1a, CmdSN 0x1f6f4 from world 0 to dev "naa.6800733259adcc4f214574350619b91a" failed H:0x0 D:0x2 P:0x0 Valid sense data: 0x5 0x24 0x0.
2017-12-03T17:47:44.125Z cpu1:171607)lsi_mr3: mfi_TaskMgmt:254: Processing taskMgmt abort for device: vmhba2:C2:T0:L0
2017-12-03T17:47:44.125Z cpu1:171607)lsi_mr3: mfi_TaskMgmt:262: ABORT
2017-12-03T17:47:45.125Z cpu34:32905)lsi_mr3: mfi_TaskMgmt:254: Processing taskMgmt virt reset for device: vmhba2:C2:T0:L0
2017-12-03T17:47:45.125Z cpu34:32905)lsi_mr3: mfi_TaskMgmt:258: VIRT_RESET cmd # 273733296
2017-12-03T17:47:45.125Z cpu34:32905)lsi_mr3: mfi_TaskMgmt:262: ABORT
2017-12-03T17:47:45.126Z cpu1:171607)lsi_mr3: fusionWaitForOutstanding:2531: megasas: [ 0]waiting for 1 commands to complete
2017-12-03T17:47:46.877Z cpu29:35817)HBX: 2851: 'datastore3': HB at offset 3691008 - Waiting for timed out HB:

2017-12-03T17:47:45.126Z info hostd[41B40B70] [Originator@6876 sub=Vimsvc.ha-eventmgr] Event 219 : Lost access to volume 59b2c23a-98396dd8-aa53-84a9c4b71ca1 (datastore3) due to connectivity issues. Recovery attempt is in progress and outcome will be reported shortly.

• Das SDS-Gerät kann einen Aufgabenabbruch melden (dies ist sowohl in var/log/messages als auch im VMware-Protokoll zu finden), sodass der SDS-Prozess auf dieser SVM lange Inflight-I/O erleiden würde, was sich weiter auf die Stabilität des ScaleIO-Systems auswirkt

• SDCs protokollieren dann einen IO-Fehler im VMkernel-Protokoll, da der problematische SDS aufgrund der langsamen Reaktion des lokalen Datenspeichers ein Net-Socket-Problem hatte und die Anwendungsdatenspeicher auf dem ScaleIO-Volume einen Zugriffsverlust melden können:

2017-12-03T17:47:52.060Z cpu39:33682)scini: netSock_RcvIntrn:1903: ScaleIO R2_0:Error: Failed Success to receive 128 data PTR 0x4306d2923de4 socket 0x4306d2924200
2017-12-03T17:47:54.061Z cpu1:33476)scini: mapVolIO_ReportIOErrorIfNeeded:361: ScaleIO R2_0:[201590843] IO-ERROR comb: 32ba80000015. offsetInComb 11387944. SizeInLB 1. SDS_ID de31ad4800000001. Comb Gen 39. Head Gen 10199.
2017-12-03T17:47:54.061Z cpu1:33476)scini: mapVolIO_ReportIOErrorIfNeeded:374: ScaleIO R2_0:Vol ID 0x756be73300000017. Last fault Status IO_HARD_ERROR(20).Last error Status NOT_CONN(4) Reason (ABORTED) Retry count (2) chan (4)

2017-12-03T17:47:54.125Z info hostd[3FAAFB70] [Originator@6876 sub=Vimsvc.ha-eventmgr] Event 220 : Lost access to volume 59cb2f80-40ad26ac-cf4f-84a9c4b71ce1 (OS_windows_01) due to connectivity issues. Recovery attempt is in progress and outcome will be reported shortly.
2017-12-03T17:47:54.125Z info hostd[3FAAFB70] [Originator@6876 sub=Vimsvc.ha-eventmgr] Event 221 : Lost access to volume 59cb2f9e-984e3ff8-63e1-84a9c4b71ce1 (OS_Linux_01) due to connectivity issues. Recovery attempt is in progress and outcome will be reported shortly.
Impact

Auswirkungen

Der SDC kann den Zugriff auf Datenspeicher verlieren, die sich auf einem PowerFlex-Volume befinden, und die Anwendung oder VM auf diesen Datenspeichern kann beeinträchtigt werden, z. B. wenn das Dateisystem schreibgeschützt ist.
 

• Die VMFS-Datenspeicher werden über die Heartbeats überwacht, die in Form von Schreibvorgängen ungefähr alle 3 Sekunden von den Hosts an die VMFS-Volumes ausgegeben werden. Wenn der lokale Datenspeicher der SVM langsam reagiert und die Gesamtzeit der Heartbeat-I/O nicht innerhalb eines 16-Sekunden-Fensters abgeschlossen wird, wird der Datenspeicher als offline markiert und eine Protokollmeldung Verlorener Zugriff auf das Volume wird von hostd erzeugt, um dieses Verhalten widerzuspiegeln. Weitere Informationen finden Sie in VMware KB Understanding lost access to volume messages in ESXi. 
• In diesem Fall kann das genaue Verhalten des SDS nicht vorhergesagt werden, d. h. welche Keepalive-Meldungen für welche anderen PowerFlex-Komponenten verpasst würden. Einige der SDC-IOs, die von diesem SDS bedient werden müssen, überschreiten möglicherweise das Timeout des Betriebssystems oder der Anwendungen und können Auswirkungen haben.