PowerFlex: SDC "accesso perso al volume"

• Sull host ESXi della SVM problematica, il driver del controller RAID segnala lsi_mr3 interruzioni sul disco sottostante del datastore locale ed ESXi segnala la perdita di accesso al volume.

Nel log VMkernel:

2017-12-03T17:47:01.634Z cpu54:33648)ScsiDeviceIO: 2636: Cmd(0x43be59ec8a00) 0x1a, CmdSN 0x1f6f4 from world 0 to dev "naa.6800733259adcc4f214574350619b91a" failed H:0x0 D:0x2 P:0x0 Valid sense data: 0x5 0x24 0x0.
2017-12-03T17:47:44.125Z cpu1:171607)lsi_mr3: mfi_TaskMgmt:254: Processing taskMgmt abort for device: vmhba2:C2:T0:L0
2017-12-03T17:47:44.125Z cpu1:171607)lsi_mr3: mfi_TaskMgmt:262: ABORT
2017-12-03T17:47:45.125Z cpu34:32905)lsi_mr3: mfi_TaskMgmt:254: Processing taskMgmt virt reset for device: vmhba2:C2:T0:L0
2017-12-03T17:47:45.125Z cpu34:32905)lsi_mr3: mfi_TaskMgmt:258: VIRT_RESET cmd # 273733296
2017-12-03T17:47:45.125Z cpu34:32905)lsi_mr3: mfi_TaskMgmt:262: ABORT
2017-12-03T17:47:45.126Z cpu1:171607)lsi_mr3: fusionWaitForOutstanding:2531: megasas: [ 0]waiting for 1 commands to complete
2017-12-03T17:47:46.877Z cpu29:35817)HBX: 2851: 'datastore3': HB at offset 3691008 - Waiting for timed out HB:

2017-12-03T17:47:45.126Z info hostd[41B40B70] [Originator@6876 sub=Vimsvc.ha-eventmgr] Event 219 : Lost access to volume 59b2c23a-98396dd8-aa53-84a9c4b71ca1 (datastore3) due to connectivity issues. Recovery attempt is in progress and outcome will be reported shortly.

• Il dispositivo SDS può segnalare l'interruzione dell'attività (che può essere trovata sia in var/log/messages che nel registro VMware), pertanto il processo SDS su questa SVM sperimenterebbe un lungo I/O in esecuzione, che influisce ulteriormente sulla stabilità del sistema scaleio

• Gli SDC registrano quindi l'errore di I/O nel registro VMkernel, poiché l SDS problematico presentava alcuni problemi di socket di rete a causa della risposta lenta del datastore locale e i datastore delle applicazioni che risiedono nel volume ScaleIO possono segnalare una perdita di accesso:

2017-12-03T17:47:52.060Z cpu39:33682)scini: netSock_RcvIntrn:1903: ScaleIO R2_0:Error: Failed Success to receive 128 data PTR 0x4306d2923de4 socket 0x4306d2924200
2017-12-03T17:47:54.061Z cpu1:33476)scini: mapVolIO_ReportIOErrorIfNeeded:361: ScaleIO R2_0:[201590843] IO-ERROR comb: 32ba80000015. offsetInComb 11387944. SizeInLB 1. SDS_ID de31ad4800000001. Comb Gen 39. Head Gen 10199.
2017-12-03T17:47:54.061Z cpu1:33476)scini: mapVolIO_ReportIOErrorIfNeeded:374: ScaleIO R2_0:Vol ID 0x756be73300000017. Last fault Status IO_HARD_ERROR(20).Last error Status NOT_CONN(4) Reason (ABORTED) Retry count (2) chan (4)

2017-12-03T17:47:54.125Z info hostd[3FAAFB70] [Originator@6876 sub=Vimsvc.ha-eventmgr] Event 220 : Lost access to volume 59cb2f80-40ad26ac-cf4f-84a9c4b71ce1 (OS_windows_01) due to connectivity issues. Recovery attempt is in progress and outcome will be reported shortly.
2017-12-03T17:47:54.125Z info hostd[3FAAFB70] [Originator@6876 sub=Vimsvc.ha-eventmgr] Event 221 : Lost access to volume 59cb2f9e-984e3ff8-63e1-84a9c4b71ce1 (OS_Linux_01) due to connectivity issues. Recovery attempt is in progress and outcome will be reported shortly.
Impact

Impatto

L SDC potrebbe perdere l'accesso ai datastore che risiedono sul volume PowerFlex e l'applicazione o la VM su tale datastore potrebbe essere influenzata, ad esempio se il file system è diventato read-only.
 

• I datastore VMFS vengono monitorati tramite gli heartbeat rilasciati sotto forma di operazioni di scrittura circa una volta ogni 3 secondi sui volumi VMFS dagli host. Quando il datastore locale della SVM risponde lentamente, il tempo totale dell'I/O heartbeat non viene completato entro una finestra di 16 secondi, il datastore viene contrassegnato come offline e hostd genera un messaggio Lost access to volume log per riflettere questo comportamento. Ulteriori dettagli sono disponibili nella KB di VMware Informazioni sull'accesso perso ai messaggi del volume in ESXi 
• In questo caso, non è possibile prevedere il comportamento esatto dell SDS, come in quali messaggi keepalive verrebbero persi, rispetto a quali altri componenti PowerFlex. Alcuni degli I/O SDC che devono essere gestiti da questo SDS potrebbero superare il timeout del sistema operativo o delle applicazioni, con un impatto.