PowerFlex. SDC «потерял доступ к тому»

• На хосте ESXi с проблемным SVM драйвер RAID-контроллера lsi_mr3 сообщает об прерываниях на базовом диске локального хранилища данных, а ESXi сообщает об утрате доступа к тому.

В журнале VMkernel:

2017-12-03T17:47:01.634Z cpu54:33648)ScsiDeviceIO: 2636: Cmd(0x43be59ec8a00) 0x1a, CmdSN 0x1f6f4 from world 0 to dev "naa.6800733259adcc4f214574350619b91a" failed H:0x0 D:0x2 P:0x0 Valid sense data: 0x5 0x24 0x0.
2017-12-03T17:47:44.125Z cpu1:171607)lsi_mr3: mfi_TaskMgmt:254: Processing taskMgmt abort for device: vmhba2:C2:T0:L0
2017-12-03T17:47:44.125Z cpu1:171607)lsi_mr3: mfi_TaskMgmt:262: ABORT
2017-12-03T17:47:45.125Z cpu34:32905)lsi_mr3: mfi_TaskMgmt:254: Processing taskMgmt virt reset for device: vmhba2:C2:T0:L0
2017-12-03T17:47:45.125Z cpu34:32905)lsi_mr3: mfi_TaskMgmt:258: VIRT_RESET cmd # 273733296
2017-12-03T17:47:45.125Z cpu34:32905)lsi_mr3: mfi_TaskMgmt:262: ABORT
2017-12-03T17:47:45.126Z cpu1:171607)lsi_mr3: fusionWaitForOutstanding:2531: megasas: [ 0]waiting for 1 commands to complete
2017-12-03T17:47:46.877Z cpu29:35817)HBX: 2851: 'datastore3': HB at offset 3691008 - Waiting for timed out HB:

2017-12-03T17:47:45.126Z info hostd[41B40B70] [Originator@6876 sub=Vimsvc.ha-eventmgr] Event 219 : Lost access to volume 59b2c23a-98396dd8-aa53-84a9c4b71ca1 (datastore3) due to connectivity issues. Recovery attempt is in progress and outcome will be reported shortly.

• Устройство SDS может сообщать об прерывании задачи (которое можно найти как в var/log/messages, так и в журнале VMware), таким образом, процесс SDS на этом SVM будет испытывать длительные операции ввода-вывода, что в дальнейшем влияет на стабильность системы scaleio

• Затем SDC регистрируют ошибку ввода-вывода в журнале VMkernel, так как в проблемном SDS возникла проблема с сетевым сокетом из-за медленного отклика локального хранилища данных, а хранилища данных приложений, размещенные на томе ScaleIO, могут сообщать о потере доступа:

2017-12-03T17:47:52.060Z cpu39:33682)scini: netSock_RcvIntrn:1903: ScaleIO R2_0:Error: Failed Success to receive 128 data PTR 0x4306d2923de4 socket 0x4306d2924200
2017-12-03T17:47:54.061Z cpu1:33476)scini: mapVolIO_ReportIOErrorIfNeeded:361: ScaleIO R2_0:[201590843] IO-ERROR comb: 32ba80000015. offsetInComb 11387944. SizeInLB 1. SDS_ID de31ad4800000001. Comb Gen 39. Head Gen 10199.
2017-12-03T17:47:54.061Z cpu1:33476)scini: mapVolIO_ReportIOErrorIfNeeded:374: ScaleIO R2_0:Vol ID 0x756be73300000017. Last fault Status IO_HARD_ERROR(20).Last error Status NOT_CONN(4) Reason (ABORTED) Retry count (2) chan (4)

2017-12-03T17:47:54.125Z info hostd[3FAAFB70] [Originator@6876 sub=Vimsvc.ha-eventmgr] Event 220 : Lost access to volume 59cb2f80-40ad26ac-cf4f-84a9c4b71ce1 (OS_windows_01) due to connectivity issues. Recovery attempt is in progress and outcome will be reported shortly.
2017-12-03T17:47:54.125Z info hostd[3FAAFB70] [Originator@6876 sub=Vimsvc.ha-eventmgr] Event 221 : Lost access to volume 59cb2f9e-984e3ff8-63e1-84a9c4b71ce1 (OS_Linux_01) due to connectivity issues. Recovery attempt is in progress and outcome will be reported shortly.
Impact

Воздействие

SDC может утратить доступ к хранилищам данных, расположенным на томе PowerFlex, и это может повлиять на приложение или виртуальную машину в этих хранилищах данных, например, файловая система станет доступной только для чтения.
 

• Мониторинг хранилищ данных VMFS осуществляется с помощью тактовых импульсов, которые передаются в виде операций записи примерно каждые 3 секунды на тома VMFS с хостов. Если локальное хранилище данных SVM медленно отвечает, общее время ввода-вывода тактовых импульсов не завершается в течение 16 секунд, хранилище данных переводится в автономный режим, и hostd создает сообщение Утрачен доступ к журналу тома, чтобы отразить это поведение. Дополнительные сведения см. в статье базы знаний VMware Общие сведения об утраче доступа к сообщениям об утере тома в ESXi 
• В этом случае невозможно предсказать точное поведение SDS, например, какие сообщения keepalive будут пропущены и в каком случае будут показаны другие компоненты PowerFlex. Время ожидания некоторых операций ввода-вывода SDC, которые должны обслуживаться этим SDS, может превышать время ожидания операционной системы или приложений, что может оказывать негативное влияние.