Технологія PowerFlex: SDC "втратив доступ до обсягу"

• На хості ESXi проблемного SVM драйвер контролера RAID lsi_mr3 повідомляє про переривання роботи на нижньому диску локального сховища даних, а ESXi повідомляє про втрату доступу до тому.

У журналі VMkernel:

2017-12-03T17:47:01.634Z cpu54:33648)ScsiDeviceIO: 2636: Cmd(0x43be59ec8a00) 0x1a, CmdSN 0x1f6f4 from world 0 to dev "naa.6800733259adcc4f214574350619b91a" failed H:0x0 D:0x2 P:0x0 Valid sense data: 0x5 0x24 0x0.
2017-12-03T17:47:44.125Z cpu1:171607)lsi_mr3: mfi_TaskMgmt:254: Processing taskMgmt abort for device: vmhba2:C2:T0:L0
2017-12-03T17:47:44.125Z cpu1:171607)lsi_mr3: mfi_TaskMgmt:262: ABORT
2017-12-03T17:47:45.125Z cpu34:32905)lsi_mr3: mfi_TaskMgmt:254: Processing taskMgmt virt reset for device: vmhba2:C2:T0:L0
2017-12-03T17:47:45.125Z cpu34:32905)lsi_mr3: mfi_TaskMgmt:258: VIRT_RESET cmd # 273733296
2017-12-03T17:47:45.125Z cpu34:32905)lsi_mr3: mfi_TaskMgmt:262: ABORT
2017-12-03T17:47:45.126Z cpu1:171607)lsi_mr3: fusionWaitForOutstanding:2531: megasas: [ 0]waiting for 1 commands to complete
2017-12-03T17:47:46.877Z cpu29:35817)HBX: 2851: 'datastore3': HB at offset 3691008 - Waiting for timed out HB:

2017-12-03T17:47:45.126Z info hostd[41B40B70] [Originator@6876 sub=Vimsvc.ha-eventmgr] Event 219 : Lost access to volume 59b2c23a-98396dd8-aa53-84a9c4b71ca1 (datastore3) due to connectivity issues. Recovery attempt is in progress and outcome will be reported shortly.

• Пристрій SDS може повідомляти про переривання виконання завдання (що можна знайти як у var/log/повідомленнях, так і в журналі VMware), таким чином, процес SDS на цьому SVM зазнає тривалого вводу-виводу в польоті, що ще більше впливає на стабільність системи scaleio

• Потім SDC реєструють помилку вводу-виводу в журналі VMkernel, оскільки проблемний SDS зіткнувся з деякою проблемою мережевого сокета через повільну реакцію локального сховища даних, а сховища даних програми, що знаходяться на томі ScaleIO, можуть повідомити про втрату доступу:

2017-12-03T17:47:52.060Z cpu39:33682)scini: netSock_RcvIntrn:1903: ScaleIO R2_0:Error: Failed Success to receive 128 data PTR 0x4306d2923de4 socket 0x4306d2924200
2017-12-03T17:47:54.061Z cpu1:33476)scini: mapVolIO_ReportIOErrorIfNeeded:361: ScaleIO R2_0:[201590843] IO-ERROR comb: 32ba80000015. offsetInComb 11387944. SizeInLB 1. SDS_ID de31ad4800000001. Comb Gen 39. Head Gen 10199.
2017-12-03T17:47:54.061Z cpu1:33476)scini: mapVolIO_ReportIOErrorIfNeeded:374: ScaleIO R2_0:Vol ID 0x756be73300000017. Last fault Status IO_HARD_ERROR(20).Last error Status NOT_CONN(4) Reason (ABORTED) Retry count (2) chan (4)

2017-12-03T17:47:54.125Z info hostd[3FAAFB70] [Originator@6876 sub=Vimsvc.ha-eventmgr] Event 220 : Lost access to volume 59cb2f80-40ad26ac-cf4f-84a9c4b71ce1 (OS_windows_01) due to connectivity issues. Recovery attempt is in progress and outcome will be reported shortly.
2017-12-03T17:47:54.125Z info hostd[3FAAFB70] [Originator@6876 sub=Vimsvc.ha-eventmgr] Event 221 : Lost access to volume 59cb2f9e-984e3ff8-63e1-84a9c4b71ce1 (OS_Linux_01) due to connectivity issues. Recovery attempt is in progress and outcome will be reported shortly.
Impact

Вплив

SDC може втратити доступ до сховищ даних, розташованих на томі PowerFlex, і це може вплинути на програму або віртуальну машину в цих сховищах даних, наприклад, файлову систему перейшла лише для читання.
 

• Сховища даних VMFS контролюються за допомогою серцевих скорочень, які видаються у вигляді операцій запису приблизно раз на 3 с до томів VMFS від хостів. Коли локальне сховище даних SVM реагує повільно, загальний час введення-виведення серцебиття не завершується протягом 16-секундного вікна, сховище даних позначається в автономному режимі, і хостд генерує повідомлення про втрату доступу до журналу гучності, щоб відобразити цю поведінку. Більш детальну інформацію можна знайти в VMware KB Розуміння втраченого доступу до повідомлень про гучність в ESXi 
• У цьому випадку неможливо передбачити точну поведінку SDS, наприклад, в якому повідомленні keepalive будуть пропущені, проти чого інші компоненти PowerFlex. Деякі з введень SDC, які повинні обслуговуватися цим SDS, можуть перевищувати час очікування операційної системи або програм, що спричиняє вплив.