PowerFlex 3.x. Во время обновления без прерывания работы в SDS возникает паника и обновление останавливается

Обновление VxFlex OS 3.0.x.x до PowerFlex 3.5.x.x или 3.6.0.x
Непрерывная критическая ошибка ядра SDS не позволяет системе продолжить обновление.

Процесс SDS постоянно вызывает панику и перезапускается со следующей трассировкой стека:

27/07 08:07:25.381223 Panic in file /data/build/workspace/ScaleIO-Common-Job/src/tgt/spef/l2p_sm/l2p_resolver/l2p_resolver_sync_services.c, line 1828, function Resolver_Inter_SyncUnmatchedVto, PID 133106.Panic Expression ALWAYS_ASSERT PANIC_ID_tgt_1588256010820.
/opt/emc/scaleio/sds/bin/sds-3.5.1100.107(mosDbg_PanicPrepare+0x13a) [0x93b62a]
/opt/emc/scaleio/sds/bin/sds-3.5.1100.107(Resolver_Inter_SyncUnmatchedVto+0x69c) [0x643ddc]
/opt/emc/scaleio/sds/bin/sds-3.5.1100.107(Resolver_Inter_SyncOffsetData+0xd2) [0x644082]
/opt/emc/scaleio/sds/bin/sds-3.5.1100.107(Resolver_SyncOffset+0x3e6) [0x6446f6]
/opt/emc/scaleio/sds/bin/sds-3.5.1100.107(Resolver_Sync+0x1e4) [0x645c54]
/opt/emc/scaleio/sds/bin/sds-3.5.1100.107(L2PGateway_Inter_Sync+0x59) [0x6542d9]
/opt/emc/scaleio/sds/bin/sds-3.5.1100.107(L2PGateway_Inter_UpdateRamCopyEx+0x163) [0x901ba3]
/opt/emc/scaleio/sds/bin/sds-3.5.1100.107(L2PGateway_Inter_Update+0x4f7) [0x9060f7]
/opt/emc/scaleio/sds/bin/sds-3.5.1100.107(L2PGateway_Sync+0x64) [0x9073d4]
/opt/emc/scaleio/sds/bin/sds-3.5.1100.107(feIo_L2PGatewayUpdate+0x3d8) [0x90cf98]

Во время обратного восстановления системы при выходе из режима мгновенного обслуживания (IMM) на первичном (PRI) и дополнительном (SEC) SDS отправляется и принимается неверное сообщение о синхронизации данных. Таким образом, SEC SDS резко перезапускает сервис, чтобы избежать возможной несогласованности данных.

Это редкий сценарий во время IMM, когда сбой ввода-вывода команды записи может ложно привести к внутренней проверке работоспособности (внутренней проверке целостности данных, которая приводит к сбою сервиса SDS) во время перестройки после завершения Exit IMM. Сбой ввода-вывода команды записи происходит до ввода IMM, и во время IMM был отправлен еще один ввод-вывод на соседний смещение в том же наборе данных.

Автоматическое обновление с помощью шлюза

1. Остановите модернизацию с помощью пользовательского интерфейса шлюза.
2. Удалите неисправный SDS из кластера, а затем добавьте его обратно.
3. Перезапустите обновление из пользовательского интерфейса шлюза и установите флажок "Разрешить обновление, даже если оно уже находится в состоянии обновления" - обновление должно начаться заново и продолжиться с еще не обновленными компонентами: 

Обновление вручную

Вариант #1

1. Если одно и то же устройство выходит из строя в каждом из случаев, переведите его в автономный режим. Если нет, извлеките все устройства SDS из SDS.
2. Дождитесь завершения восстановления.
3. После удаления модернизируйте SDS и снова добавьте его в кластер.
4. Удалите из кластера следующий SDS, который необходимо модернизировать, что вызовет повторную балансировку.
5. После удаления модернизируйте SDS и снова добавьте его в кластер.
6. Повторная балансировка продолжается до тех пор, пока в системе не будет достаточно емкости для удаления следующего SDS, который необходимо модернизировать. Повторяйте до тех пор, пока не будут обновлены все SDS.

Вариант #2

Используйте Protected Maintenance Mode (PMM) вместо IMM для создания полной третьей копии. Эта проблема не должна возникать с PMM, например, возникает цикл аварийного завершения работы службы из-за того, что SDS аварийно завершает работу во время перестроения, затем снова включается и повторяется. Выход из этой ситуации заключается в том, чтобы вывести из строя разрушающийся SDS на достаточно длительный период, чтобы MDM дал указание на перестроение вперед, а не назад. После восстановления проблемного набора данных SDS можно будет успешно восстановить.
 

Затронутые версии:

VxFlex OS 3.0.x.x
PowerFlex 3.5.x.x
PowerFlex 3.6.0.x-3.6.1.x

Исправлено в версии:

PowerFlex 3.6.2