PowerFlex 3.6 SDS виходять з ладу з панічним несподіваним статусом: NO_RESOURCES

Сценарій
Під час нормальної роботи кластера PowerFlex відбувається збій SDS або кілька SDS з однаковим трасуванням стека

Симптоми
 - Це може статися під час нормальної роботи вводу/виводу під час використання пулів тонкої зернистості (FG).
 - Частіше це трапляється під час міграції vtree під час запису нових даних обсягу до пулу з тонкою деталізацією (FG).

Можуть з'явитися такі сценарії:

Трасування стека з'являються поруч на SDS, який вийшов з ладу:

 2022/04/05 12:01:30.816177 Panic in file /data/build/workspace/ScaleIO-Common-Job/src/tgt/spef/frontend/fe_io.c, line 3214, function feIo_L2PGatewayUpdate, PID 3682104.Panic Expression FEIO_RECOVERY__IN_PROGRESS == pFeIoDev->recoveryState || 2004 == rc || 20 == rc PANIC_ID_tgt_feio_11.
/opt/emc/scaleio/sds/bin/sds-3.6.200.105(mosDbg_PanicPrepare+0x131) [0x5cba01]
/opt/emc/scaleio/sds/bin/sds-3.6.200.105(feIo_L2PGatewayUpdate+0xb5b) [0x85612b]
/opt/emc/scaleio/sds/bin/sds-3.6.200.105(spef_WriteDo+0x1ec) [0x85631c]
/opt/emc/scaleio/sds/bin/sds-3.6.200.105(spefStorageRegion_CompressedWrite+0xb4) [0x95ad14]
/opt/emc/scaleio/sds/bin/sds-3.6.200.105() [0x929d0d]
/opt/emc/scaleio/sds/bin/sds-3.6.200.105() [0x92ab53]
/opt/emc/scaleio/sds/bin/sds-3.6.200.105(raidComb_Write+0xd0) [0x92be30]
/opt/emc/scaleio/sds/bin/sds-3.6.200.105(iohComb_WriteSecondary+0x251) [0x9a7d11]
/opt/emc/scaleio/sds/bin/sds-3.6.200.105(ioh_Write+0x3e0) [0x9a9dd0]
/opt/emc/scaleio/sds/bin/sds-3.6.200.105(ioh_NewRequest+0x2bba) [0x9af92a]
...
2022/04/05 12:01:36.642447 [CHOKE_POINT] Panic in file /data/build/workspace/ScaleIO-Common-Job/src/tgt/storage/spef_impl/spef_storage.c, line 415, function spefStorage_AttachDeviceCK, PID 2102550.Panic Expression ALWAYS_ASSERT Unexpected status: NO_RESOURCES.
/opt/emc/scaleio/sds/bin/sds-3.6.200.105(mosDbg_PanicPrepare+0x131) [0x5cba01]
/opt/emc/scaleio/sds/bin/sds-3.6.200.105(spefStorage_AttachDeviceCK+0x29a) [0x96bb5a]
/opt/emc/scaleio/sds/bin/sds-3.6.200.105(spef_AttachDeviceUmtMainFunc+0x369) [0x87e769]
/opt/emc/scaleio/sds/bin/sds-3.6.200.105(mosUmt_StartFunc+0x9c) [0x5b8c5c]
/lib64/libc.so.6(+0x4d3d0) [0x7fa54857f3d0]

Один слід прихватки стека з'являється на SDS, який вийшов з ладу:

 2022/04/05 12:01:36.642447 [CHOKE_POINT] Panic in file /data/build/workspace/ScaleIO-Common-Job/src/tgt/storage/spef_impl/spef_storage.c, line 415, function spefStorage_AttachDeviceCK, PID 2102550.Panic Expression ALWAYS_ASSERT Unexpected status: NO_RESOURCES.
/opt/emc/scaleio/sds/bin/sds-3.6.200.105(mosDbg_PanicPrepare+0x131) [0x5cba01]
/opt/emc/scaleio/sds/bin/sds-3.6.200.105(spefStorage_AttachDeviceCK+0x29a) [0x96bb5a]
/opt/emc/scaleio/sds/bin/sds-3.6.200.105(spef_AttachDeviceUmtMainFunc+0x369) [0x87e769]
/opt/emc/scaleio/sds/bin/sds-3.6.200.105(mosUmt_StartFunc+0x9c) [0x5b8c5c]
/lib64/libc.so.6(+0x4d3d0) [0x7fa54857f3d0]

Вплив

У момент аварії SDS роз'єднується, викликаючи перебудову. Якщо достатня кількість SDS вийде з ладу і відокремиться від кластера паралельно, то виникне втрата даних.

Це може відбуватися як під час звичайних операцій вводу/виводу, так і під час міграції vtree до пулу зберігання FG. Деякі з IO повинні бути розділені, щоб мати можливість поміститися на 4k сторінках пулу FG. Новий запис вводу/виводу разом із деякою частиною розділеного вводу-виводу записується в буферний простір і спричиняє переповнення буфера, що в кінцевому підсумку призводить до збою SDS.

Хоча це рідкісна умова, під час міграції vtree запустіть міграцію в момент меншого тиску вводу/виводу з інших джерел. Хоча це може зменшити ймовірність цієї аварії, це не гарантовано.

Версії, на які це вплинуло

Технологія PowerFlex v3.6.x

Виправлено у версії

PowerFlex v3.6.0.5

Версії, яких це стосується

Технологія PowerFlex v3.6.x

Виправлено у версії

PowerFlex v3.6.0.5