Selhání úložiště PowerFlex 3.6 SDS s neočekávaným stavem paniky: NO_RESOURCES

Scénář
Během normálního provozu clusteru PowerFlex dojde k selhání softwarově definovaného disku nebo více disků SDS se stejným trasováním zásobníku

Symptomy
 K tomu může dojít během normální vstupně-výstupní operace při použití fondů jemné členitosti (FG).
 - Pravděpodobnější, že k tomu dojde během migrace vtree při zápisu dat nového svazku do fondu jemné členitosti (FG).

Mohou nastat následující scénáře:

Trasování zásobníku se zobrazí v blízkosti na úložišti SDS, u kterého došlo k chybě:

 2022/04/05 12:01:30.816177 Panic in file /data/build/workspace/ScaleIO-Common-Job/src/tgt/spef/frontend/fe_io.c, line 3214, function feIo_L2PGatewayUpdate, PID 3682104.Panic Expression FEIO_RECOVERY__IN_PROGRESS == pFeIoDev->recoveryState || 2004 == rc || 20 == rc PANIC_ID_tgt_feio_11.
/opt/emc/scaleio/sds/bin/sds-3.6.200.105(mosDbg_PanicPrepare+0x131) [0x5cba01]
/opt/emc/scaleio/sds/bin/sds-3.6.200.105(feIo_L2PGatewayUpdate+0xb5b) [0x85612b]
/opt/emc/scaleio/sds/bin/sds-3.6.200.105(spef_WriteDo+0x1ec) [0x85631c]
/opt/emc/scaleio/sds/bin/sds-3.6.200.105(spefStorageRegion_CompressedWrite+0xb4) [0x95ad14]
/opt/emc/scaleio/sds/bin/sds-3.6.200.105() [0x929d0d]
/opt/emc/scaleio/sds/bin/sds-3.6.200.105() [0x92ab53]
/opt/emc/scaleio/sds/bin/sds-3.6.200.105(raidComb_Write+0xd0) [0x92be30]
/opt/emc/scaleio/sds/bin/sds-3.6.200.105(iohComb_WriteSecondary+0x251) [0x9a7d11]
/opt/emc/scaleio/sds/bin/sds-3.6.200.105(ioh_Write+0x3e0) [0x9a9dd0]
/opt/emc/scaleio/sds/bin/sds-3.6.200.105(ioh_NewRequest+0x2bba) [0x9af92a]
...
2022/04/05 12:01:36.642447 [CHOKE_POINT] Panic in file /data/build/workspace/ScaleIO-Common-Job/src/tgt/storage/spef_impl/spef_storage.c, line 415, function spefStorage_AttachDeviceCK, PID 2102550.Panic Expression ALWAYS_ASSERT Unexpected status: NO_RESOURCES.
/opt/emc/scaleio/sds/bin/sds-3.6.200.105(mosDbg_PanicPrepare+0x131) [0x5cba01]
/opt/emc/scaleio/sds/bin/sds-3.6.200.105(spefStorage_AttachDeviceCK+0x29a) [0x96bb5a]
/opt/emc/scaleio/sds/bin/sds-3.6.200.105(spef_AttachDeviceUmtMainFunc+0x369) [0x87e769]
/opt/emc/scaleio/sds/bin/sds-3.6.200.105(mosUmt_StartFunc+0x9c) [0x5b8c5c]
/lib64/libc.so.6(+0x4d3d0) [0x7fa54857f3d0]

Na softwarovém listu, který selhal, se zobrazí trasování jednoho stohu:

 2022/04/05 12:01:36.642447 [CHOKE_POINT] Panic in file /data/build/workspace/ScaleIO-Common-Job/src/tgt/storage/spef_impl/spef_storage.c, line 415, function spefStorage_AttachDeviceCK, PID 2102550.Panic Expression ALWAYS_ASSERT Unexpected status: NO_RESOURCES.
/opt/emc/scaleio/sds/bin/sds-3.6.200.105(mosDbg_PanicPrepare+0x131) [0x5cba01]
/opt/emc/scaleio/sds/bin/sds-3.6.200.105(spefStorage_AttachDeviceCK+0x29a) [0x96bb5a]
/opt/emc/scaleio/sds/bin/sds-3.6.200.105(spef_AttachDeviceUmtMainFunc+0x369) [0x87e769]
/opt/emc/scaleio/sds/bin/sds-3.6.200.105(mosUmt_StartFunc+0x9c) [0x5b8c5c]
/lib64/libc.so.6(+0x4d3d0) [0x7fa54857f3d0]

Důsledky

SDS se v okamžiku havárie odpojí, což způsobí opětovné vytvoření. Pokud dojde k selhání a paralelnímu odpojení dostatečného počtu úložišť SDS od clusteru, dojde k nedostupnosti dat.

K tomu může dojít jak během normálních vstupně-výstupních operací, tak během migrace vtree do fondu úložiště FG. Část vstupně-výstupních operací je nutné rozdělit, aby se vešly na 4k stránky fondu FG. Nový zápis I/O spolu s částí rozdělených vstupně-výstupních operací se zapisuje do prostoru vyrovnávací paměti a způsobuje přetečení vyrovnávací paměti a následné zhroucení úložiště SDS.

I když se jedná o vzácný stav, během migrace vtree spusťte migraci v době menšího tlaku na vstupně-výstupní operace z jiných zdrojů. I když to může snížit pravděpodobnost, že k této havárii dojde, není to zaručeno.

Dotčené verze

PowerFlex v3.6.x

Opraveno ve verzi

PowerFlex v3.6.0.5

Dotčené verze

PowerFlex v3.6.x

Opraveno ve verzi

PowerFlex v3.6.0.5