Los SDS de PowerFlex 3.6 se bloquean con estado inesperado de pánico: NO_RESOURCES

Escenario
Durante el funcionamiento normal de un clúster de PowerFlex, un SDS o varios SDS se bloquean con el mismo seguimiento de pila

Síntomas
 - Esto puede suceder durante una operación normal de I/O mientras se utilizan pools de granularidad fina (FG).
 - Es más probable que ocurra durante una migración de vtree mientras se escriben nuevos datos de volumen en un pool de granularidad fina (FG).

Pueden aparecer los siguientes escenarios:

Los seguimientos de pila aparecen cerca en un SDS que se bloqueó:

 2022/04/05 12:01:30.816177 Panic in file /data/build/workspace/ScaleIO-Common-Job/src/tgt/spef/frontend/fe_io.c, line 3214, function feIo_L2PGatewayUpdate, PID 3682104.Panic Expression FEIO_RECOVERY__IN_PROGRESS == pFeIoDev->recoveryState || 2004 == rc || 20 == rc PANIC_ID_tgt_feio_11.
/opt/emc/scaleio/sds/bin/sds-3.6.200.105(mosDbg_PanicPrepare+0x131) [0x5cba01]
/opt/emc/scaleio/sds/bin/sds-3.6.200.105(feIo_L2PGatewayUpdate+0xb5b) [0x85612b]
/opt/emc/scaleio/sds/bin/sds-3.6.200.105(spef_WriteDo+0x1ec) [0x85631c]
/opt/emc/scaleio/sds/bin/sds-3.6.200.105(spefStorageRegion_CompressedWrite+0xb4) [0x95ad14]
/opt/emc/scaleio/sds/bin/sds-3.6.200.105() [0x929d0d]
/opt/emc/scaleio/sds/bin/sds-3.6.200.105() [0x92ab53]
/opt/emc/scaleio/sds/bin/sds-3.6.200.105(raidComb_Write+0xd0) [0x92be30]
/opt/emc/scaleio/sds/bin/sds-3.6.200.105(iohComb_WriteSecondary+0x251) [0x9a7d11]
/opt/emc/scaleio/sds/bin/sds-3.6.200.105(ioh_Write+0x3e0) [0x9a9dd0]
/opt/emc/scaleio/sds/bin/sds-3.6.200.105(ioh_NewRequest+0x2bba) [0x9af92a]
...
2022/04/05 12:01:36.642447 [CHOKE_POINT] Panic in file /data/build/workspace/ScaleIO-Common-Job/src/tgt/storage/spef_impl/spef_storage.c, line 415, function spefStorage_AttachDeviceCK, PID 2102550.Panic Expression ALWAYS_ASSERT Unexpected status: NO_RESOURCES.
/opt/emc/scaleio/sds/bin/sds-3.6.200.105(mosDbg_PanicPrepare+0x131) [0x5cba01]
/opt/emc/scaleio/sds/bin/sds-3.6.200.105(spefStorage_AttachDeviceCK+0x29a) [0x96bb5a]
/opt/emc/scaleio/sds/bin/sds-3.6.200.105(spef_AttachDeviceUmtMainFunc+0x369) [0x87e769]
/opt/emc/scaleio/sds/bin/sds-3.6.200.105(mosUmt_StartFunc+0x9c) [0x5b8c5c]
/lib64/libc.so.6(+0x4d3d0) [0x7fa54857f3d0]

Aparece un único seguimiento de la tachuela en un SDS que se bloqueó:

 2022/04/05 12:01:36.642447 [CHOKE_POINT] Panic in file /data/build/workspace/ScaleIO-Common-Job/src/tgt/storage/spef_impl/spef_storage.c, line 415, function spefStorage_AttachDeviceCK, PID 2102550.Panic Expression ALWAYS_ASSERT Unexpected status: NO_RESOURCES.
/opt/emc/scaleio/sds/bin/sds-3.6.200.105(mosDbg_PanicPrepare+0x131) [0x5cba01]
/opt/emc/scaleio/sds/bin/sds-3.6.200.105(spefStorage_AttachDeviceCK+0x29a) [0x96bb5a]
/opt/emc/scaleio/sds/bin/sds-3.6.200.105(spef_AttachDeviceUmtMainFunc+0x369) [0x87e769]
/opt/emc/scaleio/sds/bin/sds-3.6.200.105(mosUmt_StartFunc+0x9c) [0x5b8c5c]
/lib64/libc.so.6(+0x4d3d0) [0x7fa54857f3d0]

Impacto

El SDS se desacopla en el momento del bloqueo, lo que provoca reconstrucciones. Si suficientes SDS se bloquean y se desacoplan del clúster en paralelo, se producirá la falta de disponibilidad de datos.

Esto puede ocurrir durante las operaciones normales de I/O y durante una migración de vTree a un pool de almacenamiento de FG. Algunas de las I/O se deben dividir para que quepan en las páginas de 4000 de un pool de FG. Una nueva I/O de escritura, junto con algunas de las I/O divididas, se escriben en el espacio del búfer y provocan un desbordamiento del búfer, lo que finalmente provoca que el SDS se bloquee.

Si bien esta es una condición poco frecuente, durante una migración de vTree, ejecute la migración en un momento de menor presión de I/O de otras fuentes. Aunque esto puede reducir las posibilidades de que ocurra este bloqueo, no está garantizado.

Versiones afectadas

PowerFlex v3.6.x

Problema corregido en la versión

PowerFlex v3.6.0.5

Versiones afectadas

PowerFlex v3.6.x

Problema corregido en la versión

PowerFlex v3.6.0.5