PowerFlex 3.6 SDSがパニックの予期しないステータスでクラッシュする: NO_RESOURCES

シナリオ
PowerFlexクラスターの通常の操作中に、SDSまたは複数のSDSが同じスタック トレースでクラッシュします

症状
- これは、Fine Granularity (FG)プールを使用している通常のI/O操作中に発生する可能性があります。
- Fine Granularity (FG)プールに新しいボリューム データを書き込むときに、Vツリーの移行中に発生する可能性が高くなります。

次のような状況が考えられます。

スタック トレースは、クラッシュしたSDSの近くに表示されます。

 2022/04/05 12:01:30.816177 Panic in file /data/build/workspace/ScaleIO-Common-Job/src/tgt/spef/frontend/fe_io.c, line 3214, function feIo_L2PGatewayUpdate, PID 3682104.Panic Expression FEIO_RECOVERY__IN_PROGRESS == pFeIoDev->recoveryState || 2004 == rc || 20 == rc PANIC_ID_tgt_feio_11.
/opt/emc/scaleio/sds/bin/sds-3.6.200.105(mosDbg_PanicPrepare+0x131) [0x5cba01]
/opt/emc/scaleio/sds/bin/sds-3.6.200.105(feIo_L2PGatewayUpdate+0xb5b) [0x85612b]
/opt/emc/scaleio/sds/bin/sds-3.6.200.105(spef_WriteDo+0x1ec) [0x85631c]
/opt/emc/scaleio/sds/bin/sds-3.6.200.105(spefStorageRegion_CompressedWrite+0xb4) [0x95ad14]
/opt/emc/scaleio/sds/bin/sds-3.6.200.105() [0x929d0d]
/opt/emc/scaleio/sds/bin/sds-3.6.200.105() [0x92ab53]
/opt/emc/scaleio/sds/bin/sds-3.6.200.105(raidComb_Write+0xd0) [0x92be30]
/opt/emc/scaleio/sds/bin/sds-3.6.200.105(iohComb_WriteSecondary+0x251) [0x9a7d11]
/opt/emc/scaleio/sds/bin/sds-3.6.200.105(ioh_Write+0x3e0) [0x9a9dd0]
/opt/emc/scaleio/sds/bin/sds-3.6.200.105(ioh_NewRequest+0x2bba) [0x9af92a]
...
2022/04/05 12:01:36.642447 [CHOKE_POINT] Panic in file /data/build/workspace/ScaleIO-Common-Job/src/tgt/storage/spef_impl/spef_storage.c, line 415, function spefStorage_AttachDeviceCK, PID 2102550.Panic Expression ALWAYS_ASSERT Unexpected status: NO_RESOURCES.
/opt/emc/scaleio/sds/bin/sds-3.6.200.105(mosDbg_PanicPrepare+0x131) [0x5cba01]
/opt/emc/scaleio/sds/bin/sds-3.6.200.105(spefStorage_AttachDeviceCK+0x29a) [0x96bb5a]
/opt/emc/scaleio/sds/bin/sds-3.6.200.105(spef_AttachDeviceUmtMainFunc+0x369) [0x87e769]
/opt/emc/scaleio/sds/bin/sds-3.6.200.105(mosUmt_StartFunc+0x9c) [0x5b8c5c]
/lib64/libc.so.6(+0x4d3d0) [0x7fa54857f3d0]

クラッシュしたSDSに1つのスタック タック トレースが表示されます。

 2022/04/05 12:01:36.642447 [CHOKE_POINT] Panic in file /data/build/workspace/ScaleIO-Common-Job/src/tgt/storage/spef_impl/spef_storage.c, line 415, function spefStorage_AttachDeviceCK, PID 2102550.Panic Expression ALWAYS_ASSERT Unexpected status: NO_RESOURCES.
/opt/emc/scaleio/sds/bin/sds-3.6.200.105(mosDbg_PanicPrepare+0x131) [0x5cba01]
/opt/emc/scaleio/sds/bin/sds-3.6.200.105(spefStorage_AttachDeviceCK+0x29a) [0x96bb5a]
/opt/emc/scaleio/sds/bin/sds-3.6.200.105(spef_AttachDeviceUmtMainFunc+0x369) [0x87e769]
/opt/emc/scaleio/sds/bin/sds-3.6.200.105(mosUmt_StartFunc+0x9c) [0x5b8c5c]
/lib64/libc.so.6(+0x4d3d0) [0x7fa54857f3d0]

問題

クラッシュ時にSDSが分離され、再構築が発生します。十分な数のSDSがクラッシュし、クラスターから並列で切り離されると、データが使用できなくなります。

これは、通常のI/O処理中とFGストレージ プールへのVツリーの移行中の両方で発生する可能性があります。一部のIOは、FGプールの4Kページに収まるように分割する必要があります。新しい書き込みI/Oと分割IOの一部がバッファー領域に書き込まれ、バッファー オーバーフローが発生し、最終的にSDSがクラッシュします。

これはまれな状態ですが、Vツリーの移行中は、他のソースからのI/O負荷が低いときに移行を実行します。これにより、このクラッシュが発生する可能性は低くなりますが、保証はされません。

問題が発生するバージョン

PowerFlex v3.6.x

修正バージョン

PowerFlex v3.6.0.5

問題が発生するバージョン

PowerFlex v3.6.x

修正バージョン

PowerFlex v3.6.0.5