PowerFlex: Latência de alto volume encontrada ao sair do PMM
Summary: Sair do modo de manutenção protegida (PMM) pode resultar em latência de volume temporariamente elevada.
Symptoms
- Os conjuntos de falhas estão em uso, e vários SDSs estão saindo do PMM ao mesmo tempo.
Logs do ESXi que exibem latência em um volume do PowerFlex:
2025-03-26T19:20:58.764Z Wa(180) vmkwarning: cpu33:2098795)WARNING: ScsiDeviceIO: 1772: Device eui.##### performance has deteriorated. I/O latency increased from average value of 350 microseconds to 28802 microseconds.
Logs de rastreamento do SDS mostrando a migração do PMM para um pente de exemplo — leva aproximadamente 27 milissegundos para concluir a migração interna para o pente 746b009a00b6.
2025/03/26 14:20:58.730516 MED:7f19cf3cedb0:contCmd_EndMigration:06164: CombId 746b009a00b6 - Start rc = SUCCESS
2025/03/26 14:20:58.730757 MED:7f19cf3cedb0:raidComb_EndExitPmmInter:02999: Comb 746b009a00b6: PMM becomes Rebuild (PMM remote 41a8b5e300000023), (Old rebuild remote 41a8b5df00000012).
2025/03/26 14:20:58.757184 MED:7f19cf3cedb0:contCmd_EndMigration:06197: CombId 746b009a00b6 - Done rc = SUCCESS
Impacto
Latência temporária de volume observada por clients SDC ao sair do PMM
Cause
Durante a saída do PMM, os pentes são desativados, impedindo operações de E/S. A latência é introduzida principalmente na fase final da função raidComb_EndExitPmmInter, em que o sistema protege os bitmaps.
Embora essa operação seja tipicamente rápida, nesse caso, o atraso é mais pronunciado devido ao grande número de pentes envolvidos, provavelmente causado por um conjunto completo de falhas saindo do PMM simultaneamente. Isso aumenta a probabilidade de encontrar vários pentes no estágio de fortalecimento, amplificando o impacto na latência observado pelos clients SDC.
Resolution
Possíveis soluções para evitar esse problema:
- Use o modo de manutenção instantânea (IMM).
- Só saia do PMM em um único SDS de cada vez.
Versões afetadas
PowerFlex 3.x
PowerFlex 4.x
Correção feita na versão
PowerFlex 4.5.5