Replikace PowerFlex VMware způsobuje vysoké využití procesoru a chyby IO
Summary: Při spuštění replikace VMware s centry PowerFlex SDC dochází u hostitele ESXi k vysokému využití a chybám IO Během počáteční replikace virtuálních počítačů s replikací VMware pomocí clusteru PowerFlex dochází v hostiteli ESXi k vysokému využití procesoru a chybám IO. ...
Symptoms
- Replikace VMware 8.4 a nižší
– Počáteční replikace na virtuálním počítači nebo virtuálních počítačích
– Replikovaný virtuální počítač má mnoho disků VMDK (15+)
– Vysoké využití procesoru na hostiteli ESXi, kde je virtuální počítač hostovaný při zahájení replikace.
- Latence u mapovaných svazků z clusteru PowerFlex zvyšuje latenci na 20–30 ms, možná i více.
- U jiných virtuálních počítačů na stejném hostiteli, který se nereplikuje, může dojít ke snížení výkonu nebo chybám vstupně-výstupních operací z hlediska aplikace.
- Zobrazení diskových front pomocí příkazu "esxtop" ukazuje, že hostitel zařazuje vstupně-výstupní volání do fronty na backendové svazky.
- Backendové komponenty (MDM/SDS) jsou pevné a nevykazují žádné problémy s výkonem nebo chyby.
Hostitel ESXi s replikujícími se virtuálními počítači má krátce po zahájení replikace tyto zprávy:
2021-05-19T17:58:08.413Z cpu70:2098596)WARNING: ScsiDeviceIO: 1564: Device eui.1309fbc714390806ba291d4e0000001b performance has deteriorated. I/O latency increased from average value of 796 microseconds to 25965 microseconds.
2021-05-19T17:58:10.048Z cpu70:2098596)WARNING: ScsiDeviceIO: 1564: Device eui.1309fbc714390806ba2944570000005d performance has deteriorated. I/O latency increased from average value of 799 microseconds to 26019 microseconds.
2021-05-19T17:58:12.060Z cpu70:2098596)WARNING: ScsiDeviceIO: 1564: Device eui.1309fbc714390806ba291d3d0000000a performance has deteriorated. I/O latency increased from average value of 676 microseconds to 23641 microseconds.
Důsledky
Snížení výkonu a vstupně-výstupní chyby z pohledu aplikace
Cause
Během počáteční replikace virtuálního počítače pomocí služby VMware Replication provede kontrolní součet každého bloku pro každý disk .vmdk, který virtuální počítač nakonfiguroval. Během tohoto procesu kontrolního součtu je IO odeslán prostřednictvím jednoho vlákna na hostiteli ESXi, což způsobí serializaci vstupně-výstupního kontrolního součtu. Toto vlákno se také používá pro jiné účely IO na hostiteli, což způsobuje abnormální využití procesoru a latenci disku, což následně zpomaluje ostatní virtuální počítače na stejném hostiteli.
Resolution
VMware tento problém opravuje v novější verzi replikace VMware. Verze je stále TBD.