PowerScale: Isilon: Vysoké isi_cpool_d využití procesoru způsobené operacemi CloudPools
Shrnutí: Proces isi_cpool_d může způsobit značné využití procesoru v clusteru PowerScale Isilon.
Příznaky
isi_cpool_d proces ukazuje nepřetržité vysoké využití procesoru v clusteru.
Isilon-1# top -n 10 PID USERNAME THR PRI NICE SIZE RES STATE C TIME WCPU COMMAND 87857 root 124 20 0 595M 173M nanslp 13 1722.5 857.62% isi_cpool_d 3455 root 29 98 r150 397M 86M sigwai 10 4216.2 62.55% nfs 3313 root 40 98 r150 1018M 683M sigwai 14 7402.9 47.71% lwio 94259 root 13 52 0 566M 491M usem 18 374.1H 32.57% isi_celog_monitor 18378 root 5 20 0 102M 53M uwait 3 49:57 24.56% isi_job_d 34552 root 1 52 0 37M 15M adv 22 112.6H 20.51% isi_migr_sched 3144 root 13 20 0 52M 13M select 8 2009.5 15.33% isi_audit_d 98432 root 1 52 0 105M 66M kqread 26 417:47 14.55% isi_celog_analysis 3213 root 26 52 0 96M 28M uwait 10 1109.2 12.50% isi_avscan_d 51167 root 5 20 0 93M 42M uwait 21 74:37 10.40% isi_job_d ... ..
Více CloudPools V clusteru mohou být spuštěny úlohy, ale i když jsou všechny úlohy pozastavené, isi_cpool_d Využití zůstává vysoké.
Isilon-1# isi cloud jobs list ID Description Effective State Type --------------------------------------------------------------------------------------- 1 Write updated data to the cloud paused cache-writeback 2 Expire CloudPools cache paused cache-invalidation 4 Clean up unreferenced data in the cloud paused cloud-garbage-collection 5 Write updated snapshot data to the cloud paused snapshot-writeback 6 Update SmartLink file formats paused smartlink-upgrade 7 Add data to CloudPools cache paused cache-pre-populate 959 paused archive 960 paused archive 961 paused archive 962 paused archive 964 paused archive 965 paused archive 966 paused archive 967 paused archive 968 paused archive ---------------------------------------------------------------------------------------
Isilon-1# top -n 5 PID USERNAME THR PRI NICE SIZE RES STATE C TIME WCPU COMMAND 87857 root 124 20 0 588M 180M nanslp 4 1723.5 805.81% isi_cpool_d 3455 root 28 98 r150 397M 87M sigwai 10 4216.3 69.34% nfs 18378 root 6 20 0 122M 72M uwait 9 53:18 68.36% isi_job_d 3313 root 49 98 r150 1019M 684M sigwai 14 7403.0 66.16% lwio 51167 root 6 20 0 94M 42M uwait 26 76:02 22.36% isi_job_d ...
Příčina
Některé operace, jako je zpětný zápis do mezipaměti a zneplatnění mezipaměti, probíhají na pozadí a přímo nekorelují s žádným spuštěným CloudPools Úlohy. Pozastavení CloudPools Úloha tyto operace nezastaví. Tato vlákna nadále běží a způsobují vysoké využití procesoru.
Pokud to chcete potvrdit, pozastavte operace zpětného zápisu do mezipaměti a zneplatnění mezipaměti při monitorování využití procesoru. isi_cpool_d Využití procesoru by mělo po pozastavení rychle klesnout. Isi_cpool_d Využití procesoru se po obnovení operací zvýší.
Pozastavení CloudPools Operace:
# isi cloud jobs pause cache-writeback # isi cloud jobs pause cache-invalidation
Pokračování CloudPools Operace:
# isi cloud jobs resume cache-invalidation # isi cloud jobs resume cache-writeback
Řešení
Nedoporučujeme nechávat operace zpětného zápisu do mezipaměti a zneplatnění mezipaměti pozastavené po delší dobu. Různé nedokončené úkoly a operace hromadí a zvětšují problém.
Vysoké využití procesoru způsobené zpětným zápisem nebo zneplatněním mezipaměti může znamenat, že došlo k velkému množství ukládání do mezipaměti. Obvykle proto, že se archivuje a navolává velké množství dat. Příčinou mohou být špatně napsaná kritéria archivace v zásadách fondu souborů. Archivace prováděná bez ohledu na dobu přístupu může vést k nadměrnému ukládání aktivních souborů do mezipaměti.
Toto je příklad špatně napsané zásady fondu souborů, které archivují data do systému ECS CloudPools. Dbejte na to, aby veškerá data v určených cestách byla okamžitě archivována do CloudPools:
--------------------------------------------------------------------------------
Name: Bad ECS Cloud Policy
Description: Tier to ECS
CloudPools State: OK
CloudPools Details:
Apply Order: 3
File Matching Pattern: Path == APPS/SeaShoreVideo (begins with)
OR
Path == APPS/OceanArchive (begins with)
Set Requested Protection: -
Data Access Pattern: -
Enable Coalescer: -
Enable Packing: -
Data Storage Target: -
Data SSD Strategy: -
Snapshot Storage Target: -
Snapshot SSD Strategy: -
Cloud Pool: EMC ECS Pool
Cloud Compression Enabled: Yes
Cloud Encryption Enabled: No
Cloud Data Retention: 1W
Cloud Incremental Backup Retention: 5Y
Cloud Full Backup Retention: 5Y
Cloud Accessibility: cached
Cloud Read Ahead: partial
Cloud Cache Expiration: 1D
Cloud Writeback Frequency: 9H
ID: Good ECS Cloud Policy
--------------------------------------------------------------------------------
Toto je příklad správně napsané zásady fondu souborů, která zahrnuje aktivní a nedávno navštívené soubory. Mějte na paměti, že tato zásada obsahuje kritéria Access Time, takže pouze data, ke kterým nebyla přistupováno po 5 týdnech a 5 dnech, jsou archivována do CloudPools.
--------------------------------------------------------------------------------
Name: Good ECS Cloud Policy
Description: Tier to ECS
CloudPools State: OK
CloudPools Details:
Apply Order: 3
File Matching Pattern: Accessed Time > 5W5D AND Path == APPS/SeaShoreVideo (begins with)
OR
Accessed Time > 5W5D AND Path == APPS/OceanArchive (begins with)
Set Requested Protection: -
Data Access Pattern: -
Enable Coalescer: -
Enable Packing: -
Data Storage Target: -
Data SSD Strategy: -
Snapshot Storage Target: -
Snapshot SSD Strategy: -
Cloud Pool: EMC ECS Pool
Cloud Compression Enabled: Yes
Cloud Encryption Enabled: No
Cloud Data Retention: 1W
Cloud Incremental Backup Retention: 5Y
Cloud Full Backup Retention: 5Y
Cloud Accessibility: cached
Cloud Read Ahead: partial
Cloud Cache Expiration: 1D
Cloud Writeback Frequency: 9H
ID: Bad ECS Cloud Policy
--------------------------------------------------------------------------------
Jiné příčiny vysoké isi_cpool_d Využití procesoru se může lišit v závislosti na konfiguraci clusteru, nastavení a úrovni kódu. Pokud potřebujete pomoc, obraťte se na technickou podporu společnosti Dell .