PowerScale: Isilon: Wysokie isi_cpool_d wykorzystania procesora przez operacje CloudPools
Yhteenveto: Proces isi_cpool_d może powodować wysokie wykorzystanie procesora w klastrze PowerScale Isilon.
Oireet
isi_cpool_d proces wykazuje ciągłe wysokie wykorzystanie procesora w klastrze.
Isilon-1# top -n 10 PID USERNAME THR PRI NICE SIZE RES STATE C TIME WCPU COMMAND 87857 root 124 20 0 595M 173M nanslp 13 1722.5 857.62% isi_cpool_d 3455 root 29 98 r150 397M 86M sigwai 10 4216.2 62.55% nfs 3313 root 40 98 r150 1018M 683M sigwai 14 7402.9 47.71% lwio 94259 root 13 52 0 566M 491M usem 18 374.1H 32.57% isi_celog_monitor 18378 root 5 20 0 102M 53M uwait 3 49:57 24.56% isi_job_d 34552 root 1 52 0 37M 15M adv 22 112.6H 20.51% isi_migr_sched 3144 root 13 20 0 52M 13M select 8 2009.5 15.33% isi_audit_d 98432 root 1 52 0 105M 66M kqread 26 417:47 14.55% isi_celog_analysis 3213 root 26 52 0 96M 28M uwait 10 1109.2 12.50% isi_avscan_d 51167 root 5 20 0 93M 42M uwait 21 74:37 10.40% isi_job_d ... ..
W klastrze może być uruchomionych wiele zadań CloudPools, ale nawet jeśli wszystkie zadania są wstrzymane, wykorzystanie isi_cpool_d pozostaje wysokie.
Isilon-1# isi cloud jobs list ID Description Effective State Type --------------------------------------------------------------------------------------- 1 Write updated data to the cloud paused cache-writeback 2 Expire CloudPools cache paused cache-invalidation 4 Clean up unreferenced data in the cloud paused cloud-garbage-collection 5 Write updated snapshot data to the cloud paused snapshot-writeback 6 Update SmartLink file formats paused smartlink-upgrade 7 Add data to CloudPools cache paused cache-pre-populate 959 paused archive 960 paused archive 961 paused archive 962 paused archive 964 paused archive 965 paused archive 966 paused archive 967 paused archive 968 paused archive ---------------------------------------------------------------------------------------
Isilon-1# top -n 5 PID USERNAME THR PRI NICE SIZE RES STATE C TIME WCPU COMMAND 87857 root 124 20 0 588M 180M nanslp 4 1723.5 805.81% isi_cpool_d 3455 root 28 98 r150 397M 87M sigwai 10 4216.3 69.34% nfs 18378 root 6 20 0 122M 72M uwait 9 53:18 68.36% isi_job_d 3313 root 49 98 r150 1019M 684M sigwai 14 7403.0 66.16% lwio 51167 root 6 20 0 94M 42M uwait 26 76:02 22.36% isi_job_d ...
Syy
Niektóre operacje, takie jak zapisywanie zwrotne pamięci podręcznej i unieważnianie pamięci podręcznej, występują w tle i nie są bezpośrednio skorelowane z żadnym uruchomionym zadaniem CloudPools. Wstrzymanie zadań CloudPools nie zatrzymuje uruchamiania tych operacji. Te wątki nadal działają i powodują wysokie wykorzystanie procesora.
Aby to potwierdzić, wstrzymaj operacje zapisu zwrotnego pamięci podręcznej i unieważniania pamięci podręcznej podczas monitorowania użycia procesora CPU. isi_cpool_d wykorzystanie procesora CPU powinno szybko spaść po wstrzymaniu. Isi_cpool_d wykorzystanie procesora wzrasta po wznowieniu operacji.
Aby wstrzymać operacje CloudPools:
# isi cloud jobs pause cache-writeback # isi cloud jobs pause cache-invalidation
Aby wznowić operacje CloudPools:
# isi cloud jobs resume cache-invalidation # isi cloud jobs resume cache-writeback
Tarkkuus
Nie zaleca się wstrzymywania operacji zapisu zwrotnego pamięci podręcznej i unieważniania pamięci podręcznej przez dłuższy czas. Różne nieukończone zadania i operacje kumulują się i powiększają problem.
Wysokie wykorzystanie procesora CPU spowodowane zapisem zwrotnym lub unieważnieniem pamięci podręcznej może wskazywać, że wystąpiło dużo buforowania. Zwykle dlatego, że duża ilość danych jest archiwizowana i przywoływana w tekście. Może to być wynikiem źle napisanych kryteriów archiwizacji w zasadach puli plików. Archiwizacja wykonywana bez uwzględnienia czasu dostępu może spowodować nadmierne buforowanie aktywnych plików.
Jest to przykład źle napisanej zasady puli plików, która archiwizuje dane w ECS CloudPools. Należy pamiętać, że wszelkie dane w wyznaczonych ścieżkach są natychmiast archiwizowane w CloudPools:
--------------------------------------------------------------------------------
Name: Bad ECS Cloud Policy
Description: Tier to ECS
CloudPools State: OK
CloudPools Details:
Apply Order: 3
File Matching Pattern: Path == APPS/SeaShoreVideo (begins with)
OR
Path == APPS/OceanArchive (begins with)
Set Requested Protection: -
Data Access Pattern: -
Enable Coalescer: -
Enable Packing: -
Data Storage Target: -
Data SSD Strategy: -
Snapshot Storage Target: -
Snapshot SSD Strategy: -
Cloud Pool: EMC ECS Pool
Cloud Compression Enabled: Yes
Cloud Encryption Enabled: No
Cloud Data Retention: 1W
Cloud Incremental Backup Retention: 5Y
Cloud Full Backup Retention: 5Y
Cloud Accessibility: cached
Cloud Read Ahead: partial
Cloud Cache Expiration: 1D
Cloud Writeback Frequency: 9H
ID: Good ECS Cloud Policy
--------------------------------------------------------------------------------
Jest to przykład poprawnie napisanej zasady puli plików, która obsługuje aktywne i ostatnio używane pliki. Należy pamiętać, że ta zasada zawiera kryteria czasu dostępu, więc tylko dane, do których nie uzyskano dostępu po 5 tygodniach i 5 dniach, są archiwizowane w CloudPools.
--------------------------------------------------------------------------------
Name: Good ECS Cloud Policy
Description: Tier to ECS
CloudPools State: OK
CloudPools Details:
Apply Order: 3
File Matching Pattern: Accessed Time > 5W5D AND Path == APPS/SeaShoreVideo (begins with)
OR
Accessed Time > 5W5D AND Path == APPS/OceanArchive (begins with)
Set Requested Protection: -
Data Access Pattern: -
Enable Coalescer: -
Enable Packing: -
Data Storage Target: -
Data SSD Strategy: -
Snapshot Storage Target: -
Snapshot SSD Strategy: -
Cloud Pool: EMC ECS Pool
Cloud Compression Enabled: Yes
Cloud Encryption Enabled: No
Cloud Data Retention: 1W
Cloud Incremental Backup Retention: 5Y
Cloud Full Backup Retention: 5Y
Cloud Accessibility: cached
Cloud Read Ahead: partial
Cloud Cache Expiration: 1D
Cloud Writeback Frequency: 9H
ID: Bad ECS Cloud Policy
--------------------------------------------------------------------------------
Inne przyczyny wysokiego isi_cpool_d wykorzystania procesora mogą się różnić w zależności od konfiguracji klastra, ustawień i poziomu kodu. Jeśli potrzebna jest pomoc, skontaktuj się z działem pomocy technicznej firmy Dell.