PowerScale: Isilon: CloudPools 운영으로 인한 isi_cpool_d CPU 사용률 높음
Yhteenveto: isi_cpool_d 프로세스로 인해 PowerScale Isilon 클러스터에서 CPU 사용률이 높아질 수 있습니다.
Oireet
isi_cpool_d 프로세스는 클러스터에서 지속적으로 높은 CPU 사용률을 보여줍니다.
Isilon-1# top -n 10 PID USERNAME THR PRI NICE SIZE RES STATE C TIME WCPU COMMAND 87857 root 124 20 0 595M 173M nanslp 13 1722.5 857.62% isi_cpool_d 3455 root 29 98 r150 397M 86M sigwai 10 4216.2 62.55% nfs 3313 root 40 98 r150 1018M 683M sigwai 14 7402.9 47.71% lwio 94259 root 13 52 0 566M 491M usem 18 374.1H 32.57% isi_celog_monitor 18378 root 5 20 0 102M 53M uwait 3 49:57 24.56% isi_job_d 34552 root 1 52 0 37M 15M adv 22 112.6H 20.51% isi_migr_sched 3144 root 13 20 0 52M 13M select 8 2009.5 15.33% isi_audit_d 98432 root 1 52 0 105M 66M kqread 26 417:47 14.55% isi_celog_analysis 3213 root 26 52 0 96M 28M uwait 10 1109.2 12.50% isi_avscan_d 51167 root 5 20 0 93M 42M uwait 21 74:37 10.40% isi_job_d ... ..
클러스터에서 여러 CloudPools 작업이 실행 중일 수 있지만 모든 작업이 일시 중지된 경우에도 isi_cpool_d 활용도는 여전히 높습니다.
Isilon-1# isi cloud jobs list ID Description Effective State Type --------------------------------------------------------------------------------------- 1 Write updated data to the cloud paused cache-writeback 2 Expire CloudPools cache paused cache-invalidation 4 Clean up unreferenced data in the cloud paused cloud-garbage-collection 5 Write updated snapshot data to the cloud paused snapshot-writeback 6 Update SmartLink file formats paused smartlink-upgrade 7 Add data to CloudPools cache paused cache-pre-populate 959 paused archive 960 paused archive 961 paused archive 962 paused archive 964 paused archive 965 paused archive 966 paused archive 967 paused archive 968 paused archive ---------------------------------------------------------------------------------------
Isilon-1# top -n 5 PID USERNAME THR PRI NICE SIZE RES STATE C TIME WCPU COMMAND 87857 root 124 20 0 588M 180M nanslp 4 1723.5 805.81% isi_cpool_d 3455 root 28 98 r150 397M 87M sigwai 10 4216.3 69.34% nfs 18378 root 6 20 0 122M 72M uwait 9 53:18 68.36% isi_job_d 3313 root 49 98 r150 1019M 684M sigwai 14 7403.0 66.16% lwio 51167 root 6 20 0 94M 42M uwait 26 76:02 22.36% isi_job_d ...
Syy
cache-writeback 및 cache-invalidation 같은 특정 작업은 백그라운드에서 수행되며 실행 중인 CloudPools 작업과는 직접적인 연관이 없습니다. CloudPools 작업을 일시 중지해도 이러한 작업의 실행은 중지되지 않습니다. 이러한 스레드는 계속 실행되어 높은 CPU 사용률을 유발합니다.
이를 확인하려면 CPU 사용률을 모니터링하면서 cache-writeback 및 cache-invalidation 작업을 일시 중지합니다. isi_cpool_d CPU 사용률은 일시 중지되면 빠르게 감소합니다. Isi_cpool_d 작업이 재개되면 CPU 사용률이 올라갑니다.
CloudPools 작업을 일시 중지하려면 다음을 수행합니다.
# isi cloud jobs pause cache-writeback # isi cloud jobs pause cache-invalidation
CloudPools 작업을 재개하려면 다음을 수행합니다.
# isi cloud jobs resume cache-invalidation # isi cloud jobs resume cache-writeback
Tarkkuus
캐시 쓰기 저장 및 캐시 무효화 작업을 장시간 일시 중지하는 것은 바람직하지 않습니다. 다양한 불완전한 작업과 작업이 누적되어 문제를 확대합니다.
쓰기 저장(writeback) 또는 캐시 무효화로 인해 CPU 사용률이 높다는 것은 캐싱이 많이 발생했음을 나타낼 수 있습니다. 대개 대량의 데이터가 아카이빙되고 인라인 리콜되기 때문입니다. 이는 파일 풀 정책에서 아카이빙 기준을 잘못 작성한 결과 발생할 수 있습니다. 액세스 시간을 고려하지 않고 아카이빙을 수행하면 활성 파일이 과도하게 캐싱될 수 있습니다.
이는 ECS CloudPools에 데이터를 아카이브하는 잘못 작성된 파일 풀 정책의 예입니다. 지정된 경로 내의 모든 데이터가 CloudPools에 즉시 아카이브되는지 확인합니다.
--------------------------------------------------------------------------------
Name: Bad ECS Cloud Policy
Description: Tier to ECS
CloudPools State: OK
CloudPools Details:
Apply Order: 3
File Matching Pattern: Path == APPS/SeaShoreVideo (begins with)
OR
Path == APPS/OceanArchive (begins with)
Set Requested Protection: -
Data Access Pattern: -
Enable Coalescer: -
Enable Packing: -
Data Storage Target: -
Data SSD Strategy: -
Snapshot Storage Target: -
Snapshot SSD Strategy: -
Cloud Pool: EMC ECS Pool
Cloud Compression Enabled: Yes
Cloud Encryption Enabled: No
Cloud Data Retention: 1W
Cloud Incremental Backup Retention: 5Y
Cloud Full Backup Retention: 5Y
Cloud Accessibility: cached
Cloud Read Ahead: partial
Cloud Cache Expiration: 1D
Cloud Writeback Frequency: 9H
ID: Good ECS Cloud Policy
--------------------------------------------------------------------------------
이는 활성 상태의 파일과 최근에 액세스한 파일을 수용하는 올바르게 작성된 파일 풀 정책의 예입니다. 이 정책에는 액세스 시간 기준이 포함되어 있으므로 5주 5일 후에 액세스하지 않은 데이터만 CloudPools에 아카이브됩니다.
--------------------------------------------------------------------------------
Name: Good ECS Cloud Policy
Description: Tier to ECS
CloudPools State: OK
CloudPools Details:
Apply Order: 3
File Matching Pattern: Accessed Time > 5W5D AND Path == APPS/SeaShoreVideo (begins with)
OR
Accessed Time > 5W5D AND Path == APPS/OceanArchive (begins with)
Set Requested Protection: -
Data Access Pattern: -
Enable Coalescer: -
Enable Packing: -
Data Storage Target: -
Data SSD Strategy: -
Snapshot Storage Target: -
Snapshot SSD Strategy: -
Cloud Pool: EMC ECS Pool
Cloud Compression Enabled: Yes
Cloud Encryption Enabled: No
Cloud Data Retention: 1W
Cloud Incremental Backup Retention: 5Y
Cloud Full Backup Retention: 5Y
Cloud Accessibility: cached
Cloud Read Ahead: partial
Cloud Cache Expiration: 1D
Cloud Writeback Frequency: 9H
ID: Bad ECS Cloud Policy
--------------------------------------------------------------------------------
isi_cpool_d CPU 사용률이 높은 다른 원인은 클러스터 구성, 설정 및 코드 수준에 따라 달라질 수 있습니다. 도움이 필요한 경우 Dell 기술 지원 부서에 문의하십시오.