PowerScale: Isilon: Utilizzo elevato isi_cpool_d della CPU causato dalle operazioni CloudPools
Yhteenveto: Il processo di isi_cpool_d può causare un elevato utilizzo della CPU in un cluster PowerScale Isilon.
Oireet
isi_cpool_d processo mostra un utilizzo elevato continuo della CPU nel cluster.
Isilon-1# top -n 10 PID USERNAME THR PRI NICE SIZE RES STATE C TIME WCPU COMMAND 87857 root 124 20 0 595M 173M nanslp 13 1722.5 857.62% isi_cpool_d 3455 root 29 98 r150 397M 86M sigwai 10 4216.2 62.55% nfs 3313 root 40 98 r150 1018M 683M sigwai 14 7402.9 47.71% lwio 94259 root 13 52 0 566M 491M usem 18 374.1H 32.57% isi_celog_monitor 18378 root 5 20 0 102M 53M uwait 3 49:57 24.56% isi_job_d 34552 root 1 52 0 37M 15M adv 22 112.6H 20.51% isi_migr_sched 3144 root 13 20 0 52M 13M select 8 2009.5 15.33% isi_audit_d 98432 root 1 52 0 105M 66M kqread 26 417:47 14.55% isi_celog_analysis 3213 root 26 52 0 96M 28M uwait 10 1109.2 12.50% isi_avscan_d 51167 root 5 20 0 93M 42M uwait 21 74:37 10.40% isi_job_d ... ..
Nel cluster potrebbero essere in esecuzione più processi CloudPools, ma anche quando tutti i lavori vengono sospesi, l'utilizzo del isi_cpool_d rimane elevato.
Isilon-1# isi cloud jobs list ID Description Effective State Type --------------------------------------------------------------------------------------- 1 Write updated data to the cloud paused cache-writeback 2 Expire CloudPools cache paused cache-invalidation 4 Clean up unreferenced data in the cloud paused cloud-garbage-collection 5 Write updated snapshot data to the cloud paused snapshot-writeback 6 Update SmartLink file formats paused smartlink-upgrade 7 Add data to CloudPools cache paused cache-pre-populate 959 paused archive 960 paused archive 961 paused archive 962 paused archive 964 paused archive 965 paused archive 966 paused archive 967 paused archive 968 paused archive ---------------------------------------------------------------------------------------
Isilon-1# top -n 5 PID USERNAME THR PRI NICE SIZE RES STATE C TIME WCPU COMMAND 87857 root 124 20 0 588M 180M nanslp 4 1723.5 805.81% isi_cpool_d 3455 root 28 98 r150 397M 87M sigwai 10 4216.3 69.34% nfs 18378 root 6 20 0 122M 72M uwait 9 53:18 68.36% isi_job_d 3313 root 49 98 r150 1019M 684M sigwai 14 7403.0 66.16% lwio 51167 root 6 20 0 94M 42M uwait 26 76:02 22.36% isi_job_d ...
Syy
Alcune operazioni, come cache-writeback e cache-invalidation, vengono eseguite in background e non sono direttamente correlate ad alcun job CloudPools in esecuzione. La sospensione dei processi CloudPools non interrompe l'esecuzione di queste operazioni. Questi thread continuano a essere eseguiti e causano un elevato utilizzo della CPU.
Per confermare questa situazione, sospendere le operazioni di writeback e annullamento della validità della cache durante il monitoraggio dell'utilizzo della CPU. isi_cpool_d l'utilizzo della CPU dovrebbe diminuire rapidamente una volta sospeso. Isi_cpool_d l'utilizzo della CPU aumenta una volta riavviate le operazioni.
Per sospendere le operazioni CloudPools:
# isi cloud jobs pause cache-writeback # isi cloud jobs pause cache-invalidation
Per riprendere le operazioni CloudPools:
# isi cloud jobs resume cache-invalidation # isi cloud jobs resume cache-writeback
Tarkkuus
Non è consigliabile lasciare sospese le operazioni di writeback e convalida della cache per un periodo di tempo prolungato. Vari compiti e operazioni incompleti accumulano e ingigantiscono il problema.
Un utilizzo elevato della CPU causato da writeback o invalidazione della cache può indicare che si è verificata una presenza eccessiva di caching. In genere perché una grande quantità di dati viene archiviata e richiamata in linea. Può essere il risultato di criteri di archiviazione scritti in modo errato nelle policy del pool di file. L'archiviazione eseguita senza considerare il tempo di accesso può comportare un'eccessiva memorizzazione nella cache dei file attivi.
Questo è un esempio di policy del pool di file scritta in modo errato che archivia i dati in un ECS CloudPools. Osservare che tutti i dati all'interno dei percorsi designati vengono immediatamente archiviati in CloudPools:
--------------------------------------------------------------------------------
Name: Bad ECS Cloud Policy
Description: Tier to ECS
CloudPools State: OK
CloudPools Details:
Apply Order: 3
File Matching Pattern: Path == APPS/SeaShoreVideo (begins with)
OR
Path == APPS/OceanArchive (begins with)
Set Requested Protection: -
Data Access Pattern: -
Enable Coalescer: -
Enable Packing: -
Data Storage Target: -
Data SSD Strategy: -
Snapshot Storage Target: -
Snapshot SSD Strategy: -
Cloud Pool: EMC ECS Pool
Cloud Compression Enabled: Yes
Cloud Encryption Enabled: No
Cloud Data Retention: 1W
Cloud Incremental Backup Retention: 5Y
Cloud Full Backup Retention: 5Y
Cloud Accessibility: cached
Cloud Read Ahead: partial
Cloud Cache Expiration: 1D
Cloud Writeback Frequency: 9H
ID: Good ECS Cloud Policy
--------------------------------------------------------------------------------
Questo è un esempio di policy del pool di file scritta correttamente che contiene i file attivi e a cui si accede di recente. Si noti che questa policy contiene criteri di tempo di accesso, quindi solo i dati a cui non è stato effettuato l'accesso dopo 5 settimane e 5 giorni vengono archiviati in CloudPools.
--------------------------------------------------------------------------------
Name: Good ECS Cloud Policy
Description: Tier to ECS
CloudPools State: OK
CloudPools Details:
Apply Order: 3
File Matching Pattern: Accessed Time > 5W5D AND Path == APPS/SeaShoreVideo (begins with)
OR
Accessed Time > 5W5D AND Path == APPS/OceanArchive (begins with)
Set Requested Protection: -
Data Access Pattern: -
Enable Coalescer: -
Enable Packing: -
Data Storage Target: -
Data SSD Strategy: -
Snapshot Storage Target: -
Snapshot SSD Strategy: -
Cloud Pool: EMC ECS Pool
Cloud Compression Enabled: Yes
Cloud Encryption Enabled: No
Cloud Data Retention: 1W
Cloud Incremental Backup Retention: 5Y
Cloud Full Backup Retention: 5Y
Cloud Accessibility: cached
Cloud Read Ahead: partial
Cloud Cache Expiration: 1D
Cloud Writeback Frequency: 9H
ID: Bad ECS Cloud Policy
--------------------------------------------------------------------------------
Altre cause di utilizzo elevato isi_cpool_d della CPU possono variare a seconda della configurazione del cluster, delle impostazioni e del livello di codice. Contattare il supporto tecnico Dell se è necessaria assistenza.