PowerScale. Isilon. Высокая загрузка процессора isi_cpool_d, вызванная операциями CloudPools

isi_cpool_d процесс показывает непрерывную высокую загрузку ЦП в кластере.

Isilon-1# top -n 10

  PID USERNAME    THR PRI NICE   SIZE    RES STATE    C   TIME    WCPU COMMAND
87857 root        124  20    0   595M   173M nanslp  13 1722.5 857.62% isi_cpool_d
 3455 root         29  98 r150   397M    86M sigwai  10 4216.2  62.55% nfs
 3313 root         40  98 r150  1018M   683M sigwai  14 7402.9  47.71% lwio
94259 root         13  52    0   566M   491M usem    18 374.1H  32.57% isi_celog_monitor
18378 root          5  20    0   102M    53M uwait    3  49:57  24.56% isi_job_d
34552 root          1  52    0    37M    15M adv     22 112.6H  20.51% isi_migr_sched
 3144 root         13  20    0    52M    13M select   8 2009.5  15.33% isi_audit_d
98432 root          1  52    0   105M    66M kqread  26 417:47  14.55% isi_celog_analysis
 3213 root         26  52    0    96M    28M uwait   10 1109.2  12.50% isi_avscan_d
51167 root          5  20    0    93M    42M uwait   21  74:37  10.40% isi_job_d
...
..

В кластере может выполняться несколько заданий CloudPools, но даже если все задания приостановлены, коэффициент использования isi_cpool_d остается высоким.

Isilon-1#  isi cloud jobs list
ID   Description                              Effective State  Type
---------------------------------------------------------------------------------------
1    Write updated data to the cloud          paused           cache-writeback
2    Expire CloudPools cache                  paused           cache-invalidation
4    Clean up unreferenced data in the cloud  paused           cloud-garbage-collection
5    Write updated snapshot data to the cloud paused           snapshot-writeback
6    Update SmartLink file formats            paused           smartlink-upgrade
7    Add data to CloudPools cache             paused           cache-pre-populate
959                                           paused           archive
960                                           paused           archive
961                                           paused           archive
962                                           paused           archive
964                                           paused           archive
965                                           paused           archive
966                                           paused           archive
967                                           paused           archive
968                                           paused           archive
---------------------------------------------------------------------------------------

Isilon-1# top -n 5

  PID USERNAME    THR PRI NICE   SIZE    RES STATE    C   TIME    WCPU COMMAND
87857 root        124  20    0   588M   180M nanslp   4 1723.5 805.81% isi_cpool_d
 3455 root         28  98 r150   397M    87M sigwai  10 4216.3  69.34% nfs
18378 root          6  20    0   122M    72M uwait    9  53:18  68.36% isi_job_d
 3313 root         49  98 r150  1019M   684M sigwai  14 7403.0  66.16% lwio
51167 root          6  20    0    94M    42M uwait   26  76:02  22.36% isi_job_d
...

Некоторые операции, такие как cache-writeback и cache-invalidation, выполняются в фоновом режиме и не коррелируют напрямую с какими-либо выполняющимися заданиями CloudPools. Приостановка заданий CloudPools не останавливает выполнение этих операций. Эти потоки продолжают выполняться, что приводит к высокой загрузке ЦП.

Чтобы убедиться в этом, приостановите операции cache-write-back и cache-invalidation во время мониторинга использования ЦП. isi_cpool_d загрузка ЦП должна быстро снизиться после приостановки. Использование Isi_cpool_d ЦП начинает расти после возобновления операций. 
 

Чтобы приостановить операции CloudPools, выполните следующие действия.

# isi cloud jobs pause cache-writeback
# isi cloud jobs pause cache-invalidation

Чтобы возобновить работу CloudPools, выполните следующие действия.

# isi cloud jobs resume cache-invalidation
# isi cloud jobs resume cache-writeback

Не рекомендуется оставлять операции cache-writeback и cache-invalidation приостановленными на длительный период времени. Различные незавершенные задачи и операции накапливают и усугубляют проблему. 
 

Высокая загрузка ЦП, вызванная обратной записью или аннулированием кэша, может указывать на большой объем кэширования. Обычно это связано с архивированием и вызовом большого объема данных. Это может быть результатом неправильно написанных критериев архивирования в политиках пула файлов. Архивирование без учета времени доступа может привести к чрезмерному кэшированию активных файлов.
 

Это пример плохо написанной политики файлового пула, которая архивирует данные в CloudPools ECS. Обратите внимание, что все данные в указанных путях немедленно архивируются в CloudPools:

--------------------------------------------------------------------------------
                              Name: Bad ECS Cloud Policy
                       Description: Tier to ECS
                  CloudPools State: OK
                CloudPools Details:
                       Apply Order: 3
             File Matching Pattern: Path == APPS/SeaShoreVideo (begins with)
                                    OR
                                    Path == APPS/OceanArchive (begins with)
          Set Requested Protection: -
               Data Access Pattern: -
                  Enable Coalescer: -
                    Enable Packing: -
               Data Storage Target: -
                 Data SSD Strategy: -
           Snapshot Storage Target: -
             Snapshot SSD Strategy: -
                        Cloud Pool: EMC ECS Pool
         Cloud Compression Enabled: Yes
          Cloud Encryption Enabled: No
              Cloud Data Retention: 1W
Cloud Incremental Backup Retention: 5Y
       Cloud Full Backup Retention: 5Y
               Cloud Accessibility: cached
                  Cloud Read Ahead: partial
            Cloud Cache Expiration: 1D
         Cloud Writeback Frequency: 9H
                                ID: Good ECS Cloud Policy
--------------------------------------------------------------------------------

Это пример правильно написанной политики файлового пула, которая включает активные и недавно использованные файлы. Обратите внимание, что эта политика содержит критерии времени доступа, поэтому в CloudPools архивируются только те данные, доступ к которым не осуществлялся через 5 недель и 5 дней. 

--------------------------------------------------------------------------------
                              Name: Good ECS Cloud Policy
                       Description: Tier to ECS
                  CloudPools State: OK
                CloudPools Details:
                       Apply Order: 3
             File Matching Pattern: Accessed Time > 5W5D AND Path == APPS/SeaShoreVideo (begins with)
                                    OR
                                    Accessed Time > 5W5D AND Path == APPS/OceanArchive (begins with)
          Set Requested Protection: -
               Data Access Pattern: -
                  Enable Coalescer: -
                    Enable Packing: -
               Data Storage Target: -
                 Data SSD Strategy: -
           Snapshot Storage Target: -
             Snapshot SSD Strategy: -
                        Cloud Pool: EMC ECS Pool
         Cloud Compression Enabled: Yes
          Cloud Encryption Enabled: No
              Cloud Data Retention: 1W
Cloud Incremental Backup Retention: 5Y
       Cloud Full Backup Retention: 5Y
               Cloud Accessibility: cached
                  Cloud Read Ahead: partial
            Cloud Cache Expiration: 1D
         Cloud Writeback Frequency: 9H
                                ID: Bad ECS Cloud Policy
--------------------------------------------------------------------------------

Другие причины высокой isi_cpool_d использования ЦП могут различаться в зависимости от конфигурации кластера, настроек и уровня кода. Если вам требуется помощь, обратитесь в службу технической поддержки Dell.