PowerScale. Использование AutoBalanceLin для быстрого перемещения данных из полного пула узлов

Сводка: В этой статье описывается, как использовать задание AutoBalanceLin для быстрого освобождения места, если пул с одним узлом заполнен или почти заполнен на 100%. Эту процедуру следует использовать только в том случае, если все другие способы освобождения дискового пространства в пуле узлов были исчерпаны. ...

Данная статья применяется к Данная статья не применяется к Эта статья не привязана к какому-либо конкретному продукту. В этой статье указаны не все версии продуктов.
Ознакомьтесь с другими ресурсами

Инструкции

Примечание. Следующая процедура требует удаления существующих политик файлового пула и распределения данных между всеми узлами независимо от рабочего процесса, к которому принадлежат данные. Без политик файловых пулов управление данными между пулами или уровнями не производится. Полностью осознайте последствия этой процедуры, так как она может привести к снижению производительности. Это можно делать только в качестве последней попытки после того, как будут испробованы все другие варианты решения проблем с емкостью.

Широко распространено мнение, что AutoBalance и AutoBalanceLin Баланс данных выполняется только в пулах узлов, а не между пулами узлов. Кроме того, считается, что только smartpools/smartpoolstree Может перемещать данные между двумя пулами узлов.

Тестирование на OneFS 8.0 и более поздних версиях доказывает, что это не совсем так. Если в кластере используется только политика по умолчанию для пула файлов anywhere:anywhere, AutoBalanceLin и AutoBalance Перемещает данные между несколькими пулами узлов.

Это следует использовать только в качестве временного решения для кластеров с одним полным пулом узлов. Этот процесс быстро перемещает данные из полного пула узлов.

Вопрос: В каких случаях можно использовать следующую процедуру?
Ответ: Эта процедура может использоваться при следующих условиях:
  • Кластер содержит несколько пулов узлов, и один или несколько пулов узлов заполнены на 100%.
  • Необходимо немедленно освободить дисковое пространство в полном пуле узлов.
  • Точная организация данных не является непосредственной проблемой.


Действия

  1. Запишите и удалите все существующие политики пула файлов, кроме политики по умолчанию «any:any' файлового пула, которые настроены в кластере.

Прежде чем выполнить этот шаг, выполните следующие действия.

  • Перед удалением политик запишите текущую конфигурацию политик файлового пула. Если позволяет время, рекомендуется выполнить полный сбор журналов.
  • По умолчанию для кластеров Isilon настроена политика файлового пула Default-File Pool, предназначенная для записи данных в 'anywhere:anywhere'. Прежде чем продолжить, убедитесь, что для параметра «Default-File Pool Policy» возвращены настройки по умолчанию.
Пример: Политика пула файлов по умолчанию. Обратите внимание, что для параметра Целевые показатели хранилища установлено значение «anywhere'. 
# isi filepool default-policy view
          Set Requested Protection: default
               Data Access Pattern: concurrency
                  Enable Coalescer: Yes
                    Enable Packing: No
               Data Storage Target: anywhere
                 Data SSD Strategy: metadata
           Snapshot Storage Target: anywhere
             Snapshot SSD Strategy: metadata
                        Cloud Pool: -
         Cloud Compression Enabled: -
          Cloud Encryption Enabled: -
              Cloud Data Retention: -
Cloud Incremental Backup Retention: -
       Cloud Full Backup Retention: -
               Cloud Accessibility: -
                  Cloud Read Ahead: -
            Cloud Cache Expiration: -
         Cloud Writeback Frequency: -
      Cloud Archive Snapshot Files: -
                                ID: -
  1. Выполните SmartPools Задание для применения новых меток каталога:
# isi job start smartpools -p 1 --policy medium
 
Примечание. Ожидайте Smartpools чтобы выполнить задание быстрее, чем обычно, с помощью только команды anywhere:anywhere Применяется политика пула файлов по умолчанию.
 
Примечание. Из-за нового дизайна в более поздних версиях OneFS при попытке запустить SmartPools Задание из-за переполнения пула узлов: 
# isi job jobs start SmartPools

Job operation failed: Job 'SmartPools' cannot start because the cluster's free disk space percentage is below 2 (isi_gconfig -t job-config core.free_blocks_pct_threshold_lo threshold) and this job does not free disk space. Free up some space (e.g. run TreeDelete, SnapshotDelete) then try again.: No space left on device

Если вы НЕ ВИДИТЕ приведенное выше сообщение об ошибке, перейдите к шагу 3 ниже.

Если вы ВИДИТЕ это сообщение об ошибке, перейдите к шагу 2a ниже.

  1. Проверьте еще раз, чтобы узнать, есть ли какие-либо данные, которые можно удалить, чтобы освободить место во всем пуле узлов. Это включает в себя проверку наличия крупных моментальных снимков, а также проверку наличия больших системных файлов или файлов аудита с помощью следующих команд:
Isilon-28# du -sh /ifs/.ifsvar/audit/logs
 
Islon-28# du -sh /ifs/.ifsvar

Если удалось удалить достаточно данных, попробуйте запустить команду SmartPools Снова работа.

Если данных, которые можно удалить, отсутствуют, рекомендуется выполнить следующие действия по устранению рисков:

  1. Измените приведенную выше политику файлового пула по умолчанию, чтобы выполнить запись в менее полный пул узлов. 
  2. Определите путь прохождения данных во всем пуле узлов, который включает большую часть данных.
  3. Во время сеанса экрана выполните команду:   
# isi filepool apply -r <data path>   to manually move data under a certain path

i.e.

# isi filepool apply -r /ifs/data/win_data/test_data

verify the job is running:

# ps auwx | grep apply
root   45237   98.1  0.0 102268  61176  0  R+   13:34          0:35.04 /usr/libexec/isilon/isi /usr/bin/isi filepool apply -r /ifs/
  1. Следите за емкостью. Когда весь пул узлов будет ниже 96%, начните все сначала со второго шага, описанного выше.
  1. Запустите AutoBalanceLin в течение нескольких часов и следите за пространством. (В отличие от AutoBalance, который выполняет полный обход дерева перед перемещением каких-либо данных, AutoBalanceLin немедленно перераспределяет данные)
# isi job start autobalancelin -p 1 --policy medium

Почти сразу же обратите внимание, что данные перемещаются между пулами узлов, и весь пул узлов должен освободить дисковое пространство.
 
Примечание. Для этого шага AutoBalanceLin не обязательно доводить до конца. Следите за AutoBalanceLin до тех пор, пока не будет достигнута цель очистки всего пула узлов, а затем отмените задание. Например, можно отменить задание, как только весь пул узлов снизится до 85% емкости.
 
Примечание. Отслеживайте использование кластера и убедитесь, что другие задания отменены или приостановлены в случае неблагоприятного использования пространства.

Продолжайте отслеживать пространство примерно каждый час, пока пространство не достигнет достаточного уровня, используя следующую команду: 
# isi stat -p -v
 
Примечание. Опять же, не рекомендуется позволять AutoBalanceLin Довести до конца. В какой-то момент задание может сместить данные в новом направлении, что может привести к нежелательным результатам. Например, она изменяет перемещение данных на обратное, что может привести к тому, что емкость другого пула узлов будет почти заполнена из-за опустошения предыдущего пула. Только выполнить AutobalanceLIN в течение нескольких часов или до тех пор, пока пространство не будет очищено, а затем отмените операцию, как только цель будет достигнута.

После того как кластер освободит место на полном пуле узлов, отмените AutoBalanceLin Работу: 
# isi job cancel autobalancelin
 
Примечание. Для достижения оптимальных результатов уровни защиты между пулами узлов должны быть одинаковыми. 

Дополнительная информация

Результаты лабораторных исследований:

Два пула узлов, одинаковые уровни
защиты Это до:

Node Pool Name: x410_archive          Protection:        +2d:1n
Pool Storage:     HDD                 SSD Storage
Size:             85.2T (94.6T Raw)   2.2T (2.2T Raw)
VHS Size:         9.4T
Used:             29.9T (35%)         35.2G (2%)
Avail:            55.3T (65%)         2.1T (98%)

                           Throughput (bps)  HDD Storage      SSD Storage
Name               Health|  In   Out  Total| Used / Size     |Used / Size
-------------------+-----+-----+-----+-----+-----------------+-----------------
  5|10.5.80.190    | OK  |881.6|    0|881.6|10.0T/31.5T( 32%)|11.7G/ 738G(  2%)
  6|10.5.80.191    |-A-- |    0|    0|    0|10.0T/31.5T( 32%)|11.7G/ 738G(  2%)
  7|10.5.80.192    | OK  |    0|    0|    0|10.0T/31.5T( 32%)|11.7G/ 738G(  2%)
-------------------+-----+-----+-----+-----+-----------------+-----------------
x410_archive       |  OK |110.2|    0|110.2|29.9T/85.2T( 35%)|35.2G/ 2.2T(  2%)

Node Pool Name: x410_35tb_800gb-ssd_64gbProtection:        +2d:1n
Pool Storage:     HDD                 SSD Storage
Size:             112.8T (125.3T Raw) 2.9T (2.9T Raw)
VHS Size:         12.5T
Used:             5.6T (5%)           7.9G (< 1%)
Avail:            107.2T (95%)        2.9T (> 99%)

                           Throughput (bps)  HDD Storage      SSD Storage
Name               Health|  In   Out  Total| Used / Size     |Used / Size
-------------------+-----+-----+-----+-----+-----------------+-----------------
  1|10.5.80.186    | OK  | 2.9M|82.8M|85.6M| 1.4T/31.5T(  4%)| 2.0G/ 738G(< 1%)
  2|10.5.80.187    |-A-- | 104k|38.8k| 143k| 1.4T/30.6T(  5%)| 1.9G/ 738G(< 1%)
  3|10.5.80.188    | OK  |881.6|    0|881.6| 1.4T/31.5T(  4%)| 2.0G/ 738G(< 1%)
  4|10.5.80.189    | OK  |    0|25.8k|25.8k| 1.4T/31.5T(  4%)| 2.0G/ 738G(< 1%)
-------------------+-----+-----+-----+-----+-----------------+-----------------
x410_35tb_800gb-ssd|-M---| 371k|10.4M|10.7M| 5.6T/112.8T(  5%)| 7.9G/ 2.9T(< 1%)
  _64gb            |     |     |     |     |                 |




X410-2# date
Thu Jun 14 16:53:29 CDT 2018


one filepool policy set to default any:any


X410-2# isi job start autobalancelin -p 1 --policy medium
Started job [7159]


in as little as 30 minutes you will see data shift between the two pools, i.e. our first node pool, below, dropped from 32% full to 29%


X410-2# date
Thu Jun 14 17:24:20 CDT 2018



Node Pool Name: x410_archive          Protection:        +2d:1n
Pool Storage:     HDD                 SSD Storage
Size:             85.2T (94.6T Raw)   2.2T (2.2T Raw)
VHS Size:         9.4T
Used:             27.7T (33%)         34.3G (2%)
Avail:            57.5T (67%)         2.1T (98%)

                           Throughput (bps)  HDD Storage      SSD Storage
Name               Health|  In   Out  Total| Used / Size     |Used / Size
-------------------+-----+-----+-----+-----+-----------------+-----------------
  5|10.5.80.190    | OK  | 1.1k|25.8k|26.9k| 9.2T/31.5T( 29%)|11.4G/ 738G(  2%)
  6|10.5.80.191    |-A-- | 1.1k| 1.2M| 1.2M| 9.2T/31.5T( 29%)|11.4G/ 738G(  2%)
  7|10.5.80.192    | OK  |28.6k| 5.2k|33.7k| 9.2T/31.5T( 29%)|11.4G/ 738G(  2%)
-------------------+-----+-----+-----+-----+-----------------+-----------------
x410_archive       |  OK | 3.8k| 152k| 156k|27.7T/85.2T( 33%)|34.3G/ 2.2T(  2%)

Node Pool Name: x410_35tb_800gb-ssd_64gbProtection:        +2d:1n
Pool Storage:     HDD                 SSD Storage
Size:             112.8T (125.3T Raw) 2.9T (2.9T Raw)
VHS Size:         12.5T
Used:             7.6T (7%)           8.8G (< 1%)
Avail:            105.2T (93%)        2.9T (> 99%)

                           Throughput (bps)  HDD Storage      SSD Storage
Name               Health|  In   Out  Total| Used / Size     |Used / Size
-------------------+-----+-----+-----+-----+-----------------+-----------------
  1|10.5.80.186    | OK  |37.9k| 279k| 316k| 1.9T/31.5T(  6%)| 2.2G/ 738G(< 1%)
  2|10.5.80.187    |-A-- | 1.4M|34.8M|36.2M| 1.9T/30.6T(  6%)| 2.2G/ 738G(< 1%)
  3|10.5.80.188    | OK  | 130k|30.9k| 161k| 1.9T/31.5T(  6%)| 2.2G/ 738G(< 1%)
  4|10.5.80.189    | OK  |    0|    0|    0| 1.9T/31.5T(  6%)| 2.2G/ 738G(< 1%)
-------------------+-----+-----+-----+-----+-----------------+-----------------
x410_35tb_800gb-ssd|-M---| 198k| 4.4M| 4.6M| 7.6T/112.8T(  7%)| 8.8G/ 2.9T(< 1%)
  _64gb            |     |     |     |     |                 |

Продолжайте мониторинг примерно каждый час, пока дисковое пространство не достигнет достаточного уровня.

 
Примечание. Не позволяйте AutoBalanceLin Довести до конца. Задание смещает данные в противоположном направлении, что может привести к нежелательным результатам. Потребляемое дисковое пространство может измениться на противоположное, что может привести к почти полному пулу узлов. Запускайте задание только в течение нескольких часов.

Точка в часах: 
X410-2# date
Thu Jun 14 17:54:30 CDT 2018



Node Pool Name: x410_archive          Protection:        +2d:1n
Pool Storage:     HDD                 SSD Storage
Size:             85.2T (94.6T Raw)   2.2T (2.2T Raw)
VHS Size:         9.4T
Used:             25.2T (30%)         33.9G (2%)
Avail:            60.0T (70%)         2.1T (98%)

                           Throughput (bps)  HDD Storage      SSD Storage
Name               Health|  In   Out  Total| Used / Size     |Used / Size
-------------------+-----+-----+-----+-----+-----------------+-----------------
  5|10.5.80.190    | OK  |881.6|20.6k|21.5k| 8.4T/31.5T( 27%)|11.3G/ 738G(  2%)
  6|10.5.80.191    |-A-- |    0|    0|    0| 8.4T/31.5T( 27%)|11.3G/ 738G(  2%)
  7|10.5.80.192    | OK  | 2.2k| 216k| 218k| 8.4T/31.5T( 27%)|11.3G/ 738G(  2%)
-------------------+-----+-----+-----+-----+-----------------+-----------------
x410_archive       |  OK |385.7|29.5k|29.9k|25.2T/85.2T( 30%)|33.9G/ 2.2T(  2%)


X410-2# date
Thu Jun 14 18:54:43 CDT 2018




Node Pool Name: x410_archive          Protection:        +2d:1n
Pool Storage:     HDD                 SSD Storage
Size:             85.2T (94.6T Raw)   2.2T (2.2T Raw)
VHS Size:         9.4T
Used:             21.6T (25%)         26.8G (1%)
Avail:            63.6T (75%)         2.1T (99%)

                           Throughput (bps)  HDD Storage      SSD Storage
Name               Health|  In   Out  Total| Used / Size     |Used / Size
-------------------+-----+-----+-----+-----+-----------------+-----------------
  5|10.5.80.190    | OK  |22.9k| 1.4M| 1.5M| 7.2T/31.5T( 23%)| 8.9G/ 738G(  1%)
  6|10.5.80.191    |-A-- |881.6| 231k| 232k| 7.2T/31.5T( 23%)| 8.9G/ 738G(  1%)
  7|10.5.80.192    | OK  |    0|    0|    0| 7.2T/31.5T( 23%)| 8.9G/ 738G(  1%)
-------------------+-----+-----+-----+-----+-----------------+-----------------
x410_archive       |  OK | 3.0k| 210k| 213k|21.6T/85.2T( 25%)|26.8G/ 2.2T(  1%)


Пространство достаточно очищено. Переменная AutoBalanceLIn Задание может быть отменено, так как достигнуты желаемые результаты.

Затронутые продукты

Isilon X400
Свойства статьи
Номер статьи: 000009283
Тип статьи: How To
Последнее изменение: 23 Jun 2026
Версия:  9
Получите ответы на свои вопросы от других пользователей Dell
Услуги технической поддержки
Проверьте, распространяются ли на ваше устройство услуги технической поддержки.