PowerScale. Использование AutoBalanceLin для быстрого перемещения данных из полного пула узлов
Summary: В этой статье описывается, как использовать задание AutoBalanceLin для быстрого освобождения места, если пул с одним узлом заполнен или почти заполнен на 100%. Эту процедуру следует использовать только в том случае, если все другие способы освобождения дискового пространства в nodepool были исчерпаны. ...
Instructions
Примечание. Следующая процедура требует удаления существующих политик файлового пула и распределения данных между всеми узлами независимо от рабочего процесса, к которому принадлежат данные.
Без политик файловых пулов управление данными между пулами или уровнями не производится.
Полностью осознайте последствия этой процедуры, так как она может привести к снижению производительности.
Это можно делать только в качестве последней попытки после того, как будут испробованы все другие варианты решения проблем с емкостью.
Широко распространено мнение, что AutoBalance и AutoBalanceLin балансируют данные только в пулах узлов, а не между пулами узлов. Кроме того, считается, что только smartpools/smartpoolstree может перемещать данные между двумя пулами узлов.
Тестирование на OneFS 8.0 и более поздних версиях доказывает, что это не совсем так. Если кластер использует только политику файлового пула по умолчанию «anywhere:anywhere», AutoBalanceLin и AutoBalance перемещают данные между несколькими пулами узлов.
Это следует использовать только в качестве временного решения для кластеров с одним полным пулом узлов. Этот процесс быстро перемещает данные из полного пула узлов.
Вопрос: В каких случаях можно использовать следующую процедуру?
Ответ: Эта процедура будет использоваться при соблюдении следующих условий:
Кластер содержит несколько пулов узлов, и один или несколько пулов узлов заполнены
на 100%.b. Необходимо немедленно освободить дисковое пространство в полном пуле узлов.
c. Точная организация данных не является непосредственной проблемой.
Стремянка:
1) Запишите и удалите все существующие политики пула файлов, кроме политики пула файлов по умолчанию «any:any», которая поставляется с кластером.
Прежде чем выполнить этот шаг, выполните следующие действия.
а) Перед удалением политик запишите текущую конфигурацию политик файлового пула. Если позволяет время, рекомендуется выполнить полный сбор журналов.
б) По умолчанию для кластеров Isilon настроена политика пула файлов по умолчанию, настроенная на запись данных в «anywhere:anywhere». Прежде чем продолжить, убедитесь, что для параметра «Default-File Pool Policy» возвращены настройки по умолчанию.
Example: Default File Pool Policy. Observe that the Storage Targets are set to 'anywhere'.
# isi filepool default-policy view
Set Requested Protection: default
Data Access Pattern: concurrency
Enable Coalescer: Yes
Enable Packing: No
Data Storage Target: anywhere
Data SSD Strategy: metadata
Snapshot Storage Target: anywhere
Snapshot SSD Strategy: metadata
Cloud Pool: -
Cloud Compression Enabled: -
Cloud Encryption Enabled: -
Cloud Data Retention: -
Cloud Incremental Backup Retention: -
Cloud Full Backup Retention: -
Cloud Accessibility: -
Cloud Read Ahead: -
Cloud Cache Expiration: -
Cloud Writeback Frequency: -
Cloud Archive Snapshot Files: -
ID: -
2) Запустите задание SmartPools, чтобы применить новые метки каталога:
# isi job start smartpools -p 1 --policy medium
Примечание. Ожидайте, что задание Smartpools будет завершено быстрее, чем обычно, с использованием только политики пула файлов по умолчанию anywhere:anywhere.
3) Запустите задание AutoBalanceLin в течение нескольких часов и следите за пространством. (Примечание: в отличие от AutoBalance, который выполняет полный обход дерева перед перемещением каких-либо данных, AutoBalanceLin немедленно перераспределяет данные)
# isi job start autobalancelin -p 1 --policy medium
Почти сразу же обратите внимание, что данные перемещаются между пулами узлов, и весь пул узлов должен освободить дисковое пространство.
Примечание. Для этого шага AutoBalanceLin не нужно бежать до завершения. Отслеживайте задание AutoBalanceLin до тех пор, пока не будет достигнута цель очистки всего пула узлов, а затем отмените задание. Например, можно отменить задание, как только весь пул узлов снизится до 85% емкости.
Заметка: Отслеживайте использование кластера и убедитесь, что другие задания отменены или приостановлены в случае неблагоприятного воздействия на пространство.
Продолжайте отслеживать пространство примерно каждый час, пока пространство не достигнет достаточного уровня, используя следующую команду:
# isi stat -p -v
Примечание. Опять же, не рекомендуется позволять AutoBalanceLin работать до завершения. В какой-то момент задание может сместить данные в новом направлении, что может привести к нежелательным результатам. Например, она изменяет перемещение данных на обратное, что может привести к тому, что емкость другого пула узлов будет почти заполнена из-за опустошения предыдущего пула. Запускайте AutobalanceLIN только в течение нескольких часов или пока пространство не будет очищено, а затем отмените его, как только цель будет достигнута.
После того как кластер освободит пространство на полном пуле узлов, отмените задание AutoBalanceLin:
# isi job cancel autobalancelin
Примечание. Для достижения оптимальных результатов уровни защиты между пулами узлов должны быть одинаковыми.
Additional Information
Результаты
лабораторного тестирования Два пула узлов, одинаковые уровни
защиты Это было раньше:
Node Pool Name: x410_archive Protection: +2d:1n Pool Storage: HDD SSD Storage Size: 85.2T (94.6T Raw) 2.2T (2.2T Raw) VHS Size: 9.4T Used: 29.9T (35%) 35.2G (2%) Avail: 55.3T (65%) 2.1T (98%) Throughput (bps) HDD Storage SSD Storage Name Health| In Out Total| Used / Size |Used / Size -------------------+-----+-----+-----+-----+-----------------+----------------- 5|10.5.80.190 | OK |881.6| 0|881.6|10.0T/31.5T( 32%)|11.7G/ 738G( 2%) 6|10.5.80.191 |-A-- | 0| 0| 0|10.0T/31.5T( 32%)|11.7G/ 738G( 2%) 7|10.5.80.192 | OK | 0| 0| 0|10.0T/31.5T( 32%)|11.7G/ 738G( 2%) -------------------+-----+-----+-----+-----+-----------------+----------------- x410_archive | OK |110.2| 0|110.2|29.9T/85.2T( 35%)|35.2G/ 2.2T( 2%) Node Pool Name: x410_35tb_800gb-ssd_64gbProtection: +2d:1n Pool Storage: HDD SSD Storage Size: 112.8T (125.3T Raw) 2.9T (2.9T Raw) VHS Size: 12.5T Used: 5.6T (5%) 7.9G (< 1%) Avail: 107.2T (95%) 2.9T (> 99%) Throughput (bps) HDD Storage SSD Storage Name Health| In Out Total| Used / Size |Used / Size -------------------+-----+-----+-----+-----+-----------------+----------------- 1|10.5.80.186 | OK | 2.9M|82.8M|85.6M| 1.4T/31.5T( 4%)| 2.0G/ 738G(< 1%) 2|10.5.80.187 |-A-- | 104k|38.8k| 143k| 1.4T/30.6T( 5%)| 1.9G/ 738G(< 1%) 3|10.5.80.188 | OK |881.6| 0|881.6| 1.4T/31.5T( 4%)| 2.0G/ 738G(< 1%) 4|10.5.80.189 | OK | 0|25.8k|25.8k| 1.4T/31.5T( 4%)| 2.0G/ 738G(< 1%) -------------------+-----+-----+-----+-----+-----------------+----------------- x410_35tb_800gb-ssd|-M---| 371k|10.4M|10.7M| 5.6T/112.8T( 5%)| 7.9G/ 2.9T(< 1%) _64gb | | | | | | X410-2# date Thu Jun 14 16:53:29 CDT 2018 one filepool policy set to default any:any X410-2# isi job start autobalancelin -p 1 --policy medium Started job [7159] in as little as 30 minutes you will see data shift between the two pools, i.e. our first node pool, below, dropped from 32% full to 29% X410-2# date Thu Jun 14 17:24:20 CDT 2018 Node Pool Name: x410_archive Protection: +2d:1n Pool Storage: HDD SSD Storage Size: 85.2T (94.6T Raw) 2.2T (2.2T Raw) VHS Size: 9.4T Used: 27.7T (33%) 34.3G (2%) Avail: 57.5T (67%) 2.1T (98%) Throughput (bps) HDD Storage SSD Storage Name Health| In Out Total| Used / Size |Used / Size -------------------+-----+-----+-----+-----+-----------------+----------------- 5|10.5.80.190 | OK | 1.1k|25.8k|26.9k| 9.2T/31.5T( 29%)|11.4G/ 738G( 2%) 6|10.5.80.191 |-A-- | 1.1k| 1.2M| 1.2M| 9.2T/31.5T( 29%)|11.4G/ 738G( 2%) 7|10.5.80.192 | OK |28.6k| 5.2k|33.7k| 9.2T/31.5T( 29%)|11.4G/ 738G( 2%) -------------------+-----+-----+-----+-----+-----------------+----------------- x410_archive | OK | 3.8k| 152k| 156k|27.7T/85.2T( 33%)|34.3G/ 2.2T( 2%) Node Pool Name: x410_35tb_800gb-ssd_64gbProtection: +2d:1n Pool Storage: HDD SSD Storage Size: 112.8T (125.3T Raw) 2.9T (2.9T Raw) VHS Size: 12.5T Used: 7.6T (7%) 8.8G (< 1%) Avail: 105.2T (93%) 2.9T (> 99%) Throughput (bps) HDD Storage SSD Storage Name Health| In Out Total| Used / Size |Used / Size -------------------+-----+-----+-----+-----+-----------------+----------------- 1|10.5.80.186 | OK |37.9k| 279k| 316k| 1.9T/31.5T( 6%)| 2.2G/ 738G(< 1%) 2|10.5.80.187 |-A-- | 1.4M|34.8M|36.2M| 1.9T/30.6T( 6%)| 2.2G/ 738G(< 1%) 3|10.5.80.188 | OK | 130k|30.9k| 161k| 1.9T/31.5T( 6%)| 2.2G/ 738G(< 1%) 4|10.5.80.189 | OK | 0| 0| 0| 1.9T/31.5T( 6%)| 2.2G/ 738G(< 1%) -------------------+-----+-----+-----+-----+-----------------+----------------- x410_35tb_800gb-ssd|-M---| 198k| 4.4M| 4.6M| 7.6T/112.8T( 7%)| 8.8G/ 2.9T(< 1%) _64gb | | | | | |
Продолжайте мониторинг примерно каждый час, пока дисковое пространство не достигнет достаточного уровня.
Примечание. Не позволяйте AutoBalanceLin работать до конца. Задание смещает данные в противоположном направлении, что может привести к нежелательным результатам. Потребляемое дисковое пространство может измениться на противоположное, что может привести к почти полному пулу узлов. Запускайте задание только в течение нескольких часов.
Точка в часах:
X410-2# date Thu Jun 14 17:54:30 CDT 2018 Node Pool Name: x410_archive Protection: +2d:1n Pool Storage: HDD SSD Storage Size: 85.2T (94.6T Raw) 2.2T (2.2T Raw) VHS Size: 9.4T Used: 25.2T (30%) 33.9G (2%) Avail: 60.0T (70%) 2.1T (98%) Throughput (bps) HDD Storage SSD Storage Name Health| In Out Total| Used / Size |Used / Size -------------------+-----+-----+-----+-----+-----------------+----------------- 5|10.5.80.190 | OK |881.6|20.6k|21.5k| 8.4T/31.5T( 27%)|11.3G/ 738G( 2%) 6|10.5.80.191 |-A-- | 0| 0| 0| 8.4T/31.5T( 27%)|11.3G/ 738G( 2%) 7|10.5.80.192 | OK | 2.2k| 216k| 218k| 8.4T/31.5T( 27%)|11.3G/ 738G( 2%) -------------------+-----+-----+-----+-----+-----------------+----------------- x410_archive | OK |385.7|29.5k|29.9k|25.2T/85.2T( 30%)|33.9G/ 2.2T( 2%) X410-2# date Thu Jun 14 18:54:43 CDT 2018 Node Pool Name: x410_archive Protection: +2d:1n Pool Storage: HDD SSD Storage Size: 85.2T (94.6T Raw) 2.2T (2.2T Raw) VHS Size: 9.4T Used: 21.6T (25%) 26.8G (1%) Avail: 63.6T (75%) 2.1T (99%) Throughput (bps) HDD Storage SSD Storage Name Health| In Out Total| Used / Size |Used / Size -------------------+-----+-----+-----+-----+-----------------+----------------- 5|10.5.80.190 | OK |22.9k| 1.4M| 1.5M| 7.2T/31.5T( 23%)| 8.9G/ 738G( 1%) 6|10.5.80.191 |-A-- |881.6| 231k| 232k| 7.2T/31.5T( 23%)| 8.9G/ 738G( 1%) 7|10.5.80.192 | OK | 0| 0| 0| 7.2T/31.5T( 23%)| 8.9G/ 738G( 1%) -------------------+-----+-----+-----+-----+-----------------+----------------- x410_archive | OK | 3.0k| 210k| 213k|21.6T/85.2T( 25%)|26.8G/ 2.2T( 1%)
Пространство достаточно очищено. Задание AutoBalanceLIn может быть отменено, так как достигнуты желаемые результаты.