PowerScale: AutoBalanceLin을 사용하여 전체 노드 풀에서 데이터를 빠르게 이동
Summary: 이 문서에서는 단일 노드 풀이 꽉 찼거나 거의 100% 용량에 도달한 경우 AutoBalanceLin 작업을 사용하여 공간을 신속하게 확보하는 방법에 대해 설명합니다. 이 절차는 노드 풀에서 디스크 공간을 확보하는 다른 모든 방법을 모두 사용한 경우에만 사용해야 합니다.
Instructions
참고: 다음 절차를 수행하려면 데이터가 속한 워크플로에 관계없이 모든 노드에서 기존 파일 풀 정책을 제거하고 데이터를 스트라이핑 해야 합니다.
파일 풀 정책이 없으면 풀 또는 계층 간 데이터 관리가 수행되지 않습니다.
성능 저하로 이어질 수 있으므로 이 절차의 영향을 완전히 이해해야 합니다.
용량 문제를 해결하기 위한 다른 모든 옵션을 시도한 후 최후의 수단으로만 이 작업을 수행합니다.
AutoBalance와 AutoBalanceLin은 노드 풀 간이 아닌 노드 풀 내 에서만 데이터 밸런싱을 수행하는 것으로 널리 알려져 있습니다. 또한 smartpools/smartpoolstree만 두 노드 풀 간에 데이터를 이동할 수 있는 것으로 간주됩니다.
OneFS 8.0 이상에서 테스트한 결과 완전히 사실이 아닌 것으로 확인되었습니다. 클러스터에 'anywhere:anywhere'의 기본 파일 풀 정책만 있는 경우 AutoBalanceLin 및 AutoBalance가 여러 노드 풀 간에 데이터를 이동합니다.
이는 하나의 전체 노드 풀이 있는 클러스터에 대한 긴급 해결 방법으로만 사용해야 합니다. 이 프로세스는 데이터를 전체 노드 풀에서 빠르게 이동합니다.
질문: 다음 절차를 언제 사용하고 싶습니까?
대답: 이 절차는 다음과 같은 조건에 해당
할 때 사용됩니다.a. 클러스터에 여러 노드 풀이 포함되어 있으며 하나 이상의 노드 풀이 100% 찼습니다.
b. 전체 노드 풀에서 디스크 공간을 확보해야 하는 즉각적인 요구 사항이 있습니다.
c. 데이터의 정확한 구성은 즉각적인 문제가 아닙니다.
단계:
1) 클러스터와 함께 제공되는 'default' 'any:any' 파일 풀 정책을 제외한 모든 기존 파일 풀 정책을 기록한 다음 삭제합니다.
이 단계를 진행하기 전에 다음을 수행합니다.
a) 정책을 제거하기 전에 현재 파일 풀 정책 구성을 기록합니다. 시간이 충분하면 전체 로그를 수집하는 것이 좋습니다.
b) 기본적으로 Isilon 클러스터는 'anywhere:anywhere'에 데이터를 쓰도록 설정된 기본 파일 풀 정책으로 구성됩니다. 계속하기 전에 기본 파일 풀 정책이 이러한 기본 설정으로 되돌아갔는지 확인하십시오.
Example: Default File Pool Policy. Observe that the Storage Targets are set to 'anywhere'.
# isi filepool default-policy view
Set Requested Protection: default
Data Access Pattern: concurrency
Enable Coalescer: Yes
Enable Packing: No
Data Storage Target: anywhere
Data SSD Strategy: metadata
Snapshot Storage Target: anywhere
Snapshot SSD Strategy: metadata
Cloud Pool: -
Cloud Compression Enabled: -
Cloud Encryption Enabled: -
Cloud Data Retention: -
Cloud Incremental Backup Retention: -
Cloud Full Backup Retention: -
Cloud Accessibility: -
Cloud Read Ahead: -
Cloud Cache Expiration: -
Cloud Writeback Frequency: -
Cloud Archive Snapshot Files: -
ID: -
2) SmartPools 작업을 실행하여 새 디렉토리 표시를 적용합니다.
# isi job start smartpools -p 1 --policy medium
참고: anywhere:anywhere 기본 파일 풀 정책만 설정되어 있으면 SmartPools 작업이 평소보다 빠르게 완료될 것으로 예상합니다.
3) 몇 시간 동안 AutoBalanceLin 작업을 실행하고 공간을 모니터링합니다. (참고: 데이터를 이동하기 전에 전체 트리 워크를 수행하는 AutoBalance와 달리 AutoBalanceLin은 데이터를 즉시 다시 스트라이핑합니다.)
# isi job start autobalancelin -p 1 --policy medium
거의 즉시 노드 풀과 전체 노드 풀 간에 데이터가 이동되어 디스크 공간이 확보되는 것을 확인합니다.
참고: 이 단계의 경우 AutoBalanceLin을 완료할 때까지 실행할 필요가 없습니다. 전체 노드 풀을 정리하는 목표가 달성될 때까지 AutoBalanceLin 작업을 모니터링한 다음 작업을 취소합니다. 예를 들어 전체 노드 풀이 용량의 85%로 줄어들면 작업을 취소할 수 있습니다.
메모: 클러스터 활용도를 모니터링하고 공간에 부정적인 영향을 미치는 경우 다른 작업이 취소되거나 일시 중지되는지 확인합니다.
다음 명령을 사용하여 공간이 충분한 레벨이 될 때까지 매 시간마다 공간을 계속 모니터링합니다.
# isi stat -p -v
참고: 다시 말하지만, AutoBalanceLin이 완전히 실행되도록 두는 것은 바람직하지 않습니다. 특정 시점에서 작업은 데이터를 새로운 방향으로 이동할 수 있으며 바람직하지 않은 결과를 생성하기 시작할 수 있습니다. 예를 들어 데이터 이동을 반대로 하여 이전 풀이 비워지면서 다른 노드 풀도 최대 용량에 근접하게 될 수 있습니다. AutobalanceLIN을 몇 시간 동안만 실행하거나 공간이 정리될 때까지 실행한 다음 목표가 달성되면 취소하십시오.
클러스터가 전체 노드 풀에서 공간을 절약하면 AutoBalanceLin 작업을 취소합니다.
# isi job cancel autobalancelin
참고: 최적의 결과를 얻으려면 노드 풀 간의 보호 수준이 동일해야 합니다.
Additional Information
랩 테스트 결과
동일한 보호 수준
인 2개의 노드 풀 이전입니다.
Node Pool Name: x410_archive Protection: +2d:1n Pool Storage: HDD SSD Storage Size: 85.2T (94.6T Raw) 2.2T (2.2T Raw) VHS Size: 9.4T Used: 29.9T (35%) 35.2G (2%) Avail: 55.3T (65%) 2.1T (98%) Throughput (bps) HDD Storage SSD Storage Name Health| In Out Total| Used / Size |Used / Size -------------------+-----+-----+-----+-----+-----------------+----------------- 5|10.5.80.190 | OK |881.6| 0|881.6|10.0T/31.5T( 32%)|11.7G/ 738G( 2%) 6|10.5.80.191 |-A-- | 0| 0| 0|10.0T/31.5T( 32%)|11.7G/ 738G( 2%) 7|10.5.80.192 | OK | 0| 0| 0|10.0T/31.5T( 32%)|11.7G/ 738G( 2%) -------------------+-----+-----+-----+-----+-----------------+----------------- x410_archive | OK |110.2| 0|110.2|29.9T/85.2T( 35%)|35.2G/ 2.2T( 2%) Node Pool Name: x410_35tb_800gb-ssd_64gbProtection: +2d:1n Pool Storage: HDD SSD Storage Size: 112.8T (125.3T Raw) 2.9T (2.9T Raw) VHS Size: 12.5T Used: 5.6T (5%) 7.9G (< 1%) Avail: 107.2T (95%) 2.9T (> 99%) Throughput (bps) HDD Storage SSD Storage Name Health| In Out Total| Used / Size |Used / Size -------------------+-----+-----+-----+-----+-----------------+----------------- 1|10.5.80.186 | OK | 2.9M|82.8M|85.6M| 1.4T/31.5T( 4%)| 2.0G/ 738G(< 1%) 2|10.5.80.187 |-A-- | 104k|38.8k| 143k| 1.4T/30.6T( 5%)| 1.9G/ 738G(< 1%) 3|10.5.80.188 | OK |881.6| 0|881.6| 1.4T/31.5T( 4%)| 2.0G/ 738G(< 1%) 4|10.5.80.189 | OK | 0|25.8k|25.8k| 1.4T/31.5T( 4%)| 2.0G/ 738G(< 1%) -------------------+-----+-----+-----+-----+-----------------+----------------- x410_35tb_800gb-ssd|-M---| 371k|10.4M|10.7M| 5.6T/112.8T( 5%)| 7.9G/ 2.9T(< 1%) _64gb | | | | | | X410-2# date Thu Jun 14 16:53:29 CDT 2018 one filepool policy set to default any:any X410-2# isi job start autobalancelin -p 1 --policy medium Started job [7159] in as little as 30 minutes you will see data shift between the two pools, i.e. our first node pool, below, dropped from 32% full to 29% X410-2# date Thu Jun 14 17:24:20 CDT 2018 Node Pool Name: x410_archive Protection: +2d:1n Pool Storage: HDD SSD Storage Size: 85.2T (94.6T Raw) 2.2T (2.2T Raw) VHS Size: 9.4T Used: 27.7T (33%) 34.3G (2%) Avail: 57.5T (67%) 2.1T (98%) Throughput (bps) HDD Storage SSD Storage Name Health| In Out Total| Used / Size |Used / Size -------------------+-----+-----+-----+-----+-----------------+----------------- 5|10.5.80.190 | OK | 1.1k|25.8k|26.9k| 9.2T/31.5T( 29%)|11.4G/ 738G( 2%) 6|10.5.80.191 |-A-- | 1.1k| 1.2M| 1.2M| 9.2T/31.5T( 29%)|11.4G/ 738G( 2%) 7|10.5.80.192 | OK |28.6k| 5.2k|33.7k| 9.2T/31.5T( 29%)|11.4G/ 738G( 2%) -------------------+-----+-----+-----+-----+-----------------+----------------- x410_archive | OK | 3.8k| 152k| 156k|27.7T/85.2T( 33%)|34.3G/ 2.2T( 2%) Node Pool Name: x410_35tb_800gb-ssd_64gbProtection: +2d:1n Pool Storage: HDD SSD Storage Size: 112.8T (125.3T Raw) 2.9T (2.9T Raw) VHS Size: 12.5T Used: 7.6T (7%) 8.8G (< 1%) Avail: 105.2T (93%) 2.9T (> 99%) Throughput (bps) HDD Storage SSD Storage Name Health| In Out Total| Used / Size |Used / Size -------------------+-----+-----+-----+-----+-----------------+----------------- 1|10.5.80.186 | OK |37.9k| 279k| 316k| 1.9T/31.5T( 6%)| 2.2G/ 738G(< 1%) 2|10.5.80.187 |-A-- | 1.4M|34.8M|36.2M| 1.9T/30.6T( 6%)| 2.2G/ 738G(< 1%) 3|10.5.80.188 | OK | 130k|30.9k| 161k| 1.9T/31.5T( 6%)| 2.2G/ 738G(< 1%) 4|10.5.80.189 | OK | 0| 0| 0| 1.9T/31.5T( 6%)| 2.2G/ 738G(< 1%) -------------------+-----+-----+-----+-----+-----------------+----------------- x410_35tb_800gb-ssd|-M---| 198k| 4.4M| 4.6M| 7.6T/112.8T( 7%)| 8.8G/ 2.9T(< 1%) _64gb | | | | | |
디스크 공간이 충분한 수준이 될 때까지 매 시간마다 계속 모니터링합니다.
참고: AutoBalanceLin이 완료될 때까지 실행되지 않도록 합니다. 작업이 데이터를 반대 방향으로 이동하므로 바람직하지 않은 결과가 생성될 수 있습니다. 사용된 디스크 공간이 역전되어 노드 풀이 다시 가득 차게 될 수 있습니다. 몇 시간 동안만 작업을 실행합니다.
1시간 포인트:
X410-2# date Thu Jun 14 17:54:30 CDT 2018 Node Pool Name: x410_archive Protection: +2d:1n Pool Storage: HDD SSD Storage Size: 85.2T (94.6T Raw) 2.2T (2.2T Raw) VHS Size: 9.4T Used: 25.2T (30%) 33.9G (2%) Avail: 60.0T (70%) 2.1T (98%) Throughput (bps) HDD Storage SSD Storage Name Health| In Out Total| Used / Size |Used / Size -------------------+-----+-----+-----+-----+-----------------+----------------- 5|10.5.80.190 | OK |881.6|20.6k|21.5k| 8.4T/31.5T( 27%)|11.3G/ 738G( 2%) 6|10.5.80.191 |-A-- | 0| 0| 0| 8.4T/31.5T( 27%)|11.3G/ 738G( 2%) 7|10.5.80.192 | OK | 2.2k| 216k| 218k| 8.4T/31.5T( 27%)|11.3G/ 738G( 2%) -------------------+-----+-----+-----+-----+-----------------+----------------- x410_archive | OK |385.7|29.5k|29.9k|25.2T/85.2T( 30%)|33.9G/ 2.2T( 2%) X410-2# date Thu Jun 14 18:54:43 CDT 2018 Node Pool Name: x410_archive Protection: +2d:1n Pool Storage: HDD SSD Storage Size: 85.2T (94.6T Raw) 2.2T (2.2T Raw) VHS Size: 9.4T Used: 21.6T (25%) 26.8G (1%) Avail: 63.6T (75%) 2.1T (99%) Throughput (bps) HDD Storage SSD Storage Name Health| In Out Total| Used / Size |Used / Size -------------------+-----+-----+-----+-----+-----------------+----------------- 5|10.5.80.190 | OK |22.9k| 1.4M| 1.5M| 7.2T/31.5T( 23%)| 8.9G/ 738G( 1%) 6|10.5.80.191 |-A-- |881.6| 231k| 232k| 7.2T/31.5T( 23%)| 8.9G/ 738G( 1%) 7|10.5.80.192 | OK | 0| 0| 0| 7.2T/31.5T( 23%)| 8.9G/ 738G( 1%) -------------------+-----+-----+-----+-----+-----------------+----------------- x410_archive | OK | 3.0k| 210k| 213k|21.6T/85.2T( 25%)|26.8G/ 2.2T( 1%)
공간이 충분히 정리되어 있습니다. 원하는 결과를 얻었으므로 AutoBalanceLIn 작업을 취소할 수 있습니다.