PowerScale：AutoBalanceLinを使用してフル ノード プールからデータを迅速に移動する

Summary: この記事では、AutoBalanceLin ジョブを使用して、1 つのノード プールがいっぱいになった場合、または容量がほぼ 100% になった場合に領域をすばやく解放する方法について説明します。 この手順は、ノード プール上のディスク領域を解放する他のすべての方法を使い果たした場合にのみ使用してください。

This article applies to This article does not apply to This article is not tied to any specific product. Not all product versions are identified in this article.
Check out other resources

Instructions

注：次の手順では、既存のファイル プール ポリシーを削除し、データが属するワークフローに関係なく、すべてのノードでデータをストライピングする必要があります。ファイル プール ポリシーがない場合、プール間または階層間でのデータ管理は行われません。パフォーマンスが低下する可能性があるため、この手順の影響を十分に理解していることを確認してください。これは、容量の問題を解決するための他のすべてのオプションを試した後の最後の手段としてのみ実行してください。

と広く信じられているのは AutoBalance と AutoBalanceLin ノード プール間でではなく、ノード プール内でのみデータをバランシングします。また、それは信じられています smartpools/smartpoolstree 2つのノード プール間でデータを移動できます。

OneFS 8.0以降でのテストでは、これが完全には当てはまらないことが証明されています。クラスターに次のデフォルトのファイル プール ポリシーしかない場合: anywhere:anywhere、 AutoBalanceLin と AutoBalance 複数のノード プール間でデータを移動します。

これは、フル ノード プールが1つしかないクラスターの緊急回避策としてのみ使用してください。このプロセスでは、フル ノード プールからデータを迅速に移動します。

質問：次の手順はいつ使用しますか
答え：この手順は、次の条件が存在する場合に使用します。
  • クラスターには複数のノード プールが含まれており、1つ以上のノード プールが100%フルです。
  • フル ノード プールのディスク領域を解放することが直ちに必要になります。
  • データの正確な構成は、差し迫った懸念事項ではありません。


手順：

  1. デフォルトの「」を除くすべての既存のファイル プール ポリシーをメモしてから削除しますany:any' クラスターで構成されているファイル プール ポリシー。

この手順に進む前に、次のことを行ってください。

  • ポリシーを削除する前に、現在のファイルプール ポリシー構成を記録します。時間に余裕があれば、完全なログ収集をお勧めします。
  • デフォルトでは、Isilonクラスターは、データの書き込み先として設定されたデフォルトファイル プール ポリシーを使用して構成されます 'anywhere:anywhere'の詳細を確認してください。続行する前に、デフォルト ファイル プール ポリシーがこれらのデフォルト設定に戻っていることを確認します。
Example: デフォルトのファイル プール ポリシー。ストレージ ターゲットが「anywhere'. 
# isi filepool default-policy view
          Set Requested Protection: default
               Data Access Pattern: concurrency
                  Enable Coalescer: Yes
                    Enable Packing: No
               Data Storage Target: anywhere
                 Data SSD Strategy: metadata
           Snapshot Storage Target: anywhere
             Snapshot SSD Strategy: metadata
                        Cloud Pool: -
         Cloud Compression Enabled: -
          Cloud Encryption Enabled: -
              Cloud Data Retention: -
Cloud Incremental Backup Retention: -
       Cloud Full Backup Retention: -
               Cloud Accessibility: -
                  Cloud Read Ahead: -
            Cloud Cache Expiration: -
         Cloud Writeback Frequency: -
      Cloud Archive Snapshot Files: -
                                ID: -
  1. ポートが正常に動作していることを確認するために、 SmartPools 新しいディレクトリー マーキングを適用するジョブ:
# isi job start smartpools -p 1 --policy medium
 
注：期待 Smartpools ジョブを通常よりも速く完了させるには、 anywhere:anywhere デフォルト ファイル プール ポリシーが設定されています。
 
注：OneFSの新しいバージョンでは設計が新しくなっているため、次のコマンドを実行しようとすると、次のエラーが発生することがあります。 SmartPools ノード プールがいっぱいになっているジョブ: 
# isi job jobs start SmartPools

Job operation failed: Job 'SmartPools' cannot start because the cluster's free disk space percentage is below 2 (isi_gconfig -t job-config core.free_blocks_pct_threshold_lo threshold) and this job does not free disk space. Free up some space (e.g. run TreeDelete, SnapshotDelete) then try again.: No space left on device

上記のエラー メッセージ が表示されない場合は 、以下の手順3に進みます。

このエラー メッセージ が表示される 場合は、次の手順2aに進みます。

  1. ノード プール全体の領域を解放するために削除できるデータがあるかどうかを再度確認します。これには、次のコマンドを使用した大規模なスナップショットのチェックと、大規模なシステムまたは監査ファイルのチェックが含まれます。
Isilon-28# du -sh /ifs/.ifsvar/audit/logs
 
Islon-28# du -sh /ifs/.ifsvar

十分なデータを削除できる場合は、 SmartPools ジョブを再度実行します。

削除できるデータがまったくない場合、推奨される軽減手順は次のとおりです。

  1. 前述のデフォルトファイル プール ポリシーを変更して、満杯でないノード プールに書き込みます。 
  2. ほとんどのデータを含むフル ノード プール上のデータ パスを特定します。
  3. 画面セッションで、以下を実行します。   
# isi filepool apply -r <data path>   to manually move data under a certain path

i.e.

# isi filepool apply -r /ifs/data/win_data/test_data

verify the job is running:

# ps auwx | grep apply
root   45237   98.1  0.0 102268  61176  0  R+   13:34          0:35.04 /usr/libexec/isilon/isi /usr/bin/isi filepool apply -r /ifs/
  1. 容量を監視します。フル ノード プールが96%を下回ったら、上記の手順2から最初からやり直します。
  1. 次を実行する AutoBalanceLin 数時間のジョブ、およびスペースの監視。( AutoBalanceこれは、データを移動する前に完全なツリーウォークを行います。 AutoBalanceLin データをただちに再ストライプ)
# isi job start autobalancelin -p 1 --policy medium

ほぼ同時に、ノード プール間のデータ シフトと完全なノード プールのディスク領域が解放されることを確認します。
 
注：このステップでは、 AutoBalanceLin 完了するまで実行する必要はありません。の監視 AutoBalanceLin ノード プール全体をクリーンアップするという目標が達成されるまでジョブを実行し、その後、ジョブをキャンセルします。たとえば、ノード プール全体が容量の85%まで減少したら、ジョブをキャンセルできます。
 
注：クラスターの使用率を監視し、スペースに悪影響がある場合は他のジョブがキャンセルされているか一時停止していることを確認します

次のコマンドを使用して、スペースが十分なレベルになるまで、1時間ごとにスペースを監視し続けます。 
# isi stat -p -v
 
注：繰り返しますが、 AutoBalanceLin 完了するまで実行します。ある時点で、ジョブはデータを新しい方向にシフトし、望ましくない結果を生成し始める可能性があります。たとえば、データ移動が逆になり、前のプールが空になると、他のノード プールの容量がフルに近づく可能性があります。実行のみ AutobalanceLIN 数時間、またはスペースがクリーンアップされるまで、目標が達成されたらキャンセルします。

クラスターがフル ノード プール上のスペースの軽減を達成したら、 AutoBalanceLin ジョブ： 
# isi job cancel autobalancelin
 
注意: 最適な結果を得るには、ノード プール間の保護レベルを同じ値にする必要があります。 

Additional Information

ラボテストの結果:

2つのノード プール、等しい保護レベル
これは次の前です。

Node Pool Name: x410_archive          Protection:        +2d:1n
Pool Storage:     HDD                 SSD Storage
Size:             85.2T (94.6T Raw)   2.2T (2.2T Raw)
VHS Size:         9.4T
Used:             29.9T (35%)         35.2G (2%)
Avail:            55.3T (65%)         2.1T (98%)

                           Throughput (bps)  HDD Storage      SSD Storage
Name               Health|  In   Out  Total| Used / Size     |Used / Size
-------------------+-----+-----+-----+-----+-----------------+-----------------
  5|10.5.80.190    | OK  |881.6|    0|881.6|10.0T/31.5T( 32%)|11.7G/ 738G(  2%)
  6|10.5.80.191    |-A-- |    0|    0|    0|10.0T/31.5T( 32%)|11.7G/ 738G(  2%)
  7|10.5.80.192    | OK  |    0|    0|    0|10.0T/31.5T( 32%)|11.7G/ 738G(  2%)
-------------------+-----+-----+-----+-----+-----------------+-----------------
x410_archive       |  OK |110.2|    0|110.2|29.9T/85.2T( 35%)|35.2G/ 2.2T(  2%)

Node Pool Name: x410_35tb_800gb-ssd_64gbProtection:        +2d:1n
Pool Storage:     HDD                 SSD Storage
Size:             112.8T (125.3T Raw) 2.9T (2.9T Raw)
VHS Size:         12.5T
Used:             5.6T (5%)           7.9G (< 1%)
Avail:            107.2T (95%)        2.9T (> 99%)

                           Throughput (bps)  HDD Storage      SSD Storage
Name               Health|  In   Out  Total| Used / Size     |Used / Size
-------------------+-----+-----+-----+-----+-----------------+-----------------
  1|10.5.80.186    | OK  | 2.9M|82.8M|85.6M| 1.4T/31.5T(  4%)| 2.0G/ 738G(< 1%)
  2|10.5.80.187    |-A-- | 104k|38.8k| 143k| 1.4T/30.6T(  5%)| 1.9G/ 738G(< 1%)
  3|10.5.80.188    | OK  |881.6|    0|881.6| 1.4T/31.5T(  4%)| 2.0G/ 738G(< 1%)
  4|10.5.80.189    | OK  |    0|25.8k|25.8k| 1.4T/31.5T(  4%)| 2.0G/ 738G(< 1%)
-------------------+-----+-----+-----+-----+-----------------+-----------------
x410_35tb_800gb-ssd|-M---| 371k|10.4M|10.7M| 5.6T/112.8T(  5%)| 7.9G/ 2.9T(< 1%)
  _64gb            |     |     |     |     |                 |




X410-2# date
Thu Jun 14 16:53:29 CDT 2018


one filepool policy set to default any:any


X410-2# isi job start autobalancelin -p 1 --policy medium
Started job [7159]


in as little as 30 minutes you will see data shift between the two pools, i.e. our first node pool, below, dropped from 32% full to 29%


X410-2# date
Thu Jun 14 17:24:20 CDT 2018



Node Pool Name: x410_archive          Protection:        +2d:1n
Pool Storage:     HDD                 SSD Storage
Size:             85.2T (94.6T Raw)   2.2T (2.2T Raw)
VHS Size:         9.4T
Used:             27.7T (33%)         34.3G (2%)
Avail:            57.5T (67%)         2.1T (98%)

                           Throughput (bps)  HDD Storage      SSD Storage
Name               Health|  In   Out  Total| Used / Size     |Used / Size
-------------------+-----+-----+-----+-----+-----------------+-----------------
  5|10.5.80.190    | OK  | 1.1k|25.8k|26.9k| 9.2T/31.5T( 29%)|11.4G/ 738G(  2%)
  6|10.5.80.191    |-A-- | 1.1k| 1.2M| 1.2M| 9.2T/31.5T( 29%)|11.4G/ 738G(  2%)
  7|10.5.80.192    | OK  |28.6k| 5.2k|33.7k| 9.2T/31.5T( 29%)|11.4G/ 738G(  2%)
-------------------+-----+-----+-----+-----+-----------------+-----------------
x410_archive       |  OK | 3.8k| 152k| 156k|27.7T/85.2T( 33%)|34.3G/ 2.2T(  2%)

Node Pool Name: x410_35tb_800gb-ssd_64gbProtection:        +2d:1n
Pool Storage:     HDD                 SSD Storage
Size:             112.8T (125.3T Raw) 2.9T (2.9T Raw)
VHS Size:         12.5T
Used:             7.6T (7%)           8.8G (< 1%)
Avail:            105.2T (93%)        2.9T (> 99%)

                           Throughput (bps)  HDD Storage      SSD Storage
Name               Health|  In   Out  Total| Used / Size     |Used / Size
-------------------+-----+-----+-----+-----+-----------------+-----------------
  1|10.5.80.186    | OK  |37.9k| 279k| 316k| 1.9T/31.5T(  6%)| 2.2G/ 738G(< 1%)
  2|10.5.80.187    |-A-- | 1.4M|34.8M|36.2M| 1.9T/30.6T(  6%)| 2.2G/ 738G(< 1%)
  3|10.5.80.188    | OK  | 130k|30.9k| 161k| 1.9T/31.5T(  6%)| 2.2G/ 738G(< 1%)
  4|10.5.80.189    | OK  |    0|    0|    0| 1.9T/31.5T(  6%)| 2.2G/ 738G(< 1%)
-------------------+-----+-----+-----+-----+-----------------+-----------------
x410_35tb_800gb-ssd|-M---| 198k| 4.4M| 4.6M| 7.6T/112.8T(  7%)| 8.8G/ 2.9T(< 1%)
  _64gb            |     |     |     |     |                 |

ディスク領域が十分なレベルに達するまで、1時間ごとに監視を続けます。

 
注：させないでください AutoBalanceLin 完了するまで実行します。ジョブはデータを逆方向にシフトするため、望ましくない結果が生じ始める可能性があります。消費されたディスク領域が逆転し、ノード プールが再び満杯近くになる可能性があります。ジョブを数時間だけ実行します。

1時間のポイント: 
X410-2# date
Thu Jun 14 17:54:30 CDT 2018



Node Pool Name: x410_archive          Protection:        +2d:1n
Pool Storage:     HDD                 SSD Storage
Size:             85.2T (94.6T Raw)   2.2T (2.2T Raw)
VHS Size:         9.4T
Used:             25.2T (30%)         33.9G (2%)
Avail:            60.0T (70%)         2.1T (98%)

                           Throughput (bps)  HDD Storage      SSD Storage
Name               Health|  In   Out  Total| Used / Size     |Used / Size
-------------------+-----+-----+-----+-----+-----------------+-----------------
  5|10.5.80.190    | OK  |881.6|20.6k|21.5k| 8.4T/31.5T( 27%)|11.3G/ 738G(  2%)
  6|10.5.80.191    |-A-- |    0|    0|    0| 8.4T/31.5T( 27%)|11.3G/ 738G(  2%)
  7|10.5.80.192    | OK  | 2.2k| 216k| 218k| 8.4T/31.5T( 27%)|11.3G/ 738G(  2%)
-------------------+-----+-----+-----+-----+-----------------+-----------------
x410_archive       |  OK |385.7|29.5k|29.9k|25.2T/85.2T( 30%)|33.9G/ 2.2T(  2%)


X410-2# date
Thu Jun 14 18:54:43 CDT 2018




Node Pool Name: x410_archive          Protection:        +2d:1n
Pool Storage:     HDD                 SSD Storage
Size:             85.2T (94.6T Raw)   2.2T (2.2T Raw)
VHS Size:         9.4T
Used:             21.6T (25%)         26.8G (1%)
Avail:            63.6T (75%)         2.1T (99%)

                           Throughput (bps)  HDD Storage      SSD Storage
Name               Health|  In   Out  Total| Used / Size     |Used / Size
-------------------+-----+-----+-----+-----+-----------------+-----------------
  5|10.5.80.190    | OK  |22.9k| 1.4M| 1.5M| 7.2T/31.5T( 23%)| 8.9G/ 738G(  1%)
  6|10.5.80.191    |-A-- |881.6| 231k| 232k| 7.2T/31.5T( 23%)| 8.9G/ 738G(  1%)
  7|10.5.80.192    | OK  |    0|    0|    0| 7.2T/31.5T( 23%)| 8.9G/ 738G(  1%)
-------------------+-----+-----+-----+-----+-----------------+-----------------
x410_archive       |  OK | 3.0k| 210k| 213k|21.6T/85.2T( 25%)|26.8G/ 2.2T(  1%)


スペースは十分にクリーンアップされています。「 AutoBalanceLIn 必要な結果が達成されたため、ジョブをキャンセルできます。

Affected Products

Isilon X400
Article Properties
Article Number: 000009283
Article Type: How To
Last Modified: 08 محرم 1448
Version:  9
Find answers to your questions from other Dell users
Support Services
Check if your device is covered by Support Services.