PowerScale: Verwenden von AutoBalanceLin zum schnellen Verschieben von Daten aus einem vollen Node-Pool
Summary: In diesem Artikel wird beschrieben, wie Sie mit dem AutoBalanceLin-Job schnell Speicherplatz freigeben, wenn ein Pool mit einem einzelnen Node voll oder fast zu 100 % ausgelastet ist. Dieses Verfahren sollte nur verwendet werden, wenn alle anderen Methoden zur Freigabe von Speicherplatz in einem Node-Pool erschöpft sind. ...
Instructions
Hinweis: Das folgende Verfahren erfordert das Entfernen vorhandener Dateipool-Policies und das Daten-Striping über alle Nodes hinweg , unabhängig davon, zu welchem Workflow die Daten gehören.
Ohne die Dateipool-Policies erfolgt kein Datenmanagement zwischen den Pools oder Tiers.
Stellen Sie sicher, dass die Auswirkungen dieses Verfahrens vollständig verstanden werden, da es zu einer Performanceverschlechterung führen kann.
Führen Sie dies nur als letzten Versuch aus, nachdem alle anderen Optionen zur Lösung von Kapazitätsproblemen ausprobiert wurden.
Es wird allgemein angenommen, dass AutoBalance und AutoBalanceLin Daten nur innerhalb von Node-Pools und nicht zwischen Node-Pools ausgleichen. Außerdem wird davon ausgegangen, dass nur SmartPools/SmartPoolstree Daten zwischen zwei Node-Pools verschieben kann.
Tests mit OneFS 8.0 und höher belegen, dass dies nicht ganz stimmt. Wenn der Cluster nur über die standardmäßige Dateipool-Policy "anywhere:anywhere" verfügt, verschieben AutoBalanceLin und AutoBalance Daten über mehrere Node-Pools.
Dies sollte nur als Notfall-Workaround für Cluster verwendet werden, die über einen vollen Node-Pool verfügen. Bei diesem Prozess werden Daten schnell aus dem vollständigen Node-Pool verschoben.
Frage: Wann sollte man das folgende Verfahren anwenden?
Antwort: Dieses Verfahren wird verwendet, wenn die folgenden Bedingungen erfüllt sind:
a. Der Cluster enthält mehrere Node-Pools und mindestens einer der Node-Pools ist zu 100 % voll.
b. Es besteht eine unmittelbare Anforderung, Speicherplatz in einem vollen Node-Pool freizugeben.
c. Die genaue Organisation der Daten ist kein unmittelbares Problem.
Schritte:
1) Notieren Sie sich alle vorhandenen Dateipool-Policies und löschen Sie sie anschließend mit Ausnahme der Standard-Dateipool-Policy "any:any", die im Lieferumfang des Clusters enthalten ist.
Bevor Sie mit diesem Schritt fortfahren:
a) Notieren Sie sich die aktuelle Konfiguration der Dateipool-Policy, bevor Sie die Policies entfernen. Wenn die Zeit es zulässt, wird eine vollständige Protokollerfassung empfohlen.
b) Standardmäßig sind Isilon-Cluster so konfiguriert, dass die Standard-Dateipool-Policy so konfiguriert ist, dass Daten auf "anywhere:anywhere" geschrieben werden. Überprüfen Sie, ob die Standard-Dateipool-Policy auf diese Standardeinstellungen zurückgesetzt wurde, bevor Sie fortfahren.
Example: Default File Pool Policy. Observe that the Storage Targets are set to 'anywhere'.
# isi filepool default-policy view
Set Requested Protection: default
Data Access Pattern: concurrency
Enable Coalescer: Yes
Enable Packing: No
Data Storage Target: anywhere
Data SSD Strategy: metadata
Snapshot Storage Target: anywhere
Snapshot SSD Strategy: metadata
Cloud Pool: -
Cloud Compression Enabled: -
Cloud Encryption Enabled: -
Cloud Data Retention: -
Cloud Incremental Backup Retention: -
Cloud Full Backup Retention: -
Cloud Accessibility: -
Cloud Read Ahead: -
Cloud Cache Expiration: -
Cloud Writeback Frequency: -
Cloud Archive Snapshot Files: -
ID: -
2) Führen Sie einen SmartPools-Job aus, um neue Verzeichnismarkierungen anzuwenden:
# isi job start smartpools -p 1 --policy medium
Hinweis: Es ist zu erwarten, dass der Smartpools-Job schneller als gewöhnlich abgeschlossen wird, wenn nur die standardmäßige Dateipool-Policy "anywhere:anywhere" festgelegt ist.
3) Führen Sie einige Stunden lang einen AutoBalanceLin-Job aus und überwachen Sie den Speicherplatz. (Hinweis: Im Gegensatz zu AutoBalance, das vor dem Verschieben von Daten einen vollständigen Tree Walk durchführt, werden die Daten von AutoBalanceLin sofort neu verteilt.)
# isi job start autobalancelin -p 1 --policy medium
Beachten Sie fast sofort, dass die Daten zwischen den Node-Pools verschoben werden und der volle Node-Pool Speicherplatz frei werden sollte.
Hinweis: Für diesen Schritt muss AutoBalanceLin nicht bis zum Abschluss ausgeführt werden. Überwachen Sie den AutoBalanceLin-Job, bis das Ziel der Bereinigung des gesamten Node-Pools erreicht ist, und brechen Sie dann den Job ab. Sie können den Job beispielsweise abbrechen, sobald der volle Node-Pool zu 85 % ausgelastet ist.
Anmerkung: Überwachen Sie die Clusterauslastung und vergewissern Sie sich, dass andere Jobs abgebrochen oder angehalten werden, wenn der Speicherplatz beeinträchtigt wird.
Überwachen Sie den Speicherplatz etwa stündlich weiter, bis der Speicherplatz ausreichend ist, indem Sie den folgenden Befehl ausführen:
# isi stat -p -v
Hinweis: Auch hier ist es nicht ratsam, AutoBalanceLin bis zum Abschluss laufen zu lassen. Ab einem bestimmten Punkt verschiebt der Job möglicherweise Daten in eine neue Richtung und führt zu unerwünschten Ergebnissen. Beispielsweise wird die Datenverschiebung umgekehrt, was möglicherweise dazu führt, dass der andere Node-Pool nahezu vollständig ausgelastet ist, wenn sich der vorherige Pool leert. Führen Sie AutobalanceLIN nur für ein paar Stunden aus, oder bis der Speicherplatz bereinigt ist, und brechen Sie den Vorgang ab, sobald das Ziel erreicht ist.
Sobald der Cluster eine Entlastung des Speicherplatzes im vollen Node-Pool erreicht hat, brechen Sie den AutoBalanceLin-Job ab:
# isi job cancel autobalancelin
Hinweis: Um optimale Ergebnisse zu erzielen, sollten die Schutzlevel zwischen den Node-Pools gleichwertig sein.
Additional Information
Ergebnisse der
Labortests Zwei Node-Pools, gleiche Schutzlevel
Das war vor:
Node Pool Name: x410_archive Protection: +2d:1n Pool Storage: HDD SSD Storage Size: 85.2T (94.6T Raw) 2.2T (2.2T Raw) VHS Size: 9.4T Used: 29.9T (35%) 35.2G (2%) Avail: 55.3T (65%) 2.1T (98%) Throughput (bps) HDD Storage SSD Storage Name Health| In Out Total| Used / Size |Used / Size -------------------+-----+-----+-----+-----+-----------------+----------------- 5|10.5.80.190 | OK |881.6| 0|881.6|10.0T/31.5T( 32%)|11.7G/ 738G( 2%) 6|10.5.80.191 |-A-- | 0| 0| 0|10.0T/31.5T( 32%)|11.7G/ 738G( 2%) 7|10.5.80.192 | OK | 0| 0| 0|10.0T/31.5T( 32%)|11.7G/ 738G( 2%) -------------------+-----+-----+-----+-----+-----------------+----------------- x410_archive | OK |110.2| 0|110.2|29.9T/85.2T( 35%)|35.2G/ 2.2T( 2%) Node Pool Name: x410_35tb_800gb-ssd_64gbProtection: +2d:1n Pool Storage: HDD SSD Storage Size: 112.8T (125.3T Raw) 2.9T (2.9T Raw) VHS Size: 12.5T Used: 5.6T (5%) 7.9G (< 1%) Avail: 107.2T (95%) 2.9T (> 99%) Throughput (bps) HDD Storage SSD Storage Name Health| In Out Total| Used / Size |Used / Size -------------------+-----+-----+-----+-----+-----------------+----------------- 1|10.5.80.186 | OK | 2.9M|82.8M|85.6M| 1.4T/31.5T( 4%)| 2.0G/ 738G(< 1%) 2|10.5.80.187 |-A-- | 104k|38.8k| 143k| 1.4T/30.6T( 5%)| 1.9G/ 738G(< 1%) 3|10.5.80.188 | OK |881.6| 0|881.6| 1.4T/31.5T( 4%)| 2.0G/ 738G(< 1%) 4|10.5.80.189 | OK | 0|25.8k|25.8k| 1.4T/31.5T( 4%)| 2.0G/ 738G(< 1%) -------------------+-----+-----+-----+-----+-----------------+----------------- x410_35tb_800gb-ssd|-M---| 371k|10.4M|10.7M| 5.6T/112.8T( 5%)| 7.9G/ 2.9T(< 1%) _64gb | | | | | | X410-2# date Thu Jun 14 16:53:29 CDT 2018 one filepool policy set to default any:any X410-2# isi job start autobalancelin -p 1 --policy medium Started job [7159] in as little as 30 minutes you will see data shift between the two pools, i.e. our first node pool, below, dropped from 32% full to 29% X410-2# date Thu Jun 14 17:24:20 CDT 2018 Node Pool Name: x410_archive Protection: +2d:1n Pool Storage: HDD SSD Storage Size: 85.2T (94.6T Raw) 2.2T (2.2T Raw) VHS Size: 9.4T Used: 27.7T (33%) 34.3G (2%) Avail: 57.5T (67%) 2.1T (98%) Throughput (bps) HDD Storage SSD Storage Name Health| In Out Total| Used / Size |Used / Size -------------------+-----+-----+-----+-----+-----------------+----------------- 5|10.5.80.190 | OK | 1.1k|25.8k|26.9k| 9.2T/31.5T( 29%)|11.4G/ 738G( 2%) 6|10.5.80.191 |-A-- | 1.1k| 1.2M| 1.2M| 9.2T/31.5T( 29%)|11.4G/ 738G( 2%) 7|10.5.80.192 | OK |28.6k| 5.2k|33.7k| 9.2T/31.5T( 29%)|11.4G/ 738G( 2%) -------------------+-----+-----+-----+-----+-----------------+----------------- x410_archive | OK | 3.8k| 152k| 156k|27.7T/85.2T( 33%)|34.3G/ 2.2T( 2%) Node Pool Name: x410_35tb_800gb-ssd_64gbProtection: +2d:1n Pool Storage: HDD SSD Storage Size: 112.8T (125.3T Raw) 2.9T (2.9T Raw) VHS Size: 12.5T Used: 7.6T (7%) 8.8G (< 1%) Avail: 105.2T (93%) 2.9T (> 99%) Throughput (bps) HDD Storage SSD Storage Name Health| In Out Total| Used / Size |Used / Size -------------------+-----+-----+-----+-----+-----------------+----------------- 1|10.5.80.186 | OK |37.9k| 279k| 316k| 1.9T/31.5T( 6%)| 2.2G/ 738G(< 1%) 2|10.5.80.187 |-A-- | 1.4M|34.8M|36.2M| 1.9T/30.6T( 6%)| 2.2G/ 738G(< 1%) 3|10.5.80.188 | OK | 130k|30.9k| 161k| 1.9T/31.5T( 6%)| 2.2G/ 738G(< 1%) 4|10.5.80.189 | OK | 0| 0| 0| 1.9T/31.5T( 6%)| 2.2G/ 738G(< 1%) -------------------+-----+-----+-----+-----+-----------------+----------------- x410_35tb_800gb-ssd|-M---| 198k| 4.4M| 4.6M| 7.6T/112.8T( 7%)| 8.8G/ 2.9T(< 1%) _64gb | | | | | |
Setzen Sie die Überwachung etwa stündlich fort, bis der Speicherplatz ausreichend ist.
Hinweis: Lassen Sie AutoBalanceLin nicht bis zum Abschluss ausführen. Der Job verschiebt Daten in die entgegengesetzte Richtung, was zu unerwünschten Ergebnissen führen kann. Der belegte Speicherplatz kann umgekehrt werden, was möglicherweise wieder zu einem nahezu vollen Node-Pool führt. Führen Sie den Job nur wenige Stunden lang aus.
Eine Stunde:
X410-2# date Thu Jun 14 17:54:30 CDT 2018 Node Pool Name: x410_archive Protection: +2d:1n Pool Storage: HDD SSD Storage Size: 85.2T (94.6T Raw) 2.2T (2.2T Raw) VHS Size: 9.4T Used: 25.2T (30%) 33.9G (2%) Avail: 60.0T (70%) 2.1T (98%) Throughput (bps) HDD Storage SSD Storage Name Health| In Out Total| Used / Size |Used / Size -------------------+-----+-----+-----+-----+-----------------+----------------- 5|10.5.80.190 | OK |881.6|20.6k|21.5k| 8.4T/31.5T( 27%)|11.3G/ 738G( 2%) 6|10.5.80.191 |-A-- | 0| 0| 0| 8.4T/31.5T( 27%)|11.3G/ 738G( 2%) 7|10.5.80.192 | OK | 2.2k| 216k| 218k| 8.4T/31.5T( 27%)|11.3G/ 738G( 2%) -------------------+-----+-----+-----+-----+-----------------+----------------- x410_archive | OK |385.7|29.5k|29.9k|25.2T/85.2T( 30%)|33.9G/ 2.2T( 2%) X410-2# date Thu Jun 14 18:54:43 CDT 2018 Node Pool Name: x410_archive Protection: +2d:1n Pool Storage: HDD SSD Storage Size: 85.2T (94.6T Raw) 2.2T (2.2T Raw) VHS Size: 9.4T Used: 21.6T (25%) 26.8G (1%) Avail: 63.6T (75%) 2.1T (99%) Throughput (bps) HDD Storage SSD Storage Name Health| In Out Total| Used / Size |Used / Size -------------------+-----+-----+-----+-----+-----------------+----------------- 5|10.5.80.190 | OK |22.9k| 1.4M| 1.5M| 7.2T/31.5T( 23%)| 8.9G/ 738G( 1%) 6|10.5.80.191 |-A-- |881.6| 231k| 232k| 7.2T/31.5T( 23%)| 8.9G/ 738G( 1%) 7|10.5.80.192 | OK | 0| 0| 0| 7.2T/31.5T( 23%)| 8.9G/ 738G( 1%) -------------------+-----+-----+-----+-----+-----------------+----------------- x410_archive | OK | 3.0k| 210k| 213k|21.6T/85.2T( 25%)|26.8G/ 2.2T( 1%)
Der Platz wird ausreichend aufgeräumt. Der AutoBalanceLIn-Job kann abgebrochen werden, da die gewünschten Ergebnisse erzielt wurden.