PowerScale : Utilisation d’AutoBalanceLin pour déplacer rapidement les données d’un pool de nœuds plein
Summary: Cet article explique comment utiliser la tâche AutoBalanceLin pour libérer rapidement de l’espace si un pool à nœud unique est saturé ou presque à 100 % de sa capacité. Cette procédure ne doit être utilisée que si toutes les autres méthodes de libération d’espace disque sur un pool de nœuds ont été utilisées. ...
Instructions
Remarque : La procédure suivante nécessite la suppression des règles de pool de fichiers existantes et l’agrégation par bandes des données sur tous les nœuds , quel que soit le workflow auquel les données appartiennent.
Sans les règles de pool de fichiers, aucune gestion des données n’a lieu entre les pools ou les niveaux.
Assurez-vous de bien comprendre l’impact de cette procédure, car elle peut entraîner une dégradation des performances.
N’effectuez cette opération qu’en dernier recours, une fois que toutes les autres options de résolution des problèmes de capacité ont été essayées.
Il est communément admis qu’AutoBalance et AutoBalanceLin équilibrent uniquement les données au sein des pools de nœuds et non entre les pools de nœuds. En outre, on estime que seuls smartpools/smartpoolstree peuvent déplacer des données entre deux pools de nœuds.
Les tests sur OneFS 8.0 et les versions ultérieures prouvent que ce n’est pas tout à fait vrai. Si le cluster ne dispose que de la règle de pool de fichiers par défaut « anywhere :anywhere », AutoBalanceLin et AutoBalance déplacent les données sur plusieurs pools de nœuds.
Cela ne doit être utilisé qu’à titre de solution de contournement d’urgence pour les clusters qui disposent d’un pool de nœuds plein. Ce processus déplace rapidement les données hors du pool de nœuds plein.
Question: Quand voudrait-on utiliser la procédure suivante ?
Répondre: Cette procédure est utilisée lorsque les conditions suivantes sont réunies :
a. Le cluster contient plusieurs pools de nœuds, et un ou plusieurs pools de nœuds sont pleins
à 100 %.b. Il est nécessaire de libérer immédiatement de l’espace disque sur un pool de nœuds plein.
c. L’organisation exacte des données n’est pas une préoccupation immédiate.
Escalier:
1) Prenez note, puis supprimez toutes les règles de pool de fichiers existantes, à l’exception de la règle de pool de fichiers « par défaut » « any :any » qui est fournie avec le cluster.
Avant de passer à cette étape :
a) Enregistrez la configuration actuelle de la règle de pool de fichiers avant de supprimer les règles. Si le temps le permet, il est recommandé de procéder à une collecte complète des logs.
b) Par défaut, les clusters Isilon sont configurés avec la règle de pool de fichiers par défaut définie sur l’écriture des données dans « anywhere :anywhere ». Vérifiez que la règle de pool de fichiers par défaut est rétablie sur ces paramètres par défaut avant de continuer.
Example: Default File Pool Policy. Observe that the Storage Targets are set to 'anywhere'.
# isi filepool default-policy view
Set Requested Protection: default
Data Access Pattern: concurrency
Enable Coalescer: Yes
Enable Packing: No
Data Storage Target: anywhere
Data SSD Strategy: metadata
Snapshot Storage Target: anywhere
Snapshot SSD Strategy: metadata
Cloud Pool: -
Cloud Compression Enabled: -
Cloud Encryption Enabled: -
Cloud Data Retention: -
Cloud Incremental Backup Retention: -
Cloud Full Backup Retention: -
Cloud Accessibility: -
Cloud Read Ahead: -
Cloud Cache Expiration: -
Cloud Writeback Frequency: -
Cloud Archive Snapshot Files: -
ID: -
2) Exécutez une tâche SmartPools pour appliquer de nouveaux marquages de répertoire :
# isi job start smartpools -p 1 --policy medium
Remarque : Attendez-vous à ce que la tâche SmartPools s’exécute plus rapidement que d’habitude si seule la règle de pools de fichiers par défaut « anywhere :anywhere » est en place.
3) Exécutez une tâche AutoBalanceLin pendant quelques heures et surveillez l’espace. (Remarque : contrairement à AutoBalance, qui effectue une arborescence complète avant de déplacer des données, AutoBalanceLin répartit les données immédiatement)
# isi job start autobalancelin -p 1 --policy medium
Observez presque immédiatement que les données se déplacent entre les pools de nœuds et que le pool de nœuds complet doit se libérer dans l’espace disque.
Remarque : Pour cette étape, il n’est pas nécessaire d’exécuter AutoBalanceLin jusqu’à la fin. Surveillez la tâche AutoBalanceLin jusqu’à ce que l’objectif de nettoyage de l’ensemble du pool de nœuds soit atteint, puis annulez la tâche. Par exemple, vous pouvez annuler la tâche une fois que le pool de nœuds saturé atteint 85 % de sa capacité.
Note: Surveillez l’utilisation du cluster et vérifiez que d’autres tâches sont annulées ou interrompues si l’espace est affecté.
Continuez à surveiller l’espace toutes les heures environ jusqu’à ce que l’espace soit à un niveau suffisant à l’aide de la commande suivante :
# isi stat -p -v
Remarque : Encore une fois, il n’est pas conseillé de laisser AutoBalanceLin s’exécuter jusqu’à la fin. À un certain stade, la tâche peut déplacer les données dans une nouvelle direction et commencer à produire des résultats indésirables. Par exemple, elle inverse le déplacement des données, ce qui peut conduire à ce que l’autre pool de nœuds approche de sa pleine capacité lorsque le pool précédent se vide. N’exécutez AutobalanceLIN que pendant quelques heures, ou jusqu’à ce que l’espace soit nettoyé, puis annulez une fois l’objectif atteint.
Une fois que le cluster a atteint la réduction de l’espace sur le pool de nœuds plein, annulez la tâche AutoBalanceLin :
# isi job cancel autobalancelin
Remarque : pour des résultats optimaux, les niveaux de protection entre les pools de nœuds doivent être de valeur égale.
Additional Information
Résultats des tests
en laboratoire Deux pools de nœuds, niveaux
de protection égaux C’est avant :
Node Pool Name: x410_archive Protection: +2d:1n Pool Storage: HDD SSD Storage Size: 85.2T (94.6T Raw) 2.2T (2.2T Raw) VHS Size: 9.4T Used: 29.9T (35%) 35.2G (2%) Avail: 55.3T (65%) 2.1T (98%) Throughput (bps) HDD Storage SSD Storage Name Health| In Out Total| Used / Size |Used / Size -------------------+-----+-----+-----+-----+-----------------+----------------- 5|10.5.80.190 | OK |881.6| 0|881.6|10.0T/31.5T( 32%)|11.7G/ 738G( 2%) 6|10.5.80.191 |-A-- | 0| 0| 0|10.0T/31.5T( 32%)|11.7G/ 738G( 2%) 7|10.5.80.192 | OK | 0| 0| 0|10.0T/31.5T( 32%)|11.7G/ 738G( 2%) -------------------+-----+-----+-----+-----+-----------------+----------------- x410_archive | OK |110.2| 0|110.2|29.9T/85.2T( 35%)|35.2G/ 2.2T( 2%) Node Pool Name: x410_35tb_800gb-ssd_64gbProtection: +2d:1n Pool Storage: HDD SSD Storage Size: 112.8T (125.3T Raw) 2.9T (2.9T Raw) VHS Size: 12.5T Used: 5.6T (5%) 7.9G (< 1%) Avail: 107.2T (95%) 2.9T (> 99%) Throughput (bps) HDD Storage SSD Storage Name Health| In Out Total| Used / Size |Used / Size -------------------+-----+-----+-----+-----+-----------------+----------------- 1|10.5.80.186 | OK | 2.9M|82.8M|85.6M| 1.4T/31.5T( 4%)| 2.0G/ 738G(< 1%) 2|10.5.80.187 |-A-- | 104k|38.8k| 143k| 1.4T/30.6T( 5%)| 1.9G/ 738G(< 1%) 3|10.5.80.188 | OK |881.6| 0|881.6| 1.4T/31.5T( 4%)| 2.0G/ 738G(< 1%) 4|10.5.80.189 | OK | 0|25.8k|25.8k| 1.4T/31.5T( 4%)| 2.0G/ 738G(< 1%) -------------------+-----+-----+-----+-----+-----------------+----------------- x410_35tb_800gb-ssd|-M---| 371k|10.4M|10.7M| 5.6T/112.8T( 5%)| 7.9G/ 2.9T(< 1%) _64gb | | | | | | X410-2# date Thu Jun 14 16:53:29 CDT 2018 one filepool policy set to default any:any X410-2# isi job start autobalancelin -p 1 --policy medium Started job [7159] in as little as 30 minutes you will see data shift between the two pools, i.e. our first node pool, below, dropped from 32% full to 29% X410-2# date Thu Jun 14 17:24:20 CDT 2018 Node Pool Name: x410_archive Protection: +2d:1n Pool Storage: HDD SSD Storage Size: 85.2T (94.6T Raw) 2.2T (2.2T Raw) VHS Size: 9.4T Used: 27.7T (33%) 34.3G (2%) Avail: 57.5T (67%) 2.1T (98%) Throughput (bps) HDD Storage SSD Storage Name Health| In Out Total| Used / Size |Used / Size -------------------+-----+-----+-----+-----+-----------------+----------------- 5|10.5.80.190 | OK | 1.1k|25.8k|26.9k| 9.2T/31.5T( 29%)|11.4G/ 738G( 2%) 6|10.5.80.191 |-A-- | 1.1k| 1.2M| 1.2M| 9.2T/31.5T( 29%)|11.4G/ 738G( 2%) 7|10.5.80.192 | OK |28.6k| 5.2k|33.7k| 9.2T/31.5T( 29%)|11.4G/ 738G( 2%) -------------------+-----+-----+-----+-----+-----------------+----------------- x410_archive | OK | 3.8k| 152k| 156k|27.7T/85.2T( 33%)|34.3G/ 2.2T( 2%) Node Pool Name: x410_35tb_800gb-ssd_64gbProtection: +2d:1n Pool Storage: HDD SSD Storage Size: 112.8T (125.3T Raw) 2.9T (2.9T Raw) VHS Size: 12.5T Used: 7.6T (7%) 8.8G (< 1%) Avail: 105.2T (93%) 2.9T (> 99%) Throughput (bps) HDD Storage SSD Storage Name Health| In Out Total| Used / Size |Used / Size -------------------+-----+-----+-----+-----+-----------------+----------------- 1|10.5.80.186 | OK |37.9k| 279k| 316k| 1.9T/31.5T( 6%)| 2.2G/ 738G(< 1%) 2|10.5.80.187 |-A-- | 1.4M|34.8M|36.2M| 1.9T/30.6T( 6%)| 2.2G/ 738G(< 1%) 3|10.5.80.188 | OK | 130k|30.9k| 161k| 1.9T/31.5T( 6%)| 2.2G/ 738G(< 1%) 4|10.5.80.189 | OK | 0| 0| 0| 1.9T/31.5T( 6%)| 2.2G/ 738G(< 1%) -------------------+-----+-----+-----+-----+-----------------+----------------- x410_35tb_800gb-ssd|-M---| 198k| 4.4M| 4.6M| 7.6T/112.8T( 7%)| 8.8G/ 2.9T(< 1%) _64gb | | | | | |
Continuez à surveiller toutes les heures environ jusqu’à ce que l’espace disque soit à un niveau suffisant.
Remarque : Ne laissez pas AutoBalanceLin s’exécuter jusqu’à la fin. La tâche déplace les données dans la direction opposée, ce qui peut commencer à produire des résultats indésirables. L’espace disque consommé peut s’inverser, ce qui peut conduire à nouveau à un pool de nœuds presque plein. N’exécutez la tâche que pendant quelques heures.
Point d’une heure :
X410-2# date Thu Jun 14 17:54:30 CDT 2018 Node Pool Name: x410_archive Protection: +2d:1n Pool Storage: HDD SSD Storage Size: 85.2T (94.6T Raw) 2.2T (2.2T Raw) VHS Size: 9.4T Used: 25.2T (30%) 33.9G (2%) Avail: 60.0T (70%) 2.1T (98%) Throughput (bps) HDD Storage SSD Storage Name Health| In Out Total| Used / Size |Used / Size -------------------+-----+-----+-----+-----+-----------------+----------------- 5|10.5.80.190 | OK |881.6|20.6k|21.5k| 8.4T/31.5T( 27%)|11.3G/ 738G( 2%) 6|10.5.80.191 |-A-- | 0| 0| 0| 8.4T/31.5T( 27%)|11.3G/ 738G( 2%) 7|10.5.80.192 | OK | 2.2k| 216k| 218k| 8.4T/31.5T( 27%)|11.3G/ 738G( 2%) -------------------+-----+-----+-----+-----+-----------------+----------------- x410_archive | OK |385.7|29.5k|29.9k|25.2T/85.2T( 30%)|33.9G/ 2.2T( 2%) X410-2# date Thu Jun 14 18:54:43 CDT 2018 Node Pool Name: x410_archive Protection: +2d:1n Pool Storage: HDD SSD Storage Size: 85.2T (94.6T Raw) 2.2T (2.2T Raw) VHS Size: 9.4T Used: 21.6T (25%) 26.8G (1%) Avail: 63.6T (75%) 2.1T (99%) Throughput (bps) HDD Storage SSD Storage Name Health| In Out Total| Used / Size |Used / Size -------------------+-----+-----+-----+-----+-----------------+----------------- 5|10.5.80.190 | OK |22.9k| 1.4M| 1.5M| 7.2T/31.5T( 23%)| 8.9G/ 738G( 1%) 6|10.5.80.191 |-A-- |881.6| 231k| 232k| 7.2T/31.5T( 23%)| 8.9G/ 738G( 1%) 7|10.5.80.192 | OK | 0| 0| 0| 7.2T/31.5T( 23%)| 8.9G/ 738G( 1%) -------------------+-----+-----+-----+-----+-----------------+----------------- x410_archive | OK | 3.0k| 210k| 213k|21.6T/85.2T( 25%)|26.8G/ 2.2T( 1%)
L’espace est suffisamment nettoyé. La tâche AutoBalanceLIn peut être annulée, car les résultats souhaités ont été atteints.