Le système d’exploitation Data Domain Operating System ne prend pas en charge le rééquilibrage proactif des données sur l’ensemble du stockage après l’extension de la capacité du système de fichiers Data Domain File System.

Comme pour de nombreuses baies de stockage, la capacité de la plupart des modèles de Data Domain Restorer (DDR) peut être augmentée en ajoutant des tiroirs de boîtier de stockage externes (ES30, DS60) au système, puis en étendant le système de fichiers Data Domain (DDFS) sur ces tiroirs de boîtier. Lors de cette opération :

• Les nouveaux tiroirs de boîtier sont attachés physiquement (câblés et mis sous tension).
• Le système d’exploitation Data Domain Operating System (DDOS) effectue une nouvelle analyse du stockage afin d’identifier la présence éventuelle de nouveaux tiroirs de boîtier.
• Ces nouveaux tiroirs de boîtier sont ensuite ajoutés à un niveau de stockage au sein du DDR (le niveau actif ou une unité d’archivage spécifique).
• Ce niveau peut ensuite être étendu en ligne sans qu’il soit nécessaire d’interrompre le DDFS.
• Toutes les nouvelles données écrites sur ce niveau de stockage sont écrites sur les tiroirs existants et nouveaux.
• Toutefois, les données stockées dans les tiroirs existants ne sont pas rééquilibrés sur les nouveaux tiroirs de boîtier.

Pour expliquer plus en détail :

• Dans DDOS, l’unité de stockage de données est un « conteneur » de 4,5 Mo
• À mesure de leur création, les conteneurs de 4,5 Mo sont écrits en permutation circulaire sur tous les tiroirs de boîtier dans l’unité d’archivage du niveau correspondant.
• Lors de l’ajout de tiroirs de boîtier supplémentaires à une unité d’archivage du niveau, DDFS commence à écrire de nouveaux conteneurs de 4,5 Mo sur ces boîtiers, en plus des boîtiers existants (les nouveaux boîtiers sont inclus lorsque le conteneur en permutation circulaire écrit).
• Toutefois, DDOS ne fait aucune tentative spécifique (ou ne propose pas de fonctionnalité spécifique) pour migrer les conteneurs existants dans le niveau depuis les boîtiers de tiroir existants vers les nouveaux.

Cela signifie que l’ajout de boîtiers de tiroir peut « déséquilibrer » les données sur le stockage attaché. Par exemple :

• Initialement, un DDR dispose d’un seul boîtier dans son niveau actif, qui est plein à 90 %.
• Un boîtier supplémentaire est ajouté au niveau actif et le DDFS est étendu à ce nouveau boîtier.
• Les écritures des conteneurs de 4,5 Mo nouvellement créés sont désormais en permutation circulaire entre les nouveaux boîtiers et ceux existants.
• Le boîtier existant manque ainsi d’espace libre, tandis que le boîtier nouvellement ajouté est presque vide.

Dans ce scénario, de nombreuses baies de stockage permettent à un administrateur de rééquilibrer les données entre les boîtiers attachés et de migrer proactivement certaines données des boîtiers existants vers les boîtiers nouvellement ajoutés, afin de s’assurer que la capacité utilisée de tous les boîtiers est approximativement égale. Notez toutefois que le DDOS n’offre PAS cette fonctionnalité et, en raison de la conception de DDFS, il n’est pas nécessaire, car le rééquilibrage des données s’effectue naturellement au fil du temps.

Le rééquilibrage des données s’effectue par deux opérations :

• nettoyage de la mémoire ;
• réparation de localité

Chacune de ces opérations et la façon dont elles entraînent un rééquilibrage automatique des données sont abordées plus en détail ci-dessous.

Nettoyage de la mémoire

Le nettoyage de la mémoire est une activité planifiée qui s’exécute régulièrement sur un DDR (par défaut, une fois par semaine sur le niveau actif et, en supposant que la récupération d’espace soit activée, lorsque cela est nécessaire sur les unités d’archivage). Lorsqu’il s’exécute, il :

• identifie quelles sont les données physiques « actives » au sein de l’unité d’archivage du niveau (c’est-à-dire utilisées par un ou plusieurs fichiers dans le système de fichiers ou les objets tels que des snapshots) ou « inactives » (c’est-à-dire non référencées par un objet et donc superflues pour le système) ;
• détermine les conteneurs de 4,5 Mo détenant la majorité des données « inactives » au sein de l’unité d’archivage du niveau ;
• lit ces conteneurs de 4,5 Mo et extrait toutes les données « actives » qu’ils contiennent. Elles sont ensuite « copiées » vers les conteneurs de 4,5 Mo nouvellement créés, qui sont écrits sur tous les tiroirs de l’unité d’archivage du niveau ;
• supprime les anciens conteneurs de 4,5 Mo, ce qui permet d’éliminer les données inactives contenues dans ces conteneurs et de libérer de l’espace sous-jacent sur le disque pour une réutilisation ultérieure.

Lorsque l’opération de nettoyage de la mémoire s’exécute sur un système où les données sont déséquilibrées, la plupart des données anciennes (et donc la plupart des données inactives) devraient être sur les boîtiers de tiroir plus anciens de l’unité d’archivage du niveau. Par conséquent, la plupart des conteneurs qui sont lus, copiés et supprimés, se trouvent sur les boîtiers de tiroir plus anciens. Toutefois, les conteneurs nouvellement créés sont écrits en permutation circulaire entre tous les tiroirs du niveau. Ainsi, la majeure partie de l’espace libéré par l’opération de nettoyage de la mémoire se trouve sur les tiroirs plus anciens, tandis que l’espace nouvellement utilisé est réparti sur tous les tiroirs.

Voici un exemple simple :

• Le niveau actif d’un DDR contient deux tiroirs : le premier tiroir contient 10 000 conteneurs de 4,5 Mo, tandis que le second tiroir contient 100 conteneurs de 4,5 Mo (pour chaque conteneur du second tiroir, il y a 100 conteneurs sur le premier tiroir).
• L’opération de nettoyage de la mémoire s’exécute et copie des données de 5 000 conteneurs sur le premier tiroir.
• Les données actives au sein de ces 5 000 conteneurs entraînent la création de 1 000 nouveaux conteneurs de 4,5 Mo
• Ces 1 000 nouveaux conteneurs de 4,5 Mo sont écrits sur les deux tiroirs
• Une fois l’opération de nettoyage de la mémoire terminée, le premier tiroir détient 5 500 conteneurs de 4,5 Mo, tandis que le deuxième tiroir contient 600 conteneurs (pour un conteneur sur le deuxième tiroir, il y a environ neuf conteneurs sur le premier tiroir).
• En exécutant une fois cette opération de nettoyage de la mémoire, le déséquilibre des conteneurs entre le premier et le deuxième tiroir a été divisé par 10. Les prochaines opérations de nettoyage de la mémoire devraient continuer à corriger ce déséquilibre, contribuant à un rééquilibrage naturel des données entre les tiroirs au fil du temps.

Réparation de localité :

Lorsqu’un fichier est écrit sur un DDR, les opérations générales suivantes ont lieu :

• Le fichier est divisé en fragments logiques (appelés segments) de 4-12 Ko.
• Chaque segment est vérifié pour voir s’il existe déjà sur le disque au sein du niveau sur lequel le fichier est écrit.
• Si le segment existe déjà, il s’agit de données dupliquées et le segment dans le fichier nouvellement écrit est remplacé par un pointeur vers les données existantes sur le disque.
• Si le segment n’existe pas, il s’agit de données uniques, qui sont donc regroupées dans un nouveau conteneur de 4,5 Mo et écrites sur le disque.

Tous les fichiers intègrent ce concept de « localité », c’est-à-dire le niveau de séquentialité des segments de données référencés par ce fichier sur le disque du DDR. Évidemment, les fichiers avec des taux de déduplication élevés (qui contiennent une grande quantité de données dupliquées) ont plus de chance d’avoir une localité moins bonne qu’un fichier unique, car lorsqu’ils sont ingérés, leurs données sont remplacées par des pointeurs vers des données existantes qui peuvent être dispersées sur des conteneurs/disques au sein de l’unité d’archivage du niveau correspondant.

Obtenir de bonnes performances de lecture des données sur un DDR nécessite que le fichier ait une bonne « localité » (ses données sont relativement séquentielles sur le disque), afin que les algorithmes de lecture anticipée DDFS puissent fonctionner de manière optimale. Notez également que DDFS suppose également que le fichier le plus susceptible d’être lu (pour la restauration ou la réplication) est la dernière copie d’une sauvegarde donnée. En conséquence, pour certains types de données (comme la technologie synthétique virtuelle), un processus appelé « réparation de localité » est effectué afin d’optimiser la localité des nouvelles données écrites dans les fichiers. Lors de son exécution, l’opération de réparation de localité :

• examine les données référencées par le fichier en recherchant les sections où les données ne sont pas séquentielles sur le disque (c’est-à-dire qu’elles présentent une localité médiocre) ;
• lit ces données non séquentielles provenant du disque et les écrit à nouveau de manière séquentielle (sous forme de données dupliquées) dans de nouveaux conteneurs de 4,5 Mo.

Ensuite, l’ancienne copie (non séquentielle) des données dupliquées devrait être identifiée comme « inactive » lors de la prochaine exécution de l’opération de nettoyage de la mémoire et supprimée du système. Par conséquent :

• Sur les systèmes où il existe un déséquilibre des données, la plupart des données anciennes non séquentielles devraient se trouver sur les tiroirs de boîtier anciens et plus remplis.
• Lors de la réécriture de façon séquentielle de ces données en tant que données dupliquées, elles sont placées dans de nouveaux conteneurs de 4,5 Mo qui font l’objet d’une permutation circulaire sur tous les boîtiers du niveau correspondant.
• Par conséquent, la majorité des données « inactives » (données anciennes dupliquées) créées par l’opération de réparation de localité se trouvent sur les tiroirs anciens et plus remplis.
• Lors de l’exécution de l’opération de nettoyage de la mémoire, la majorité des données « inactives » se trouvent sur les tiroirs anciens plus remplis et sont supprimées (libérant de l’espace sur ces tiroirs), comme décrit ci-dessus.

Conclusion

L’utilisation normale de la fonctionnalité de réparation de localité et de nettoyage de la mémoire peut permettre à un DDR de rééquilibrer de manière transparente les données entre les tiroirs au fil du temps. Cela se produit sans intervention supplémentaire de la part des administrateurs, ce qui signifie qu’il n’est pas nécessaire de recourir à une fonctionnalité dédiée aux opérations de rééquilibrage des données, comme c’est parfois le cas sur d’autres baies de stockage. Pour accélérer le rééquilibrage, il est donc nécessaire :

• d’augmenter le taux de « perte » des données sur le DDR ;
• d’augmenter la quantité de données réparées localement sur le DDR.

Pour discuter plus en détail de l’une de ces options, contactez votre prestataire de support sous contrat en indiquant les détails de cet article.