OneFS : Comprendre la compression des données dans ISILON

Les nœuds F810 Isilon vous permettent d’effectuer une compression des données inline sur votre cluster Isilon. OneFS prend en charge la compression des données inline sur les pools de nœuds Isilon F810 uniquement. Les nœuds F810 contiennent des cartes d’interface réseau (NIC) qui compressent et décompressent les données reçues par le nœud. La compression et la décompression matérielles sont effectuées en parallèle sur les interfaces Ethernet 40 Go des nœuds F810, tandis que les clients lisent et écrivent des données sur le cluster. Ce modèle d’interface distribuée permet à la compression d’évoluer de manière linéaire sur le pool de nœuds F810 All-Flash, à mesure qu’un cluster Isilon s’agrandit et que des nœuds F810 supplémentaires sont ajoutés.

Vous pouvez activer la compression des données inline sur un cluster présentant les caractéristiques suivantes :

• Pool de nœuds F810
• Réseau back-end Ethernet 40 Gbit
• OneFS 8.1.3 ou OneFS 8.2.1 ou versions supérieures

Clusters mixtes
Dans un cluster mixte contenant des types de nœuds autres que le F810, les fichiers sont uniquement stockés sous forme compressée sur des pools de nœuds F810. Les données écrites ou hiérarchisées sur des pools de stockage d’autres types de nœuds sont décompressées lorsqu’elles sont déplacées entre les pools.

D’une manière générale, les avantages de la nouvelle fonctionnalité de compression d’Isilon sont les suivants :

• Simplicité: Aucune configuration, la compression continue activée par défaut élimine la charge de gestion.
• Efficacité : En utilisant le déchargement de matériel à la volée, Isilon minimise tout impact sur les performances tout en optimisant l’efficacité du stockage.
• Transparence: La compression est intégrée de manière native au système de fichiers OneFS, ce qui le rend transparent pour les applications et les workflows.
• Harmonie: Il fonctionne de concert avec d’autres outils d’efficacité du stockage Isilon.

La compression à la volée OneFS utilise un algorithme sans perte qui réduit la taille physique des données lorsqu’elles sont écrites sur le disque. Les données compressées sont décompressées lors de leur lecture. La compression est transparente pour les applications qui se trouvent sur le système de fichiers, y compris les services basés sur des protocoles tels que NFS (Network File System) et SMB (Server Message Block).

L’objectif principal de la compression à la volée Isilon est de réduire les besoins en stockage des données. La compression à la volée présente généralement un encombrement de stockage réduit, des besoins en alimentation et en refroidissement réduits, ainsi qu’une réduction du coût global de stockage par To. Toutefois, la compression permet également de réduire la quantité totale de données écrites sur les périphériques de stockage. Cela est bénéfique pour les disques SSD (Solid State Drive) et autres supports ayant des limites d’écrasement finies, en réduisant les taux d’usure des disques.

Alors, qu’y a-t-il sous le capot ?

La compression des données à la volée OneFS comprend cinq composants principaux :

1. Plate-forme de compression
2. Moteur de compression
3. Mappage des fragments de compression
4. Framework d’alerte et de création de rapport de compression
5. Chemin de contrôle de la compression

Dans cet article, nous nous concentrons sur la plate-forme et le moteur de compression.

La compression des données inline est prise en charge exclusivement sur la nouvelle plate-forme All-Flash Isilon F810, dans laquelle chaque nœud inclut un adaptateur de déchargement de la compression. Cet adaptateur fournit une compression look-aside pour décharger certaines tâches du processeur réseau. Cela signifie que la compression et la décompression sont effectuées de manière transparente à l’aide d’un FPGA (Field Programmable Gate Array) dédié avec une latence minimale, ce qui réduit les ressources du processeur et de la mémoire.

Le nouveau boîtier F810 est disponible avec les options de stockage suivantes :

En plus des interfaces Ethernet 40 Gbit à deux ports, chaque adaptateur de déchargement de compression contient une puce FPGA dédiée à la compression et à la décompression des données. Les deux ports Ethernet de chaque carte adaptateur dans le logement PCI-e back-end des nœuds sont utilisés pour la connectivité réseau back-end redondante.

La compression et la décompression matérielles sont effectuées en parallèle sur les interfaces Ethernet 40 Go des nœuds F810, tandis que les clients lisent et écrivent des données sur le cluster. Ce modèle d’interface distribuée permet à la compression d’évoluer de manière linéaire sur un pool de nœuds F810 à mesure qu’un cluster Isilon s’agrandit et que des nœuds F810 supplémentaires sont ajoutés. OneFS versions 8.1.3 et supérieures prennent en charge de 4 à 144 nœuds F810 ou 36 châssis par cluster. La bonne pratique recommandée est un maximum de 40 nœuds F810 par cluster.

Les nœuds F810 utilisent un moteur de déchargement matériel basé sur FPGA sur la carte réseau PCIe back-end pour effectuer la compression et la décompression des données en temps réel. Cela se produit lorsque les fichiers sont écrits et lus à partir d’un nœud du cluster à l’aide d’une session client connectée.

En plus du FPGA, le moteur de compression matérielle utilise une implémentation propriétaire de DEFLATE. Cela permet d’obtenir le niveau de compression le plus élevé tout en n’entraînant que des pénalités de performances minimes, voire nulles, pour les jeux de données hautement compressibles.

Le moteur de compression se compose de trois composants principaux :

Puisqu’ils résident sur la même carte, le moteur de compression partage la bande passante PCI-e avec les interfaces Ethernet back-end du nœud.

OneFS fournit également une implémentation logicielle comme solution de secours en cas de défaillance matérielle de la compression. Dans un cluster mixte, l’implémentation logicielle est utilisée sur des nœuds autres que F810 qui ne disposent pas de la compression matérielle. Les implémentations de compression matérielle et logicielle sont compatibles avec DEFLATE.