OneFS: Grundlegendes zur Datenkomprimierung in ISILON

Mit Isilon F810-Nodes können Sie eine Inline-Datenkomprimierung in Ihrem Isilon-Cluster durchführen. OneFS unterstützt die Inline-Datenkomprimierung nur auf Isilon F810-Node-Pools. F810-Nodes enthalten Netzwerkschnittstellenkarten (NICs), die die vom Node empfangenen Daten komprimieren und dekomprimieren. Die Hardwarekomprimierung und -dekomprimierung erfolgt parallel über die 40-Gbit-Ethernetschnittstellen von F810-Nodes, während Clients Daten im Cluster lesen und schreiben. Mit diesem verteilten Schnittstellenmodell kann die Komprimierung linear über den All-Flash-F810-Node-Pool skaliert werden, wenn ein Isilon-Cluster wächst und zusätzliche F810-Nodes hinzugefügt werden.

Sie können die Inline-Datenkomprimierung auf einem Cluster aktivieren, das Folgendes aufweist:

• F810-Node-Pool
• 40-Gbit-Ethernet-Back-end-Netzwerk
• OneFS 8.1.3 oder OneFS 8.2.1 oder höher

Gemischte
ClusterIn einem gemischten Cluster, das andere Node-Typen als den F810 enthält, werden Dateien nur in komprimierter Form auf F810-Node-Pools gespeichert. Daten, die in Storage-Pools anderer Node-Typen geschrieben oder darauf verteilt werden, werden dekomprimiert, wenn sie zwischen Pools verschoben werden.

Zu den Vorteilen der neuen Komprimierungsfunktion von Isilon zählen die folgenden:

• Einfachheit: Keine Konfiguration, standardmäßige kontinuierliche Komprimierung eliminiert den Managementaufwand.
• Effizienz: Durch die Inline-Hardwareauslagerung minimiert Isilon die Auswirkungen auf die Performance und maximiert gleichzeitig die Storage-Effizienz.
• Transparenz: Die Komprimierung ist nativ in das OneFS-Dateisystem integriert und damit für Anwendungen und Workflows transparent.
• Harmonie: Es arbeitet mit anderen Isilon-Tools für Storage-Effizienz zusammen.

Die OneFS-Inline-Komprimierung verwendet einen verlustfreien Algorithmus, der die physische Größe der Daten reduziert, wenn sie auf die Festplatte geschrieben werden. Die komprimierten Daten werden beim Zurücklesen dekomprimiert. Die Komprimierung ist transparent für Anwendungen, die auf dem Dateisystem basieren, einschließlich protokollbasierter Services wie NFS (Network File System) und SMB (Server Message Block).

Der Hauptzweck der Isilon-Inline-Komprimierung besteht darin, die Speicheranforderungen für Daten zu reduzieren. Die Inline-Komprimierung hat in der Regel eine kleinere Storage-Stellfläche, einen geringeren Strom- und Kühlungsbedarf und eine Reduzierung der Gesamtspeicherkosten pro TB. Die Komprimierung trägt jedoch auch dazu bei, die Gesamtmenge der auf Speichergeräte geschriebenen Daten zu reduzieren. Dies ist vorteilhaft für Solid-State-Laufwerke (SSDs) und andere Medien mit begrenzten Überschreibungslimits, da die Verschleißraten der Laufwerke reduziert werden.

Was steckt also unter der Haube?

Die OneFS-Inline-Datenkomprimierung besteht aus fünf Hauptkomponenten:

1. Komprimierungsplattform
2. Komprimierungs-Engine
3. Komprimierungsblockzuordnung
4. Warn- und Reporting-Framework für Komprimierung
5. Komprimierungssteuerungspfad

In diesem Artikel konzentrieren wir uns auf die Plattform und die Komprimierungs-Engine.

Die Inline-Datenkomprimierung wird ausschließlich auf der neuen Isilon F810-All-Flash-Plattform unterstützt, bei der jeder Node einen Komprimierungsoffload-Adapter enthält. Dieser Adapter bietet Look-Aspect-Komprimierung, um bestimmte Aufgaben vom Netzwerkprozessor auszulagern. Das bedeutet, dass Komprimierung und Dekomprimierung transparent über ein dediziertes Field Programmable Gate Array (FPGA) mit minimaler Latenz durchgeführt werden, wodurch CPU- und Arbeitsspeicherressourcen reduziert werden.

Das neue F810-Gehäuse ist mit den folgenden Speicheroptionen verfügbar:

Zusätzlich zu den 40-Gbit-Ethernet-Schnittstellen mit zwei Ports enthält jeder Komprimierungsadapter einen FPGA-Chip, der für die Komprimierung und Dekomprimierung von Daten vorgesehen ist. Die beiden Ethernetports auf jeder Adapterkarte im Back-end-PCI-e-Steckplatz der Nodes werden für redundante Backend-Netzwerkverbindungen verwendet.

Die Hardwarekomprimierung und -dekomprimierung erfolgt parallel über die 40-GB-Ethernetschnittstellen der F810-Nodes, während Clients Daten im Cluster lesen und schreiben. Dieses verteilte Schnittstellenmodell ermöglicht die lineare Skalierung der Komprimierung über einen F810-Node-Pool, wenn ein Isilon-Cluster wächst und zusätzliche F810-Nodes hinzugefügt werden. OneFS-Versionen 8.1.3 und höher unterstützen 4 bis 144 F810-Nodes oder 36 Gehäuse pro Cluster. Die Best Practice lautet maximal 40 F810-Nodes pro Cluster.

Die F810-Nodes verwenden eine FPGA-basierte Hardwareauslagerungs-Engine auf dem Back-end-PCI-e-Netzwerkadapter, um die Komprimierung und Dekomprimierung von Daten in Echtzeit durchzuführen. Dies geschieht, wenn Dateien über eine verbundene Clientsitzung in einen Node im Cluster geschrieben und von diesem gelesen werden.

Zusätzlich zum FPGA verwendet die Hardwarekomprimierungs-Engine eine proprietäre Implementierung von DEFLATE. Dies bietet das höchste Komprimierungslevel bei minimalen bis gar keinen Performanceeinbußen für hochgradig komprimierbare Datasets.

Die Komprimierungs-Engine besteht aus drei Hauptkomponenten:

Da sie sich auf derselben Karte befinden, teilt die Komprimierungs-Engine die PCI-e-Bandbreite mit den Back-end-Ethernet-Schnittstellen des Node.

OneFS bietet auch eine Softwareimplementierung als Fallback für den Fall, dass die Komprimierungshardware ausfällt. In einem gemischten Cluster wird die Softwareimplementierung auf Nicht-F810-Nodes ohne Hardwarekomprimierung verwendet. Sowohl Hardware- als auch Softwarekomprimierungsimplementierungen sind DEFLATE-kompatibel.