OneFS: Inzicht in datacompressie in ISILON

Met Isilon F810-knooppunten kunt u inline datacompressie uitvoeren op uw Isilon cluster. OneFS ondersteunt alleen inline datacompressie op Isilon F810-knooppuntgroepen. F810-knooppunten bevatten netwerkinterfacekaarten (NIC's) waarmee data die door het knooppunt worden ontvangen, worden gecomprimeerd en gedecomprimeerd. Hardwarecompressie en -decompressie worden parallel uitgevoerd op de 40 Gb Ethernet-interfaces van F810-knooppunten terwijl clients data lezen en schrijven naar het cluster. Met dit gedistribueerde interfacemodel kan compressie lineair worden geschaald over de all-flash F810-knooppuntgroep naarmate een Isilon-cluster groeit en extra F810-knooppunten worden toegevoegd.

U kunt inline datacompressie inschakelen op een cluster dat het volgende heeft:

• F810 knooppuntgroep
• 40 Gb Ethernet backend-netwerk
• OneFS 8.1.3 of OneFS 8.2.1 of latere releases

Gemengde clusters
In een gemengd cluster met andere knooppunttypen dan de F810 worden bestanden alleen in gecomprimeerde vorm opgeslagen op F810-knooppuntgroepen. Data die worden geschreven of gelaagd naar storagepools van andere knooppunttypen, worden gedecomprimeerd wanneer ze tussen pools worden verplaatst.

Op een hoog niveau zijn de voordelen van de nieuwe compressiefunctionaliteit van Isilon onder meer:

• Eenvoud: Geen configuratie, standaard ingeschakelde continue compressie elimineert de beheerlast.
• Efficiëntie: Door gebruik te maken van inline hardware-offloading minimaliseert Isilon de impact op de prestaties en maximaliseert het de storage-efficiëntie.
• Doorzichtigheid: Compressie is standaard geïntegreerd in het OneFS-bestandssysteem, waardoor het transparant is voor applicaties en workflows.
• Harmonie: Het werkt samen met andere Isilon storage-efficiëntietools.

Inline compressie van OneFS maakt gebruik van een algoritme zonder verlies dat de fysieke grootte van data vermindert wanneer deze naar de schijf wordt geschreven. De gecomprimeerde gegevens worden gedecomprimeerd wanneer deze worden teruggelezen. Compressie is transparant voor applicaties die zich bovenop het bestandssysteem bevinden, inclusief op protocollen gebaseerde services zoals Network File System (NFS) en Server Message Block (SMB).

Het primaire doel van Isilon inline compressie is om de storagevereisten voor data te verminderen. Inline compressie heeft meestal een kleinere storagevoetafdruk, minder stroom- en koelingsvereisten en een verlaging van de totale storagekosten per TB. Compressie helpt echter ook om de totale hoeveelheid data die naar storageapparaten wordt geschreven te verminderen. Dit is handig voor SSD's (Solid State Drives) en andere media met eindige overschrijflimieten, omdat de schijfslijtage wordt verminderd.

Dus wat zit er onder de motorkap?

Inline datacompressie van OneFS bestaat uit vijf hoofdcomponenten:

1. Compressieplatform
2. Compressie-engine
3. Compressie Chunk-kaart
4. Framework voor compressiewaarschuwingen en -rapportage
5. Compressiecontrolepad

In dit artikel richten we ons op het platform en de compressie-engine.

Inline datacompressie wordt exclusief ondersteund op het nieuwe Isilon F810 all-flash-platform, waarin elk knooppunt een compressie-offloadadapter bevat. Deze adapter biedt look-aside compressie om bepaalde taken van de netwerkprocessor over te nemen. Dit betekent dat compressie en decompressie transparant worden uitgevoerd met behulp van een speciale Field Programmable Gate Array (FPGA) met minimale latentie, waardoor CPU- en geheugenbronnen worden verminderd.

Het nieuwe F810-chassis is verkrijgbaar met de volgende storage-opties:

Naast Ethernet-interfaces met twee poorten van 40 Gb bevat elke compressie-offloadadapter een FPGA-chip voor de compressie en decompressie van data. De twee ethernetpoorten op elke adapterkaart in het backend PCI-e-slot van de knooppunten worden gebruikt voor redundante backend-netwerkconnectiviteit.

Hardwarecompressie en -decompressie worden parallel uitgevoerd op de 40 GB Ethernet-interfaces van de F810-knooppunten terwijl clients data lezen en schrijven naar het cluster. Met dit gedistribueerde interfacemodel kan compressie lineair worden geschaald over een F810-knooppuntgroep naarmate een Isilon-cluster groeit en extra F810-knooppunten worden toegevoegd. OneFS versies 8.1.3 en hoger ondersteunen 4 tot 144 F810-knooppunten of 36 chassis per cluster. De aanbevolen best practice is maximaal 40 F810-knooppunten per cluster.

De F810-knooppunten gebruiken een FPGA-gebaseerde hardware-offload-engine op de back-end PCI-e-netwerkadapter om realtime compressie en decompressie van data uit te voeren. Dit gebeurt wanneer bestanden worden geschreven naar en gelezen vanaf een knooppunt in het cluster met behulp van een verbonden clientsessie.

Naast de FPGA maakt de hardwarecompressie-engine gebruik van een eigen implementatie van DEFLATE. Dit zorgt voor het hoogste compressieniveau, terwijl dit minimale tot geen prestatienadelen met zich meebrengt voor zeer comprimeerbare datasets.

De compressiemotor bestaat uit drie hoofdcomponenten:

Omdat ze zich op dezelfde kaart bevinden, deelt de compressie-engine PCI-e-bandbreedte met de backend Ethernet-interfaces van het knooppunt.

OneFS biedt ook een software-implementatie als fallback als de compressiehardware uitvalt. In een gemengd cluster wordt de software-implementatie gebruikt op niet-F810-knooppunten die geen hardwarecompressie hebben. Zowel hardware- als softwarecompressie-implementaties zijn compatibel met DEFLATE.