OneFS: Forstå datakomprimering i ISILON

Isilon F810-noder gjør det mulig å utføre innebygd datakomprimering på Isilon-klyngen. OneFS støtter bare innebygd datakomprimering på Isilon F810-nodeutvalg. F810-noder inneholder nettverksgrensesnittkort (NIC-er) som komprimerer og dekomprimerer data mottatt av noden. Maskinvarekomprimering og dekomprimering utføres parallelt på tvers av 40 Gb Ethernet-grensesnittene til F810-noder når klienter leser og skriver data til klyngen. Denne modellen for distribuert grensesnitt gjør det mulig å komprimere lineært på tvers av All-Flash F810-nodeutvalget etter hvert som en Isilon-klynge vokser og flere F810-noder legges til.

Du kan aktivere innebygd datakomprimering i en klynge som har følgende:

• F810-nodeutvalg
• 40 GB Ethernet-backend-nettverk
• OneFS 8.1.3 eller OneFS 8.2.1 eller nyere versjoner

Blandede klynger
I en blandet klynge som inneholder andre nodetyper enn F810, lagres filer bare i komprimert form på F810-nodeutvalg. Data som er skrevet eller lagdelt til lagringsutvalg av andre nodetyper, dekomprimeres når de flyttes mellom utvalg.

På et høyt nivå inkluderer fordelene med Isilons nye komprimeringsfunksjonalitet:

• Enkelhet: Ingen konfigurasjon, standard ved kontinuerlig komprimering eliminerer administrasjonsbelastningen.
• Effektivitet: Ved å bruke innebygd maskinvareavlasting, minimerer Isilon eventuell ytelsespåvirkning samtidig som den maksimerer lagringseffektiviteten.
• Gjennomsiktighet: Komprimering er integrert i OneFS-filsystemet, noe som gjør det gjennomsiktig for applikasjoner og arbeidsflyter.
• Harmoni: Det fungerer sammen med andre Isilon-verktøy for lagringseffektivitet.

Innebygd OneFS-komprimering bruker en tapsfri algoritme som reduserer den fysiske størrelsen på data når de skrives til disken. De komprimerte dataene dekomprimeres når de leses tilbake. Komprimering er gjennomsiktig for applikasjoner som sitter på toppen av filsystemet, inkludert protokollbaserte tjenester som Network File System (NFS) og Server Message Block (SMB).

Hovedformålet med innebygd Isilon-komprimering er å redusere lagringskravene for data. Innebygd komprimering har vanligvis et mindre lagringsavtrykk, redusert strøm- og kjølebehov, og en reduksjon i den totale lagringskostnaden per TB. Komprimering bidrar imidlertid også til å redusere den totale mengden data som skrives til lagringsenheter. Dette er gunstig for SSD-disker (SSD-er) og andre medier med begrensede overskrivingsgrenser ved å redusere diskslitasjehastigheten.

Så hva er under panseret?

OneFS-innebygd datakomprimering består av fem hovedkomponenter:

1. Komprimeringsplattform
2. Kompresjonsmotor
3. Compression Chunk Kart
4. Rammeverk for komprimeringsvarsling og rapportering
5. Komprimeringskontrollbane

I denne artikkelen fokuserer vi på plattformen og komprimeringsmotoren.

Innebygd datakomprimering støttes utelukkende på den nye Isilon F810 All-Flash-plattformen, der hver node inkluderer en kompresjonsavlastningsadapter. Denne adapteren gir komprimering for å se til side for å avlaste visse oppgaver fra nettverksprosessoren. Dette betyr at komprimering og dekomprimering utføres transparent ved hjelp av en dedikert Field Programmable Gate Array (FPGA) med minimal ventetid, noe som reduserer CPU- og minneressurser.

Det nye F810-kabinettet er tilgjengelig med følgende lagringsalternativer:

I tillegg til 40 Gb Ethernet-grensesnitt med to porter inneholder hver komprimeringsadapter en FPGA-brikke dedikert til komprimering og dekomprimering av data. De to Ethernet-portene på hvert adapterkort i backend-PCI-e-sporet til nodene brukes til redundant backend-nettverkstilkobling.

Maskinvarekomprimering og dekomprimering utføres parallelt på tvers av 40 GB Ethernet-grensesnittene til F810-nodene når klienter leser og skriver data til klyngen. Denne modellen for distribuert grensesnitt gjør det mulig å skalere lineært på tvers av et F810-nodeutvalg etter hvert som en Isilon-klynge vokser og flere F810-noder legges til. OneFS-versjoner 8.1.3 og nyere støtter fra 4 til 144 F810-noder eller 36 kabinetter per klynge. Anbefalt beste praksis er maksimalt 40 F810-noder per klynge.

F810-nodene bruker en FPGA-basert maskinvareavlastningsmotor på backend-PCI-e-nettverkskortet for å utføre komprimering og dekomprimering av data i sanntid. Dette skjer når filer skrives til og leses fra en node i klyngen ved hjelp av en tilkoblet klientøkt.

I tillegg til FPGA bruker maskinvarekomprimeringsmotoren en proprietær implementering av DEFLATE. Dette gir det høyeste komprimeringsnivået, samtidig som det påløper minimal eller ingen ytelsesstraff for svært komprimerbare datasett.

Kompresjonsmotoren består av tre hovedkomponenter:

Siden de ligger på samme kort, deler komprimeringsmotoren PCI-e-båndbredde med nodens backend Ethernet-grensesnitt.

OneFS gir også en programvareimplementering som reserveløsning hvis komprimeringsmaskinvaren svikter. I en blandet klynge brukes programvareimplementeringen på ikke-F810-noder som ikke har maskinvarekomprimering. Både implementeringer av maskinvare- og programvarekomprimering er DEFLATE-kompatible.