OneFS: Förstå datakomprimering i ISILON

Med Isilon F810-noder kan du utföra inlinedatakomprimering på ditt Isilon-kluster. OneFS har endast stöd för ingående datakomprimering på Isilon F810-nodpooler. F810-noder innehåller nätverkskort (NIC) som komprimerar och dekomprimerar data som tas emot av noden. Maskinvarukomprimering och dekomprimering utförs parallellt över F810-nodernas 40 Gb Ethernet-gränssnitt när klienter läser och skriver data till klustret. Den här distribuerade gränssnittsmodellen gör det möjligt att skala linjärt över den helt flashbaserade F810-nodpoolen när ett Isilon-kluster växer och ytterligare F810-noder läggs till.

Du kan aktivera infogad datakomprimering i ett kluster som har följande:

• F810-nodpool
• 40 Gb Ethernet-backend-nätverk
• OneFS 8.1.3 eller OneFS 8.2.1 eller senare versioner

Blandade kluster
I ett blandat kluster som innehåller andra nodtyper än F810 lagras filer endast i komprimerad form i F810-nodpooler. Data som skrivs eller nivåindelas i lagringspooler av andra nodtyper packas upp när de flyttas mellan pooler.

På en hög nivå är fördelarna med Isilons nya komprimeringsfunktion bland annat:

• Enkelhet: Ingen konfiguration, kontinuerlig komprimering som standard eliminerar hanteringsbördan.
• Effektivitet: Genom att använda avlastning av hårdvara minimerar Isilon eventuell prestandapåverkan samtidigt som lagringseffektiviteten maximeras.
• Genomskinlighet: Komprimering är inbyggt i OneFS-filsystemet, vilket gör det transparent för program och arbetsflöden.
• Harmoni: Det fungerar tillsammans med andra Isilon-verktyg för lagringseffektivitet.

OneFS inline-komprimering använder en förlustfri algoritm som minskar den fysiska storleken på data när de skrivs till disk. Komprimerade data dekomprimeras när de läses tillbaka. Komprimering är transparent för program som finns ovanpå filsystemet, inklusive protokollbaserade tjänster som NFS (Network File System) och SMB (Server Message Block).

Det primära syftet med Isilon inline-komprimering är att minska lagringskraven för data. Inline-komprimering har vanligtvis ett mindre lagringsavtryck, lägre ström- och kylningskrav och en minskning av den totala lagringskostnaden per TB. Men komprimering bidrar också till att minska den totala mängden data som skrivs till lagringsenheter. Detta är fördelaktigt för SSD-diskar (Solid State Drives) och andra medier med begränsade överskrivningsgränser, eftersom det minskar diskarnas slitage.

Så vad finns under huven?

OneFS inlinedatakomprimering består av fem huvudkomponenter:

1. Komprimeringsplattform
2. Kompressionsmotor
3. Segmentmappning för komprimering
4. Ramverk för komprimeringsvarningar och rapportering
5. Kontrollsökväg för komprimering

I den här artikeln fokuserar vi på plattformen och komprimeringsmotorn.

Inlinedatakomprimering stöds enbart på den nya Isilon F810 all-flash-plattformen, där varje nod innehåller en adapter för komprimeringsavlastning. Den här adaptern ger look-aside komprimering för att avlasta vissa uppgifter från nätverksprocessorn. Det innebär att komprimering och dekomprimering utförs transparent med hjälp av en dedikerad FPGA (Field Programmable Gate Array) med minimal latens, vilket minskar processor- och minnesresurser.

Det nya F810-chassit finns med följande lagringsalternativ:

Förutom Ethernet-gränssnitt med dubbla portar på 40 Gb innehåller varje adapter för komprimeringsavlastning ett FPGA-chip som är dedikerat för komprimering och dekomprimering av data. De två Ethernet-portarna på varje adapterkort i nodernas PCI-e-kortplats används för redundant anslutning till backend-nätverk.

Maskinvarukomprimering och dekomprimering utförs parallellt över F810-nodernas 40 GB Ethernet-gränssnitt när klienter läser och skriver data till klustret. Den här distribuerade gränssnittsmodellen gör det möjligt att skala linjärt över en F810-nodpool när ett Isilon-kluster växer och ytterligare F810-noder läggs till. OneFS version 8.1.3 och senare stöder från 4 till 144 F810-noder eller 36 chassin per kluster. Rekommendationen för bästa praxis är högst 40 F810-noder per kluster.

F810-noderna använder en FPGA-baserad maskinvaruavlastningsmotor på serverdelens PCI-e-nätverkskort för att utföra komprimering och dekomprimering av data i realtid. Detta inträffar när filer skrivs till och läses från en nod i klustret med hjälp av en ansluten klientsession.

Förutom FPGA:n använder hårdvarukomprimeringsmotorn en proprietär implementering av DEFLATE. Detta ger den högsta komprimeringsnivån samtidigt som det medför minimal eller ingen prestandaförsämring för mycket komprimerbara datauppsättningar.

Kompressionsmotorn består av tre huvudkomponenter:

Eftersom de finns på samma kort delar komprimeringsmotorn PCI-e-bandbredd med nodens Ethernet-gränssnitt i serverdelen.

OneFS tillhandahåller också en mjukvaruimplementering som reserv om komprimeringsmaskinvaran slutar fungera. I ett blandat kluster används programvaruimplementeringen på icke-F810-noder som inte har maskinvarukomprimering. Både hårdvaru- och mjukvarukomprimeringsimplementeringar är DEFLATE-kompatibla.