OneFS: Pochopení komprese dat v ISILON

Uzly Isilon F810 umožňují provádět inline kompresi dat v clusteru Isilon. Systém OneFS podporuje kompresi inline dat pouze ve fondech uzlů Isilon F810. Uzly F810 obsahují síťové karty (NIC), které komprimují a dekomprimují data přijatá uzlem. Hardwarová komprese a dekomprese se provádí paralelně přes 40Gb ethernetová rozhraní uzlů F810, když klienti čtou a zapisují data do clusteru. Tento model distribuovaného rozhraní umožňuje kompresi lineárně škálovat napříč fondem uzlů F810 typu all-flash s tím, jak se cluster Isilon zvětšuje a přidávají další uzly F810.

Kompresi vložených dat můžete povolit v clusteru, který má následující položky:

• Fond uzlů F810
• 40Gb ethernetová backendová síť
• OneFS 8.1.3 nebo OneFS 8.2.1 nebo novější verze

Smíšené clustery
Ve smíšeném clusteru obsahujícím jiné typy uzlů než F810 jsou soubory uloženy pouze v komprimované podobě ve fondech uzlů F810. Data, která se zapisují nebo vrství do fondů úložišť jiných typů uzlů, jsou při přesunu mezi fondy nekomprimovaná.

Mezi výhody nové funkce komprese Isilon na vysoké úrovni patří následující:

• Jednoduchost: Žádná konfigurace, průběžná komprese ve výchozím nastavení eliminuje zátěž správy.
• Efektivita: Využitím inline snižování zátěže hardwaru minimalizuje řešení Isilon jakýkoli dopad na výkon a maximalizuje efektivitu úložiště.
• Průhlednost: Komprese je nativně integrována do systému souborů OneFS, díky čemuž je transparentní pro aplikace a pracovní postupy.
• Harmonie: Funguje v souhře s ostatními nástroji Isilon pro efektivní využití úložiště.

Vložená komprese OneFS používá bezeztrátový algoritmus, který snižuje fyzickou velikost dat při zápisu na disk. Komprimovaná data se při zpětném čtení dekomprimují. Komprese je transparentní pro aplikace, které jsou umístěny nad souborovým systémem, včetně služeb založených na protokolech, jako jsou Systém souborů NFS (Network File System) a SMB (Server Message Block).

Primárním účelem inline komprese Isilon je snížit požadavky na úložiště dat. Vložená komprese má obvykle menší nároky na úložiště, nižší požadavky na energii a chlazení a snížení celkových nákladů na TB úložiště. Komprese však také pomáhá snížit celkové množství dat zapsaných na úložná zařízení. To je výhodné pro disky SSD (solid state drive) a další média s omezenými limity přepisování, protože se snižuje míra opotřebení disku.

Co se tedy skrývá pod kapotou?

Komprese inline dat systému OneFS se skládá z pěti hlavních komponent:

1. Kompresní platforma
2. Kompresní motor
3. Mapa kompresních bloků
4. Rámec pro výstrahy a hlášení komprese
5. Cesta řízení komprese

V tomto článku se zaměříme na platformu a kompresní engine.

Komprese inline dat je podporována výhradně na nové platformě Isilon F810 All-Flash, kde každý uzel obsahuje adaptér pro snížení zátěže komprese. Tento adaptér poskytuje kompresi odklonu pro odlehčení určitých úloh ze síťového procesoru. To znamená, že komprese a dekomprese jsou transparentně prováděny pomocí vyhrazeného pole FPGA (Field Programmable Gate Array) s minimální latencí, což snižuje nároky procesoru a paměti.

Nové šasi F810 je k dispozici s následujícími možnostmi úložiště:

Kromě dvouportového 40Gb ethernetového rozhraní obsahuje každý adaptér pro snížení zátěže komprese čip FPGA vyhrazený pro kompresi a dekompresi dat. Dva ethernetové porty na každé kartě adaptéru v backendovém slotu PCI-e uzlů se používají pro redundantní síťové připojení backendu.

Hardwarová komprese a dekomprese se provádí paralelně přes 40GB ethernetová rozhraní uzlů F810, když klienti čtou a zapisují data do clusteru. Tento model distribuovaného rozhraní umožňuje kompresi lineárně škálovat napříč fondem uzlů F810 s tím, jak se cluster Isilon zvětšuje a přidávají další uzly F810. Systém OneFS verze 8.1.3 a vyšší podporuje 4 až 144 uzlů F810 nebo 36 šasi na cluster. Doporučeným postupem je maximálně 40 uzlů F810 na cluster.

Uzly F810 používají hardwarový modul snižování zátěže na bázi FPGA na síťovém adaptéru backendu PCI-e k provádění komprese a dekomprese dat v reálném čase. K tomu dochází, když jsou soubory zapisovány a čteny z uzlu v clusteru pomocí relace připojeného klienta.

Kromě FPGA používá hardwarový kompresní engine proprietární implementaci DEFLANE. To zajišťuje nejvyšší úroveň komprese při minimálním nebo žádném snížení výkonu pro vysoce komprimovatelné datové sady.

Kompresní motor se skládá ze tří hlavních komponent:

Vzhledem k tomu, že jsou umístěny na stejné kartě, kompresní modul sdílí šířku pásma PCI-e s ethernetovými rozhraními backendu uzlu.

Systém OneFS také poskytuje softwarovou implementaci jako záložní řešení pro případ selhání hardwaru komprese. Ve smíšeném clusteru se implementace softwaru používá na uzlech jiných než F810, které nemají hardwarovou kompresi. Implementace hardwarové i softwarové komprese jsou kompatibilní s DEFLATE.