OneFS: Noções básicas sobre compactação de dados no ISILON

Os nós do Isilon F810 permitem que você execute a compactação de dados em linha no cluster do Isilon. O OneFS é compatível apenas com compactação de dados em linha nos pools de nós do Isilon F810. Os nós F810 contêm placas de interface de rede (NICs) que compactam e descompactam os dados recebidos pelo nó. A compactação e a descompactação de hardware são executadas em paralelo nas interfaces Ethernet de 40 Gb dos nós F810 à medida que os clients leem e gravam dados no cluster. Esse modelo de interface distribuída permite que a compactação seja dimensionada linearmente no pool de nós All-Flash do F810 à medida que um cluster do Isilon cresce e nós adicionais do F810 são adicionados.

Você pode habilitar a compactação de dados em linha em um cluster que tenha o seguinte:

• Pool de nós F810
• Rede de back-end Ethernet de 40 Gb
• OneFS 8.1.3 ou OneFS 8.2.1 ou versões posteriores

Clusters
mistosEm um cluster misto que contém tipos de nó diferentes do F810, os arquivos são armazenados apenas em um formato compactado em pools de nós do F810. Os dados gravados ou armazenados em níveis nos pools de armazenamento de outros tipos de nós serão descompactados quando forem movidos entre os pools.

Em alto nível, os benefícios da nova funcionalidade de compactação do Isilon incluem:

• Simplicidade: Sem configuração, a compactação contínua com o padrão elimina a sobrecarga de gerenciamento.
• Eficiência: Ao usar o descarregamento de hardware em linha, o Isilon minimiza qualquer impacto sobre o desempenho e, ao mesmo tempo, maximiza a eficiência do armazenamento.
• Transparência: A compactação é integrada nativamente ao file system do OneFS, tornando-o transparente para aplicativos e fluxos de trabalho.
• Harmonia: Ele funciona em conjunto com outras ferramentas de eficiência de armazenamento do Isilon.

A compactação em linha do OneFS usa um algoritmo sem perdas que reduz o tamanho físico dos dados quando eles são gravados no disco. Os dados compactados são descompactados quando são lidos novamente. A compactação é transparente para aplicativos que ficam no topo do sistema de arquivos, inclusive serviços baseados em protocolo, como Network File System (NFS) e Server Message Block (SMB).

O objetivo principal da compactação em linha do Isilon é reduzir os requisitos de armazenamento de dados. A compactação em linha geralmente tem um espaço de armazenamento menor, requisitos reduzidos de energia e refrigeração e uma redução no custo geral de armazenamento por TB. No entanto, a compactação também ajuda a reduzir o volume total de dados gravados nos dispositivos de armazenamento. Isso é benéfico para unidades de estado sólido (SSDs) e outras mídias com limites finitos de sobregravação, reduzindo as taxas de desgaste da unidade.

Então, o que está sob o capô?

A compactação de dados em linha do OneFS consiste em cinco componentes principais:

1. Plataforma de compactação
2. Mecanismo de compactação
3. Mapa de fragmentos de compactação
4. Estrutura de relatório e alertas de compactação
5. Caminho de controle de compactação

Neste artigo, vamos nos concentrar na plataforma e no mecanismo de compactação.

A compactação de dados em linha é suportada exclusivamente na nova plataforma all-flash Isilon F810, na qual cada nó inclui um adaptador de descarga de compactação. Esse adaptador fornece compactação look-side para descarregar determinadas tarefas do processador de rede. Isso significa que a compactação e a descompactação são realizadas de maneira transparente usando um FPGA (Field Programmable Gate Array) dedicado com latência mínima, reduzindo os recursos de CPU e memória.

O novo chassi F810 está disponível com as seguintes opções de armazenamento:

Além das interfaces Ethernet de 40 Gb com duas portas, cada adaptador de descarga de compactação contém um chip FPGA dedicado à compactação e descompactação de dados. As duas portas Ethernet em cada placa adaptadora no slot PCI-e de back-end dos nós são usadas para conectividade de rede de back-end redundante.

A compactação e a descompactação de hardware são executadas em paralelo nas interfaces Ethernet de 40 GB dos nós F810 à medida que os clientes leem e gravam dados no cluster. Esse modelo de interface distribuída permite que a compactação seja dimensionada linearmente em um pool de nós do F810 à medida que um cluster do Isilon cresce e nós adicionais do F810 são adicionados. As versões 8.1.3 e posteriores do OneFS são compatíveis com 4 a 144 nós do F810 ou 36 chassis por cluster. A recomendação de práticas recomendadas é de, no máximo, 40 nós F810 por cluster.

Os nós F810 usam um mecanismo de descarregamento de hardware baseado em FPGA no adaptador de rede PCI-e de back-end para realizar a compactação e a descompactação de dados em tempo real. Isso ocorre quando os arquivos são gravados e lidos a partir de um nó no cluster usando uma sessão de client conectada.

Além do FPGA, o mecanismo de compactação de hardware usa uma implementação proprietária de DEFLATE. Isso fornece o mais alto nível de compactação e, ao mesmo tempo, incorre em penalidade de desempenho mínima ou nenhuma para conjuntos de dados altamente compactáveis.

O mecanismo de compactação consiste em três componentes principais:

Como eles residem na mesma placa, o mecanismo de compactação compartilha largura de banda PCI-e com interfaces Ethernet de back-end do nó.

O OneFS também fornece uma implementação de software como fallback se o hardware de compactação falhar. Em um cluster misto, a implementação de software é usada em nós não F810 que não têm compactação de hardware. As implementações de compactação de hardware e software são compatíveis com DEFLATE.