OneFS: Comprensión de la compresión de datos en ISILON

Los nodos Isilon F810 le permiten realizar la compresión de datos en línea en el clúster de Isilon. OneFS es compatible con la compresión de datos en línea solo en pools de nodos de Isilon F810. Los nodos F810 contienen tarjetas de interfaz de red (NIC) que comprimen y descomprimen los datos que recibe el nodo. La compresión y la descompresión de hardware se realizan en paralelo en las interfaces Ethernet de 40 Gb de los nodos de F810 a medida que los clientes leen y escriben datos en el clúster. Este modelo de interfaz distribuida permite que la compresión escale de manera lineal en todo el pool de nodos F810 todo flash a medida que crece un clúster Isilon y se agregan nodos F810 adicionales.

Puede habilitar la compresión de datos en línea en un clúster que tenga lo siguiente:

• Pool de nodos de F810
• Red de back-end Ethernet de 40 Gb
• OneFS 8.1.3, OneFS 8.2.1 o versiones posteriores

Clústeres mixtos
En un clúster mixto que contiene tipos de nodos distintos de F810, los archivos solo se almacenan en un formato comprimido en pools de nodos de F810. Los datos que se escriben o se organizan en niveles en pools de almacenamiento de otros tipos de nodos se descomprimen cuando se transfieren de un pool a otro.

En un nivel alto, los beneficios de la nueva funcionalidad de compresión de Isilon incluyen:

• Simplicidad: Sin configuración; la compresión continua predeterminada elimina la carga de administración.
• Eficiencia: Mediante el uso de la descarga de hardware en línea, Isilon minimiza cualquier impacto en el rendimiento y, al mismo tiempo, maximiza la eficiencia del almacenamiento.
• Transparencia: La compresión está integrada de forma nativa en el sistema de archivos de OneFS, lo que la hace transparente para las aplicaciones y los flujos de trabajo.
• Armonía: Funciona en conjunto con otras herramientas de eficiencia del almacenamiento de Isilon.

La compresión en línea de OneFS utiliza un algoritmo sin pérdidas que reduce el tamaño físico de los datos cuando se escriben en el disco. Los datos comprimidos se descomprimen cuando se vuelven a leer. La compresión es transparente para las aplicaciones que se encuentran en la parte superior del sistema de archivos, incluidos los servicios basados en protocolos, como Sistema de archivos de red (NFS) y Server Message Block (SMB).

El propósito principal de la compresión en línea de Isilon es reducir los requisitos de almacenamiento para los datos. Por lo general, la compresión en línea tiene un espacio físico de almacenamiento más pequeño, menores requisitos de alimentación y enfriamiento, y una reducción en el costo general de almacenamiento por TB. Sin embargo, la compresión también ayuda a reducir la cantidad total de datos escritos en los dispositivos de almacenamiento. Esto es beneficioso para las unidades de estado sólido (SSD) y otros medios con límites de sobrescritura finitos, ya que reduce las tasas de desgaste de la unidad.

Entonces, ¿qué hay bajo el capó?

La compresión de datos en línea de OneFS consta de cinco componentes principales:

1. Plataforma de compresión
2. Motor de compresión
3. Mapa de fragmentos de compresión
4. Infraestructura de informes y alertas de compresión
5. Ruta de control de compresión

En este artículo, nos centramos en la plataforma y el motor de compresión.

La compresión de datos en línea es compatible exclusivamente con la nueva plataforma Isilon F810 todo flash, en la que cada nodo incluye un adaptador de descarga de compresión. Este adaptador proporciona compresión de búsqueda a un lado para descargar ciertas tareas del procesador de red. Esto significa que la compresión y la descompresión se realizan de manera transparente mediante un Field Programmable Gate Array (FPGA) dedicado con una latencia mínima, lo que reduce los recursos de CPU y memoria.

El nuevo chasis F810 está disponible con las siguientes opciones de almacenamiento:

Además de las interfaces Ethernet de 40 Gb de dos puertos, cada adaptador de descarga de compresión contiene un chip FPGA dedicado a la compresión y descompresión de datos. Los dos puertos Ethernet en cada tarjeta de adaptador en la ranura PCI-e de back-end de los nodos se utilizan para la conectividad de red de back-end redundante.

La compresión y la descompresión de hardware se realizan en paralelo en las interfaces Ethernet de 40 GB de los nodos F810 a medida que los clientes leen y escriben datos en el clúster. Este modelo de interfaz distribuida permite que la compresión escale de manera lineal en un pool de nodos F810 a medida que crece un clúster Isilon y se agregan nodos F810 adicionales. Las versiones 8.1.3 y posteriores de OneFS soportan entre 4 y 144 nodos F810, o 36 chasis por clúster. La práctica recomendada es un máximo de 40 nodos F810 por clúster.

Los nodos F810 utilizan un motor de descarga de hardware basado en FPGA en el adaptador de red PCI-e de back-end para realizar la compresión y la descompresión de datos en tiempo real. Esto ocurre a medida que los archivos se escriben y leen desde un nodo del clúster mediante una sesión de cliente conectada.

Además de FPGA, el motor de compresión de hardware utiliza una implementación propietaria de DEFLATE. Esto proporciona el nivel más alto de compresión y, al mismo tiempo, incurre en una pérdida de rendimiento mínima o nula para conjuntos de datos altamente comprimibles.

El motor de compresión consta de tres componentes principales:

Dado que residen en la misma tarjeta, el motor de compresión comparte el ancho de banda de PCI-e con las interfaces Ethernet de back-end del nodo.

OneFS también proporciona una implementación de software como reserva si falla el hardware de compresión. En un clúster mixto, la implementación de software se utiliza en nodos que no son F810 y que no tienen compresión por hardware. Las implementaciones de compresión de hardware y software son compatibles con DEFLATE.