PowerEdge: Escalabilidad de Dell Ready Solutions para almacenamiento HPC BeeGFS

Tabla de contenido

1. Introducción
2. Configuraciones básicas
3. Cálculo del espacio útil de BeeGFS
4. Configuraciones escalables
5. Caracterización del rendimiento
6. Conclusión y trabajo a futuro
    

Introducción

En este blog, se analiza la escalabilidad de Dell Ready Solutions para almacenamiento HPC BeeGFS, que se anunció recientemente. La arquitectura de BeeGFS consta de cuatro servicios principales: el servicio de administración, el servicio de metadatos, el servicio de almacenamiento y el servicio de cliente. Es posible ejecutar cualquier combinación de estos cuatro servicios principales, incluso todos ellos, en el mismo servidor, ya que las funciones y el hardware no están estrechamente integrados en el caso de BeeGFS. En una “solución hiperconvergente”, los cuatro servicios se ejecutan en el mismo servidor. Esta configuración no se recomienda para entornos esenciales de rendimiento, ya que las aplicaciones de cliente generalmente consumen recursos que pueden afectar el rendimiento de los servicios de almacenamiento. La solución de Dell usa servidores de almacenamiento dedicados y un servidor de almacenamiento y metadatos de doble propósito para proporcionar una solución de almacenamiento escalable y de alto rendimiento. Si se agregan servidores de almacenamiento adicionales a un sistema existente, es posible escalarlo. En este blog, presentamos configuraciones con diferentes cantidades de servidores de almacenamiento y el rendimiento que se puede esperar con estas configuraciones.

Configuraciones básicas

La solución de almacenamiento de BeeGFS, la cual está diseñada para proporcionar un sistema de archivos de borrador de alto rendimiento, utiliza los siguientes componentes de hardware:

• Management Server
  • R640, Intel Xeon Gold 5218 doble de 2,3 GHz, 16 núcleos, 96 GB (12 RDIMM de 8 GB y 2666 MT/s), 6 SAS de 300 GB a 15 000 RPM, H740P
• Servidores de metadatos y almacenamiento
  • R740xd, 2 CPU Intel Xeon Platinum 8268 a 2,90 GHz, 24 núcleos, 384 GB (12 RDIMM de 32 GB y 2933 MT/s)
  • Tarjeta BOSS con 2 SSD SATA M.2 de 240 GB en RAID 1 para SO
  • 24x, Intel de 1,6 TB, NVMe, Express Flash de uso mixto, unidades SFF 2.5, RAID de software

El servidor de administración ejecuta el servicio de monitoreo de BeeGFS. El servidor de metadatos usa las 12 unidades en la zona NUMA 0 para alojar los destinos de metadatos (MDT), mientras que las 12 unidades restantes en la zona NUMA 1 alojan los destinos de almacenamiento (ST). No se usa un servidor de metadatos dedicado porque los requisitos de capacidad de almacenamiento para los metadatos de BeeGFS son pequeños. Los destinos y servicios de metadatos y almacenamiento se aíslan en nodos NUMA independientes, de modo que se establezca una separación considerable de las cargas de trabajo. Los servidores de almacenamiento usados en la configuración tienen tres servicios de almacenamiento en ejecución por zona NUMA, seis en total por servidor. Para obtener más detalles, consulte el blog del anuncio. En la Figura 1, se muestran las dos configuraciones básicas que se probaron y validaron en el Laboratorio de innovación en HPC e IA de Dell EMC

Figura 1: Configuraciones básicas

La configuración pequeña consta de tres servidores R740xd. Tiene 15 destinos de almacenamiento. La configuración mediana tiene 6 servidores R740xd y tiene 33 destinos de almacenamiento. El usuario puede comenzar con una configuración “pequeña” o la configuración “mediana” y puede agregar servidores de almacenamiento o metadatos según sea necesario para aumentar, respectivamente, el espacio de almacenamiento y el rendimiento general, o la cantidad de archivos y el rendimiento de los metadatos. En la Tabla 1, se muestran los datos de rendimiento para las configuraciones básicas que se probaron y validaron exhaustivamente en el Laboratorio de innovación en HPC e IA de Dell.

Tabla 1: Detalles de capacidad y rendimiento de las configuraciones básicas

Cálculo del espacio útil de BeeGFS

El espacio usable estimado se calcula en TiB (ya que la mayoría de las herramientas muestran el espacio usable en unidades binarias) mediante la siguiente fórmula:

BeeGFS Usable Space in TiB= (0.99* # of Drives* size in TB * (10^12/2^40)

En la fórmula anterior, 0,99 es el factor al que se llega suponiendo de manera conservadora que hay una sobrecarga del 1 % desde el sistema de archivos. A fin de calcular la cantidad de unidades para almacenamiento, también se incluyen 12 unidades de MDS. Esto se debe a que, en MDS, las 12 unidades en la zona NUMA 0 se usan para metadatos y las 12 unidades en la zona NUMA 1 se usan para almacenamiento. El último factor en la fórmula 10^12/2^40 es para convertir el espacio utilizable de TB a TiB.

Configuraciones escalables

La solución de almacenamiento de alto rendimiento de BeeGFS está diseñada para ser flexible y se puede escalar el rendimiento o la capacidad de manera fácil y sin inconvenientes mediante la adición de servidores adicionales, como se muestra a continuación:

Figura 2: Ejemplos de configuración escalada 

La parte de metadatos de la pila sigue siendo la misma para todas las configuraciones anteriores descritas en este blog. Esto se debe a que los requisitos de capacidad de almacenamiento para los metadatos de BeeGFS suelen ser del 0,5 % al 1 % de la capacidad de almacenamiento total. Sin embargo, en realidad depende de la cantidad de directorios y archivos en el sistema de archivos. Como regla general, el usuario puede agregar un servidor de metadatos adicional cuando el porcentaje de capacidad de metadatos en el almacenamiento es inferior al 1 %. En la Tabla 2, se muestran los datos de rendimiento para las diferentes configuraciones flexibles de la solución de almacenamiento de BeeGFS.

 

Tabla 2: Detalles de capacidad y rendimiento de las configuraciones a escala

Caracterización del rendimiento

El rendimiento de las diversas configuraciones se probó mediante la creación de pools de almacenamiento. La configuración pequeña tiene 15 destinos de almacenamiento y cada servidor de almacenamiento adicional agrega seis destinos de almacenamiento adicionales. Por lo tanto, con el fin de probar el rendimiento de las diversas configuraciones, se crearon pools de almacenamiento de 15 a 39 destinos de almacenamiento (incrementos de seis para pequeña, pequeña+1, pequeña+2, media, media+1). Para cada uno de esos pools, se ejecutaron tres iteraciones del parámetro de referencia IOzone, cada una con uno a 1024 subprocesos (en incrementos en potencia de base dos). La metodología de ensayo adoptada es la misma que la descrita en el blog de anuncios. En las Figuras 3 y 4, se muestra el rendimiento de escritura y lectura de las configuraciones escalables, respectivamente, con el rendimiento máximo de cada una de las configuraciones resaltada para fines de referencia rápida:


 
Figura 3:  Rendimiento de escritura de configuraciones escalables.


Figura 4:  Rendimiento de lectura de configuraciones escalables.

Nota:

El pool de almacenamiento al que se hace referencia se creó solo con el propósito explícito de caracterizar el rendimiento de diferentes configuraciones. Mientras se realizaba la evaluación del rendimiento de la configuración media detallada en el blog de anuncios, los 33 destinos estaban solo en el “pool predeterminado”. En la respuesta del beegfs-ctl --liststoragepools comando proporcionado a continuación, se muestra la asignación de los destinos de almacenamiento:

# beegfs-ctl --liststoragepools
Pool ID   Pool Description                      Targets                 Buddy Groups
======= ================== ============================ ============================
1       Default             1,2,3,4,5,6,7,8,9,10,11,12,                                                                                                                              
                            13,14,15,16,17,18,19,20,21,                                                                                                                              
                            22,23,24,25,26,27,28,29,30,                                                                                                                              
                            31,32,33

Conclusión y trabajo a futuro

En este blog, se analizó la escalabilidad de Dell Ready Solutions para almacenamiento HPC BeeGFS y se destacó el rendimiento de lectura y escritura secuenciales para diversas configuraciones. Permanezca atento a la parte 3 de esta serie de blogs, en la cual se analizarán las características adicionales de BeeGFS y se destacará el uso de “StorageBench”, el parámetro de referencia de objetivos de almacenamiento incorporado de BeeGFS. Como parte de los próximos pasos, publicaremos una documentación técnica más adelante con el rendimiento de los metadatos, la evaluación del rendimiento de IOR N-1 y con detalles adicionales sobre las consideraciones de diseño, el ajuste y la configuración. 

Referencias

[1] Dell Ready Solutions para almacenamiento HPC BeeGFS:  https://www.dell.com/support/article/sln319381/
[2] Documentación de BeeGFS:  https://www.beegfs.io/wiki/
[3] Cómo conectar dos interfaces en la misma subred:  https://access.redhat.com/solutions/30564
[4] Diseño de referencia de acceso de memoria directa PCI Express mediante memoria externa: https://www.intel.com/content/www/us/en/programmable/documentation/nik1412547570040.html#nik1412547565760