PowerEdge : Évolutivité de Dell Ready Solutions pour le stockage HPC BeeGFS

Sommaire

1. Introduction
2. Configurations de base
3. Calcul de l’espace utilisable BeeGFS
4. Configurations évolutives
5. Caractérisation des performances
6. Conclusion et travaux futurs
    

Introduction

Ce billet de blog traite de l’évolutivité de Dell Ready Solutions pour le stockage HPC BeeGFS, qui a été annoncé récemment. L’architecture BeeGFS comporte quatre services principaux : le service de gestion, le service de métadonnées, le service de stockage et le service client. Il est possible d’exécuter n’importe quelle combinaison de ces quatre services, y compris l’ensemble, sur le même serveur, car dans le cas de BeeGFS, les rôles et le matériel ne sont pas étroitement intégrés. Dans une « solution hyperconvergée », les quatre services s’exécutent sur le même serveur. Cette configuration n’est pas recommandée pour les environnements où les performances sont essentielles, car les applications clientes consomment généralement des ressources pouvant avoir un impact sur les performances des services de stockage. La solution Dell utilise des serveurs de stockage dédiés et un serveur de métadonnées et de stockage à double usage pour fournir une solution de stockage évolutive et hautement performante. Il est possible de faire évoluer le système en ajoutant des serveurs de stockage supplémentaires à un système existant. Dans ce billet, nous présentons plusieurs configurations avec différents nombres de serveurs de stockage et ce que l’on peut attendre d’elles.

Configurations de base

La solution de stockage BeeGFS, conçue pour offrir un système de fichiers scratch haute performance, utilise les composants matériels suivants :

• Management Server
  • R640, deux processeurs Intel Xeon Gold 5218 à 2,3 GHz, 16 cœurs, 96 Go (12 barrettes RDIMM de 8 Go à 2 666 MT/s), 6 disques SAS de 300 Go à 15 000 t/min, H740P
• Métadonnées et serveurs de stockage
  • R740xd, deux processeurs Intel Xeon Platinum 8268 à 2,90 GHz, 24 cœurs, 384 Go (12 barrettes RDIMM de 32 Go à 2 933 MT/s)
  • Carte BOSS avec 2 disques SSD SATA M.2 de 240 Go en RAID 1 pour le système d’exploitation
  • 24 disques Intel NVMe Express Flash 2,5" SFF de 1,6 To à usage mixte, RAID logiciel

Le serveur de gestion exécute le service de surveillance BeeGFS. Le serveur de métadonnées utilise les 12 disques de la zone NUMA 0 pour héberger les cibles de métadonnées (MDT), tandis que les 12 disques restants de la zone NUMA 1 hébergent les cibles de stockage (ST). Aucun serveur de métadonnées dédié n’est utilisé, car les besoins en capacité de stockage pour les métadonnées BeeGFS sont faibles. Les cibles et services de métadonnées et de stockage sont isolés sur des nœuds NUMA distincts, de manière à assurer une séparation significative des charges applicatives. Les serveurs de stockage utilisés dans la configuration exécutent trois services de stockage par zone NUMA, six au total par serveur. Pour plus d’informations, consultez le billet de blog d’annonce. La Figure 1 illustre les deux configurations de base qui ont été testées et validées au laboratoire d’innovation en matière d’IA et de HPC de Dell EMC.

Figure 1 : Configurations de base

La configuration « Petit » se compose de trois serveurs R740xd. Elle dispose de 15 cibles de stockage. La configuration « Moyen » comprend 6 serveurs R740xd et dispose de 33 cibles de stockage. L’utilisateur peut commencer par une configuration « Petit » ou « Moyen » et ajouter des serveurs de stockage ou de métadonnées selon ses besoins afin d’augmenter l’espace de stockage et les performances globales, ou le nombre de fichiers et les performances de métadonnées, respectivement. Le Tableau 1 présente les données de performance des configurations de base qui ont été testées et validées de manière approfondie au laboratoire d’innovation en matière d’IA et de HPC de Dell.

Tableau 1 : Détails sur la capacité et les performances des configurations de base

Calcul de l’espace utilisable BeeGFS

L’espace utile estimé est calculé en Tio (puisque la plupart des outils affichent l’espace utile en unités binaires) à l’aide de la formule suivante :

BeeGFS Usable Space in TiB= (0.99* # of Drives* size in TB * (10^12/2^40)

Dans la formule ci-dessus, le facteur 0,99 est obtenu en supposant de manière conservatrice une surcharge de 1 % due au système de fichiers. Pour obtenir le nombre de disques de stockage, les 12 disques du MDS sont également inclus. En effet, dans le MDS, les 12 disques de la zone NUMA 0 sont utilisés pour les métadonnées, tandis que les 12 disques de la zone NUMA 1 sont utilisés pour le stockage. Le dernier facteur de la formule 10^12/2^40 permet de convertir l’espace utilisable de To en Tio.

Configurations évolutives

La solution de stockage haute performance BeeGFS est conçue pour être flexible et permet de faire évoluer facilement et en toute transparence les performances et/ou la capacité en ajoutant des serveurs supplémentaires, comme indiqué ci-dessous :

Figure 2 : Exemples de configurations évolutives 

La partie métadonnées de la pile reste la même pour toutes les configurations décrites dans ce billet. En effet, les besoins en capacité de stockage pour les métadonnées BeeGFS représentent généralement entre 0,5 % et 1 % de la capacité de stockage totale. Cependant, cela dépend vraiment du nombre de répertoires et de fichiers dans le système de fichiers. En règle générale, l’utilisateur peut ajouter un serveur de métadonnées supplémentaire lorsque le pourcentage de capacité de métadonnées par rapport au stockage tombe en dessous de 1 %. Le Tableau 2 présente les données de performances pour les différentes configurations flexibles de la solution de stockage BeeGFS.

 

Tableau 2 : détails de la capacité et des performances des configurations évolutives

Caractérisation des performances

Les performances des différentes configurations ont été testées en créant des pools de stockage. La configuration « Petit » dispose de 15 cibles de stockage et chaque serveur de stockage supplémentaire ajoute six cibles de stockage supplémentaires. Afin de tester les performances des différentes configurations, des pools de stockage ont donc été créés à partir de 15 à 39 cibles de stockage (par incréments de six pour Petit, Petit+1, Petit+2, Moyen, Moyen+1). Pour chacun de ces pools, trois itérations du benchmark IOzone ont été exécutées, chacune avec 1 à 1 024 threads (par puissances de deux). La méthodologie de test adoptée est la même que celle décrite dans le billet de blog d’annonce. Les Figures 3 et 4 présentent respectivement les performances en écriture et en lecture des configurations évolutives, avec la performance maximale de chaque configuration mise en évidence pour référence rapide :


 
Figure 3 :  Performances en écriture des configurations évolutives.


Figure 4 :  Performances en lecture des configurations évolutives.

Remarque :

les pools de stockage mentionnés ont été créés uniquement dans le but explicite de caractériser les performances des différentes configurations. Lors de l’évaluation des performances de la configuration « Moyen » décrite dans le billet de blog d’annonce, les 33 cibles se trouvaient uniquement dans le « pool par défaut ». La sortie de beegfs-ctl --liststoragepools la commande indiquée ci-dessous indique l’affectation des cibles de stockage :

# beegfs-ctl --liststoragepools
Pool ID   Pool Description                      Targets                 Buddy Groups
======= ================== ============================ ============================
1       Default             1,2,3,4,5,6,7,8,9,10,11,12,                                                                                                                              
                            13,14,15,16,17,18,19,20,21,                                                                                                                              
                            22,23,24,25,26,27,28,29,30,                                                                                                                              
                            31,32,33

Conclusion et travaux futurs

Ce billet de blog a abordé l’évolutivité de Dell Ready Solutions pour le stockage HPC BeeGFS et mis en avant les débits de lecture et d’écriture séquentielles pour différentes configurations. Ne manquez pas la partie 3 de cette série de billets, qui présentera d’autres fonctionnalités de BeeGFS et mettra en avant l’utilisation de « StorageBench », l’outil intégré de test des cibles de stockage de BeeGFS. Dans le cadre des prochaines étapes, nous publierons ultérieurement un livre blanc sur les performances des métadonnées, l’évaluation des performances IOR N-1, ainsi que des détails supplémentaires sur les considérations de conception, le réglage et la configuration. 

Références

[1] Dell Ready Solutions pour le stockage HPC BeeGFS  https://www.dell.com/support/article/sln319381/
[2] Documentation BeeGFS :  https://www.beegfs.io/wiki/
[3] How to connect two interfaces on the same subnet :  https://access.redhat.com/solutions/30564
[4] PCI Express Direct Memory Access Reference Design using External Memory : https://www.intel.com/content/www/us/en/programmable/documentation/nik1412547570040.html#nik1412547565760