PowerEdge: Dell Ready Solutions for HPC BeeGFS 스토리지의 확장성

목차

1. 소개
2. 기본 구성
3. BeeGFS 사용 가능 공간 계산
4. 확장 가능한 구성
5. 성능 특성화
6. 결론 및 향후 작업
    

소개

이 블로그에서는 최근에 발표된 HPC BeeGFS 스토리지용 Dell Ready Solutions의 확장성에 대해 설명합니다. BeeGFS 아키텍처는 관리 서비스, 메타데이터 서비스, 스토리지 서비스 및 클라이언트 서비스의 네 가지 주요 서비스로 구성됩니다. BeeGFS의 경우 역할과 하드웨어가 긴밀하게 통합되지 않기 때문에 이 4가지 주요 서비스를 모두 포함하여 동일한 서버에서 실행할 수 있습니다. "하이퍼 컨버지드 솔루션"에서는 4개의 서비스가 모두 동일한 서버에서 실행됩니다. 클라이언트 애플리케이션은 일반적으로 스토리지 서비스의 성능에 영향을 미칠 수 있는 리소스를 사용하므로 성능이 중요한 환경에는 이 구성을 사용하지 않는 것이 좋습니다. Dell 솔루션은 전용 스토리지 서버와 이중 용도 메타데이터 및 스토리지 서버를 사용하여 확장 가능한 고성능 스토리지 솔루션을 제공합니다. 기존 시스템에 스토리지 서버를 추가하여 시스템을 확장할 수 있습니다. 이 블로그에서는 스토리지 서버 수가 다른 구성과 이러한 구성에서 기대할 수 있는 성능을 소개합니다.

기본 구성

고성능 스크래치 파일 시스템을 제공하도록 설계된 BeeGFS 스토리지 솔루션은 다음과 같은 하드웨어 구성 요소를 사용합니다.

• Management Server
  • R640, 듀얼 인텔 제온 Gold 5218 2.3GHz, 16코어, 96GB(8GB 2,666MT/s RDIMM 12개), 15k RPM 300GB SAS 6개, H740P
• 메타데이터 및 스토리지 서버
  • R740xd, 2개의 인텔 제온 Platinum 8268 CPU @ 2.90GHz, 24 코어, 384GB(32GB 2,933MT/s RDIMM 12개)
  • BOSS 카드, OS용 RAID 1의 240GB M.2 SATA SSD 2개 포함
  • 24개, 인텔 1.6TB, NVMe, 혼합 사용 Express Flash, 2.5 SFF 드라이브, 소프트웨어 RAID

관리 서버는 BeeGFS 모니터링 서비스를 실행합니다. 메타데이터 서버는 NUMA 0 존의 12개 드라이브를 사용하여 MDT(Metadata Target)를 호스팅하고 NUMA 1 존의 나머지 12개 드라이브는 ST(Storage Target)를 호스팅합니다. BeeGFS 메타데이터에 대한 스토리지 용량 요구 사항이 적기 때문에 전용 메타데이터 서버가 사용되지 않습니다. 메타데이터와 스토리지 타겟 및 서비스는 별도의 NUMA 노드에 격리되므로 워크로드가 상당히 분리됩니다. 구성에 사용되는 스토리지 서버에는 NUMA 영역당 실행되는 3개의 스토리지 서비스가 있으며 서버당 총 6개입니다. 자세한 내용은 발표 블로그를 참조하십시오. 그림 1은 Dell EMC HPC 및 AI Innovation Lab에서 테스트 및 검증된 두 가지 기본 구성을 보여줍니다.

그림 1: 기본 구성

소규모 구성은 3개의 R740xd 서버로 구성됩니다. 15개의 스토리지 타겟이 있습니다. 중간 규모 구성에는 6xR740xd 서버가 있고 33개의 스토리지 타겟이 있습니다. 사용자는 "Small" 구성 또는 "Medium" 구성으로 시작하고 필요에 따라 스토리지 또는 메타데이터 서버를 추가하여 스토리지 공간과 전반적인 성능 또는 파일 수와 메타데이터 성능을 각각 향상시킬 수 있습니다. 표 1은 Dell HPC 및 AI Innovation Lab에서 광범위하게 테스트하고 검증한 기본 구성의 성능 데이터를 보여줍니다.

표 1: 기본 구성의 용량 및 성능 세부 정보

BeeGFS 사용 가능 공간 계산

예상 사용 가능 공간은 다음 공식을 사용하여 TiB(대부분의 툴은 가용 공간을 이진 단위로 표시하므로)로 계산됩니다.

BeeGFS Usable Space in TiB= (0.99* # of Drives* size in TB * (10^12/2^40)

위의 수식에서 0.99는 파일 시스템의 오버헤드가 1%라고 가정할 때 발생하는 요소입니다. 스토리지용 드라이브 수에 도달하는 경우 MDS의 12개 드라이브도 포함됩니다. 이는 MDS에서 NUMA 영역 0의 12개 드라이브가 메타데이터에 사용되고 NUMA 영역 1의 12개 드라이브가 스토리지에 사용되기 때문입니다. 공식 10^12/2^40에서 마지막 요소는 사용 가능한 공간을 TB에서 TiB로 변환하는 것입니다.

확장 가능한 구성

BeeGFS 고성능 스토리지 솔루션은 유연하게 설계되었으며 아래와 같이 서버를 추가하여 성능 및/또는 용량을 쉽고 원활하게 확장할 수 있습니다.

그림 2: 확장 구성 예 

스택의 메타데이터 부분은 이 블로그에 설명된 위의 모든 구성에서 동일하게 유지됩니다. BeeGFS 메타데이터에 대한 스토리지 용량 요구 사항은 일반적으로 총 스토리지 용량의 0.5%~1%이기 때문입니다. 그러나 실제로 파일 시스템의 디렉토리 및 파일 수에 따라 달라집니다. 일반적으로 사용자는 스토리지에 대한 메타데이터 용량의 비율이 1% 미만으로 떨어지면 메타데이터 서버를 추가할 수 있습니다. 표 2는 BeeGFS 스토리지 솔루션의 다양한 유연한 구성에 대한 성능 데이터를 보여줍니다.

 

표 2: 확장된 구성의 용량 및 성능 세부 정보

성능 특성화

다양한 구성의 성능은 스토리지 풀을 생성하여 테스트했습니다. 소규모 구성에는 15개의 스토리지 타겟이 있으며 각 추가 스토리지 서버는 6개의 스토리지 타겟을 추가합니다. 따라서 다양한 구성의 성능을 테스트하기 위해 스토리지 풀은 15~39개의 스토리지 타겟(Small, Small+1, Small+2, Medium, Medium+1의 경우 6씩 증분)으로 생성되었습니다. 각 풀에 대해 IOzone 벤치마크가 3번 반복되어 각각 1~1,024개의 스레드(2씩 증가)로 실행되었습니다. 채택된 테스트 방법론은 발표 블로그에 설명된 방법과 동일합니다. 그림 3과 4는 확장 가능한 구성의 쓰기 및 읽기 성능을 각각 보여 주며, 각 구성의 최고 성능은 Ready Reference를 위해 강조 표시되어 있습니다.


 
그림 3:  확장 가능한 구성의 쓰기 성능


그림 4:  확장 가능한 구성의 성능 읽기

참고:

참조된 스토리지 풀은 다양한 구성의 성능을 특성화하는 명시적인 목적으로만 생성되었습니다. 발표 블로그에 자세히 설명된 중간 규모 구성의 성능 평가를 수행하는 동안 33개 타겟은 모두 "기본 풀"에만 있었습니다. 다음 beegfs-ctl --liststoragepools 명령의 출력은 스토리지 타겟의 할당을 보여줍니다.

# beegfs-ctl --liststoragepools
Pool ID   Pool Description                      Targets                 Buddy Groups
======= ================== ============================ ============================
1       Default             1,2,3,4,5,6,7,8,9,10,11,12,                                                                                                                              
                            13,14,15,16,17,18,19,20,21,                                                                                                                              
                            22,23,24,25,26,27,28,29,30,                                                                                                                              
                            31,32,33

결론 및 향후 작업

이 블로그에서는 HPC BeeGFS 스토리지용 Dell Ready Solutions의 확장성에 대해 설명하고 다양한 구성에서 순차적 읽기 및 쓰기 처리량의 성능을 강조했습니다. BeeGFS의 추가 기능과 내장 스토리지 타깃 벤치마크 툴인 StorageBench 활용을 다룰 이 블로그 시리즈의 3편을 기대해 보십시오. 다음 단계의 일환으로 메타데이터 성능, IOR N-1 성능 평가 및 설계 고려 사항, 튜닝 및 구성에 대한 추가 세부 정보가 포함된 백서를 나중에 게시할 예정입니다. 

참조

[1] Dell Ready Solutions for HPC BeeGFS Storage:  https://www.dell.com/support/article/sln319381/
[2] BeeGFS 설명서:  https://www.beegfs.io/wiki/
[3] 동일한 서브넷에서 두 인터페이스를 연결하는 방법:  https://access.redhat.com/solutions/30564
[4] 외부 메모리를 사용한 PCI Express 직접 메모리 액세스 참조 디자인: https://www.intel.com/content/www/us/en/programmable/documentation/nik1412547570040.html#nik1412547565760