最新のDell EMCストレージを使用したNFSストレージ ソリューション -- パフォーマンス結果
Summary: HPCハイパフォーマンス コンピューティング, HPCおよびAIイノベーション ラボ, HPCストレージ, HPCストレージ ソリューション, NFSストレージ ソリューション, XFSストレージ, NFSストレージ, ストレージ ソリューション, RHEL7, RHEL7.5, IB EDRストレージ, NSS, NSS-HA, NSS7.3, NSS7.3-HA, IOZone, MDTest ...
Symptoms
作成者:Mario Gallegos、Xin Chen共著、HPC and AI Innovation Lab、2018年10月
Cause
Resolution
概要
最新のDell EMC Ready Solution for HPC NFS Storage (NSS) with High AvailabilityバージョンはNSS7.3-HAで、今月下旬にリリースされる予定ですNSSのこのリリースには、新しい Dell EMC PowerVault ME4084ストレージ アレイとRed Hat Enterprise Linux 7.5が組み込まれています。また、引き続きインテルXeonスケーラブル・プロセッサー・ファミリーのCPU(アーキテクチャ・コードネームSkylake)を使用して、以前のNSS-HAソリューションよりも高いシステム全体のパフォーマンスを提供します。このブログでは、この最新バージョンのNSSソリューションのI/Oパフォーマンステストの結果を紹介します
図1は、NSS7.3-HA構成の設計を示しています。NSS7.3-HAとその直前のNSS7.2-HAの主な違いは次のとおりです。
- バック エンド ストレージ アレイ:
- NSS7.2-HA: PowerVault MD3460 + オプションのMD3060e(HDD 60台または120台)
- NSS7.3-HA: PowerVault ME4084(HDD 84台)
- オペレーティングシステム:
- NSS7.2-HA: RHEL 7.4
- NSS7.3-HA: Red Hat® Enterprise Linux® 7.5
NSS7.2-HAおよびNSS7.3-HAからのもう一つの大きな改善点は、最大容量の大幅な増加です。NSS7.2-HAは、Red Hat XFSの現在のサポート上限である500 TBに制限されていますが、Dell EMCとRed Hatは、当社のラボでの広範なテストと検証の後、最大768 TBの使用可能容量を持つNSS7.3-HA構成をサポートする協力契約を締結しました。これは、12 TB HDDまたは1008 TBのロー ストレージ スペースをフル装備したDell EMC PowerVault ME4084です。
NSS-HAアーキテクチャ
図1は、NSS 7.3のアーキテクチャを点線の長方形の中に示したもので、クライアントとパブリック・ネットワーク・スイッチを含む一般的なテスト・ベッドに組み込まれています。図1NSS7.3-HA 1008 TBのロー・スペース(使用可能容量768 TB) アーキテクチャとテスト・ベッド
次の表は、新しいNSS HA 7.3ソリューションのさまざまなコンポーネントをまとめたものです。
|
NSS7.2-HAリリース(2018年4月) |
NSS7.3-HAリリース(2018年10月) |
|
|
ソフトウェア |
Red Hat Enterprise Linux 7.4、 Red Hat Scalable File System(XFS)v4.5.0-12 |
Red Hat Enterprise Linux 7.5、 Red Hat Scalable File System(XFS)v4.5.0-15 |
|
NFSサーバー |
2台のDell PowerEdge R740サーバー。 |
|
|
外部ネットワーク接続 |
EDR InfiniBand、10 GbE、またはインテルOmni-Path。 |
|
|
内部接続 |
ギガビットEthernet、スイッチ Dell Networking S3048-ON |
|
|
OFEDのバージョン |
Mellanox OFED 4.3-1.0.1.0 |
Mellanox OFED 4.4-1.0.0 |
|
Direct Storage接続 |
12 Gbps SAS接続。 |
|
|
ストレージ サブシステム |
Dell EMC MD3460 + オプションのMD3060e。 60 – 120 – 3.5インチNL SAS 4 TBドライブ。 |
Dell EMC PowerVault ME4084。 84:3.5インチNL SASドライブ、最大12TB。 |
新しいPowerVault ME4084ストレージでは、基本構築ユニットとしてリニア8+2 RAID 6を引き続き使用します。新しいチャンク サイズ(セグメント サイズ)は128 KiBで、パフォーマンスを最適化するために先読み値として「ストライプ サイズ」が選択されています。また、現在84台のドライブがあるため、RAID 6に基づく8つのLUNと、障害が発生したディスクを直ちに交換するように構成された4台のグローバル スペアHDDがあります。つまり、このソリューションでは最大768 TBの使用可能容量を確保できます。
NSS7.3-HA I/Oパフォーマンス
このブログでは、現在のNSS-HAソリューション、つまりNSS7.3のI/Oパフォーマンステストの結果を紹介します。すべてのパフォーマンス テストは、ソリューションの最大機能を測定するために、HAの障害のないシナリオで実施されました。テストでは、大規模なシーケンシャルな読み取りと書き込み、小規模なランダム読み取りと書き込み、3つのメタデータ操作(ファイルの作成、統計、削除)の3種類のI/Oパターンに焦点を当てました
ベンチマーク テスト用のワークロードを生成するために、32ノードのコンピューティング クラスターを使用しました。クライアントと1008 TB(ロー ストレージ サイズ)のNSS構成は、InfiniBand EDRを使用して接続し、ファイル システムはIPoIBを介してマウントしました。各I/Oベンチマーク テストは、ソリューションの拡張性をテストするために、さまざまなクライアントに対して実行されました。使用されるクライアントの詳細を次の表に示します。
| サーバー モデル | PowerEdge C6420 |
| サーバーの数 | 32サーバー クラスター |
| CPU | インテル(R) Xeon(R) Gold 6148 CPU @ 2.40 GHz |
| RAM | 192 GiB |
| オペレーティングシステム | Red Hat Enterprise Linux Serverリリース7.4 |
| カーネル | 3.10.0-693.17.1.el7.x86_64 |
| ネットワークアダプタ | Mellanox ConnectX-4 VPI IB EDR/100 GbEシングル ポートQSFP28 |
| OFEDのバージョン | MLNX_OFED-4.3.1.0.1.0 |
この調査では、 IOzone ベンチマークと MDtest ベンチマークを使用しました。IOzone は、シーケンシャル テストとランダム テストに使用されました。シーケンシャル テストでは、1024 KiB の要求サイズが使用されました。転送されたデータの合計量は256 GiBで、NFSサーバー キャッシュが飽和状態になるようにしました。ランダム テストでは、4 KiB の要求サイズを使用し、各クライアントは 4 GiB のファイルを読み書きしました。メタデータ テストは、OpenMPIで MDtest ベンチマークを使用して実行され、ファイルの作成、統計、削除操作が含まれていました。(テストで使用される完全なコマンドについては、 NSS7.0-HAホワイトペーパー の付録Aを参照してください。
IPoIBのシーケンシャルな書き込みと読み取り
図2と図3は、シーケンシャルな書き込みと読み取りのパフォーマンスを示しています。テスト クラスターには 32 のノードがあったため、それぞれ 2 つのスレッドを実行している 32 のクライアントを使用して 64 スレッドのデータ ポイントを取得しましたNSS7.3-HAの場合、ピーク・リード・パフォーマンスは7 GB/秒、ピーク・ライト・パフォーマンスはほぼ5 GB/秒です。この2つの図から、現在のNSS7.3-HAソリューションは、以前のバージョンよりもシーケンシャル パフォーマンスの数値が高いことが分かります。読み取りパフォーマンスは最大18.7%向上しますが、ライト パフォーマンスは特に向上しており、以前のソリューションの最大2.65倍(16スレッド)のパフォーマンスになっています。ピーク性能値を比較すると、NSS7.3-HAでは書き込みが2.13倍、読み取りが12.5%向上しています
これは、HDDを含むすべてのPowerVault ME4084内部コンポーネントのSAS内部速度が12 Gbpsに向上し(PowerVault MD3460は6 Gbps)、LUNあたりのスループットが向上したことが一因ですが、旧世代のPowerVault MD3よりも高速に情報を処理できる新しいストレージ コントローラーによっても挙げられます。
図2IPoIB 大規模シーケンシャル書き込みパフォーマンス
図3IPoIB 大規模シーケンシャル読み取りパフォーマンス
IPoIBランダム書き込みおよび読み取り
図4と図5は、ランダム書き込みおよび読み取りパフォーマンスを示しています。図からわかるように、ランダム書き込みは32スレッドでピーク パフォーマンスを達成しますが、以前のバージョンのソリューションではピークが64スレッドでした。ランダム読み取りパフォーマンスは、NSS7.3では最大32クライアントまで着実に向上し、以前のソリューションでは16クライアントでピークに達しました。繰り返しになりますが、この新しいストレージは、先行モデルよりも優れたパフォーマンスを示しており、前世代と比較して書き込みパフォーマンスが最大3.44倍(2スレッド)向上し、読み取りパフォーマンスが85%向上(32スレッド)しています。ピーク時のパフォーマンスを比較すると、ランダム書き込みで約13%、ランダム読み取りで約85%の差があります。これらの改善は主に、PowerVault MD3460コントローラーと比較して高速な処理能力を備えた新しいPowerVault ME4084コントローラーによるものです。
図4。IPoIBランダム書き込みパフォーマンス
図5IPoIBランダム読み取りパフォーマンス
IPoIBメタデータの操作
図6、図7、図8は、それぞれファイル作成、stat、および削除操作の結果を示しています。HPCコンピューティング クラスターには32個のコンピューティング ノードしかないため、次のグラフでは、クライアント数は最大32で各クライアントは最大1スレッドを実行し、スレッド数が64、128、256、512の場合、各クライアントは2、4、8、または16の同時操作(スレッド)を実行しました。ファイル作成の場合、以前のソリューションと比較すると、新しいソリューションでは、32台のクライアントでピーク時の差(208%)で約2倍のパフォーマンスが持続的に向上し、その後わずかに低下していますが、256スレッドでの両ソリューションのピーク パフォーマンスを比較しても、新しいソリューションの方が30%高速です
統計操作は、新しいストレージによって最も改善されています。256スレッドで前世代の7.7倍にも改善されており、ピークパフォーマンスを比較すると、NSS7.3は以前のバージョンのNSSよりも1秒あたりの統計操作数がほぼ6倍です。
最後に、削除操作は比較的わずかに改善されており、ほとんどのデータポイントは以前のソリューションよりも33%以上のパフォーマンスを発揮しています。ただし、128スレッドではパフォーマンスが2.21倍向上しています。ピーク時のパフォーマンスでは、新しいストレージは以前のNSSシステムと比較して約55%高いパフォーマンスを達成します
これらの改善はすべて、SAS3の速度(12 Gbps)を使用したより高速なHDDと、より高いIOPSと帯域幅が可能な新しいPowerVault ME4084コントローラーによるものです。
図6IPoIBのファイル作成パフォーマンス
図8IPoIBのファイル削除パフォーマンス
結論および今後の計画
NSS-HAソリューションは、さまざまな世代のソリューションで、高可用性、高パフォーマンス、大容量のストレージを継続的に提供するために、多くのハードウェアとソフトウェアの更新が行われてきました。これらのすべてのバージョンで、NSS-HAソリューション ファミリーのコア アーキテクチャ設計に変更はありません。NSS7.3-HAと以前のリリース(NSS7.2-HA)のパフォーマンスの違いを示すために、両方のソリューションのパフォーマンス数値を比較したところ、PowerVault ME4084に基づくソリューションの最新バージョンのソリューションの優れたパフォーマンスが示されました。
- シーケンシャル書き込みが最大2.65倍、読み取りパフォーマンスが最大18.7%高速化します。
- ランダム書き込みのパフォーマンスは最大3.44倍、ランダム読み取りのパフォーマンスは最大85%高速化します。
- 作成率は最大2.1倍、統計速度は7.7倍、削除率は最大2.2倍です。
次のフェーズでは、Intel Omni-Pathアダプタに接続されたNSS7.3-HAソリューションの特性評価を行います。NSS-HAソリューションの詳細については、公開されているホワイトペーパーを参照してください。
- Dell HPC NFS Storage Solution High Availability Configurations、リリース バージョン NSS2-HA(2011年4月公開)。
- Dell HPC NFS Storage Solution High Availability Configurations with Large Capacities、リリース バージョン NSS3-HA(2012年2月に公開)。
- Dell HPC NFS Storage Solution High Availability (NSS-HA) Configurations with Dell PowerEdge 12th Generation Servers、リリース バージョンNSS4-HA(2012年7月に公開)。
- Dell HPC NFSストレージ ソリューション - Dell PowerVault MD3260/MD3060eストレージ アレイでの高可用性(NSS-HA)構成、リリース バージョン NSS4.5-HAアップデート、2013年5月公開。
- Dell HPC NFSストレージ ソリューション - 高可用性NSS5-HA構成、リリース バージョン NSS5.0-HA(2013年9月公開)。
- Dell HPC NFSストレージ ソリューション - Dell PowerVault MD3460およびMD3060eストレージ アレイでの高可用性(NSS5.5-HA)構成、リリース バージョンNSS5.5-HA(2013年9月発行)。
- 『Dell HPC NFS Storage Solution - High Availability (NSS6.0-HA) Configuration with Dell PowerEdge 13th Generation Servers』、リリース バージョンNSS6.0-HA（2014年11月公開）。
- 「Dell HPC NFS Storage Solution - High Availability (NSS7.0-HA) Configuration」、リリース バージョンNSS7.0-HA（2016年5月公開）。
メモ:カスタマイズされた構成/導入については、特定のガイドラインについてDell EMC担当者にお問い合わせください。