2019年4月にHPCおよびAIイノベーション ラボのVarun Bawa、Savitha Pareek、Ashish K Singhによって作成された記事

プロセッサーの設定:

• 隣接キャッシュ ラインのプリフェッチ: 隣接キャッシュ ライン プリフェッチ メカニズムを使用すると、自動ハードウェア プリフェッチが可能になり、プログラマーの介入なしに動作します。有効にすると、追加のキャッシュ ラインが要求されているかどうかに関係なく、2 つの 64 バイト キャッシュ ラインを 128 バイト セクターに収容できます。
• ソフトウェア プリフェッチャ: 必要になる前にデータをキャッシュにロードすることで、ストールを回避します。Example: L2プリフェッチ命令で使用する前にメインメモリからL2キャッシュにデータをプリフェッチし、L1プリフェッチ命令で使用する直前にL2キャッシュからL1キャッシュにデータをプリフェッチすること。ここで有効に設定すると、プロセッサーはメモリー リクエストごとに追加のキャッシュ ラインをプリフェッチします。
• SNC(サブNUMAクラスター): SNC を有効にすることは、1 つのソケットを 2 つの NUMA ドメインに分割し、それぞれに物理コアの半分とソケットのメモリの半分を持たせることと似ています。実用性はインテルXeon E5-2600 v3およびv4プロセッサーで利用可能だった Cluster-on-Dieオプション と似ています。SNCはCODとは異なる方法で実装されており、これらの変更により、クラスター オン ダイ オプションを使用していた旧世代と比較して、Cascade Lakeのリモート ソケット アクセスが改善されています。オペレーティング システム レベルでは、SNC が有効になっているデュアル ソケット サーバーには 4 つの NUMA ドメインが表示されます。2つのドメインは(同じソケット上で)互いに近くなり、他の2つはUPIを渡ってリモート ソケットまで遠く離れています。これは、次のようなOSツールを使用して表示できます。numactl –H に示されており、図 1 に示されています。

システム プロファイル:

• パフォーマンス
• WattDAPあたりのパフォーマンスC
• WattOSあたりのパフォーマンス

表1：アプリケーションとベンチマーク

表2 サーバー構成

• ストリーム – ストリーム ベンチマークによって報告されたトライアド スコア。
• HPL:GFLOP/秒。
• Fluent - Fluent によって報告されたソルバー評価。
• WRF – 円錐 2.5 km の過去 719 インターバルで計算された平均時間ステップ

ベンチマークとアプリケーションの結果

グラフ表記の略語:

システム プロファイル:

パフォーマンス – パフォーマンスOS – パフォーマンスPerWattOS DAPC – パフォーマンスPerWattDAPC
サブNUMAクラスタリング: SNC = 0 (SNC = 無効): SNC = 1(SNC = 有効: グラフではストライピングとして書式設定)
SW – Software Prefetcher: SW = 0(SW = 無効): SW = 1(SW = 有効)

• ソフトウェアのプリフェッチによるHPLパフォーマンスの差は1%未満です。
• HPL パフォーマンスに対する SNC の大きな影響はありません (SNC=Disabled で 0.5% 向上)。
• パフォーマンス システム プロファイルは、OSおよびDAPCと比較して最大6%優れています。

 

• SNC=enabled使用時のメモリー帯域幅が最大3%向上。
•  STREAMメモリー帯域幅でのソフトウェア プリフェッチによるパフォーマンスの偏差はあまりありません。 
•  システム プロファイル間の逸脱なし。

  

図4は、このような構成でのストリーム トライアド メモリー帯域幅スコアを示しています。フル システム メモリー帯域幅は~220 GB/秒です。ローカル ソケット上の20個のコアがローカル メモリーにアクセスする場合、メモリー帯域幅は~109GB/秒で、これは全システム帯域幅の半分です。この半分(~56 GB/秒)は、ローカル メモリーにアクセスする同じNUMAノード上の10スレッドと、同じソケット上の他のNUMAノードに属する1つのNUMAノード アクセス メモリー上の10スレッドのメモリー帯域幅です。スレッドがリモート ソケット上のQPIリンクを介してリモート メモリーにアクセスすると、メモリー帯域幅が42%低下して~33GB/秒になります。これは、データがローカルでない場合にSNCモードで大幅な帯域幅のペナルティがあることを示しています。

• SNC=Enabledでパフォーマンスが2%向上。
•  ソフトウェア プリフェッチの有効化と無効化でパフォーマンスに差はありません。
•  パフォーマンス プロファイルは、PerformancePerWattDAPCプロファイルよりも1%優れています

 

• SNC=Enabledを使用すると、パフォーマンスが最大4%向上します。
• ソフトウェア プリフェッチによるパフォーマンスへの影響はありません。
• パフォーマンス プロファイルを使用すると、DAPCおよびOSプロファイルと比較してパフォーマンスが最大2%向上します。

結論

• ソフトウェア プリフェッチ は、テストされたデータセットに大きなパフォーマンス インパクトを与えません。したがって、ソフトウェアプリフェッチャーをデフォルト(有効)のままにしておくことをお勧めします
• SNC=Enabled の場合、Fluent と Stream では 2 から 4% のパフォーマンス向上、SNC = Disabled と比較して WRF では約 1% 向上します。したがって、パフォーマンスを向上させるには、 SNC を有効にすることをお勧めします 。
• パフォーマンス プロファイルは、PerformancePerWattDAPCおよびPerformancePerWattOSよりも2〜4%優れています。そのため、HPC のパフォーマンス プロファイルをお勧めします 。