PowerScale OneFS:パフォーマンスに関する問題のトラブルシューティング

クライアント コンピューターのパフォーマンスが遅い。特定のジョブ、特にクラスター上で実行されるジョブが失敗するか、完了するまでに予想以上に時間がかかる。

パフォーマンスに関する問題は通常、ネットワーク トラフィック、ネットワーク構成の問題、クライアントまたはクラスターの処理負荷、またはその組み合わせによって発生します。この記事では、パフォーマンスに関する問題をトラブルシューティングする効果的な方法について説明します。

InsightIQを使用したトラブルシューティング

目次：

• Isilon InsightIQの使用方法
• InsightIQを使用しないトラブルシューティング
• ネットワーク・パフォーマンス
• クライアント接続の分散
• クラスター スループット
• クラスター処理
• キューに登録された操作
• CPU

Isilon InsightIQの使用方法

Isilon InsightIQを使用することは、パフォーマンスを監視し、パフォーマンスの問題をトラブルシューティングするための最良の方法です。

Isilon InsightIQ仮想アプライアンスを使用すると、InsightIQ Webベース アプリケーションの柔軟でカスタマイズ可能なチャート ビューを使用して、Isilonクラスターのアクティビティーを監視および分析できます。これらのチャートには、クラスターのハードウェア、ソフトウェア、ファイル システム、プロトコルの動作に関する詳細情報が表示されます。InsightIQは、パフォーマンスの異常値を強調する視覚的な情報にデータを変換し、ボトルネックの迅速な診断やワークフローの最適化を可能にします。

InsightIQの使用方法の詳細については、 PowerScale InsightIQ - Info Hubを参照してください。 

InsightIQを使用しないトラブルシューティング

InsightIQを使用しない場合は、さまざまなコマンドを実行してパフォーマンスの問題を調査できます。まず、ネットワークとクラスターのスループットを調べ、次にクラスターの処理を調べ、最後に個々のノードのCPUレートを調べることで、パフォーマンスの問題をトラブルシューティングします。

ネットワーク・パフォーマンス

次のようなネットワーク テスト ツールを使用します。 Iperf または Iperf3 を使用して、ネットワーク上のクラスターとクライアント コンピューターのスループット能力を判断します。

使い方 IperfIperfを使用して、クラスターとクライアントで次のコマンドを実行します。これらのコマンドは、ネットワーク リンクがレイテンシーの問題を生じた潜在的な原因であるかどうかを明らかにするのに十分なウィンドウ サイズを定義します。

• Cluster:

   iperf -s -w 262144

• クライアント： 

  iperf -c <cluster IP> -w 262144

使い方 Iperf3Iperfを使用して、クラスターとクライアントで次のコマンドを実行します。これらのコマンドは、ネットワーク リンクがレイテンシーの問題を生じた潜在的な原因であるかどうかを明らかにするのに十分なウィンドウ サイズを定義します。

• Cluster: 

  iperf3 -s -w 262144

• クライアント： 

  iperf3 -c <cluster IP> -w 262144

クライアント接続の分散

クラスターに接続されているNFSおよびSMBクライアントの数を確認して、1つのノードに集中していないことを確認します。

1. クラスター内の任意のノードでSSH接続を開き、「root」アカウントを使用してログインします。 root アカウンタビリティ
2. Dell Diagnostics（診断）プログラム

   isi statistics query current list --nodes=all --keys=node.clientstats.connected.nfs,node.clientstats.active.nfs -d

    コマンドを使用してNFSクライアントをチェックします。
   isi statistics query - nodes=all --stats=node.clientstats.connected.nfs,node.clientstats.active.nfs 出力には、ノードごとに接続されているクライアントの数と、各ノードでアクティブになっているクライアントの数が表示されます。
3. Dell Diagnostics（診断）プログラム

    isi statistics query current list --keys=node.clientstats.connected.smb,node.clientstats.active.smb1,node.clientstats.active.smb2 -n all -d 

   isi statistics query - nodes=all --stats=node.clientstats.connected.nfs,node.clientstats.active.nfs
   出力には、ノードごとに接続されているクライアントの数と、各ノードでアクティブになっているクライアントの数が表示されます。

クラスター スループット

ファイルの読み取りと書き込みに要する時間を測定するいくつかのテストを実施して、クラスターのスループットを評価します。次のように、少なくとも1つの書き込みテストと1つの読み取りテストを実施します。

1. クラスター内の任意のノードでSSH接続を開き、「root」アカウントを使用してログインします。 root アカウンタビリティ
2. [ /ifs にある次の各ログ ファイル： cd /ifs
3. クラスター上のコマンド ライン インターフェイス(CLI)またはUNIXまたはLinuxクライアント コンピューターから、 dd コマンドを実行して、新しいファイルをクラスターに書き込みます。
   次のコマンドを実行します。 dd if=/dev/zero of=1GBfile bs=1024k count=1024
   このコマンドは、1GBのサンプル ファイルを作成し、ディスクへの書き込みにかかった時間を報告します。
4. このコマンドの出力から、シングル ストリーム ワークフローでディスクに書き込み可能な1秒あたりのMB数を推定します。
5. Macクライアントを使用していて、さらに分析を行う場合は、次の手順を実行します。
   1. アクティビティー モニターを開始します。
   2. Dell Diagnostics（診断）プログラム cat /dev/zero > /pathToFile コマンドを使用します。ここで、 pathToFile は、ターゲット ファイルのファイル パスです
      このコマンドは、Isilonクラスターでの書き込み操作のスループットを測定するのに役立ちます。（ただし、Macクライアントから dd コマンドを実行すると、一貫性のない結果が得られる可能性があります）。
   3. アクティビティー モニターの［Network］タブで、コマンドの結果を監視します。

読み取り処理のスループットを測定する場合は、書き込みテスト中に作成したファイルに対して読み取りテストを実行しないようにしてください。このファイルはキャッシュされているため、読み取りテストの結果は不正確になる可能性があります。代わりに、キャッシュされていないファイルの読み取り処理をテストします。クラスター上で1GBを超えるファイルを見つけ、読み取りテストでそのファイルを参照します。

1. クラスター内の任意のノードでSSH接続を開き、「root」アカウントを使用してログインします。 root アカウンタビリティ
2. クラスター上のCLIまたはUNIXまたはLinuxクライアント コンピューターから、 dd コマンドを使用して、クラスター上のファイルを読み取ります。
   Dell Diagnostics（診断）プログラム dd if=/pathToLargeFile of=/dev/null bs=1024k コマンドを使用します。ここで、 pathToFile は、ターゲット ファイルのファイル パスです
   このコマンドは、ターゲット ファイルを読み取り、その読み取りにかかった時間を報告します。
3. Macクライアントを使用していて、さらに分析を行う場合は、次の手順を実行します。
   1. アクティビティー モニターを開始します。
   2. Dell Diagnostics（診断）プログラム time cp /pathToLargeFile > /dev/null コマンドを使用します。ここで、 pathToFile は、ターゲット ファイルのファイル パスです
      このコマンドは、Isilonクラスターでの読み取り操作のスループットを測定するのに役立ちます。（ただし、Macクライアントから dd コマンドを実行すると、一貫性のない結果が得られる可能性があります）。
   3. アクティビティー モニターの［Network］タブで、コマンドの結果を監視します。

クラスター処理

クラスターの入出力(I/O)操作(IOPS)を調べる前に、次の手順を実行します。

• クラスターで実行されているジョブを確認します。AutoBalance、Collect、MultiScanなどの再ストライピング ジョブが実行されている場合は、それらのジョブが実行されている理由と、実行を続行する必要があるかどうかを検討します。
  • これらのジョブは、クラスター イベント「Event 400100008: "File operations took longer than expected."」を生成する可能性があります。
• 使用されているデータのタイプを考慮します。クライアント コンピューターで大容量のビデオ ファイルまたは仮想マシン(VM)を操作している場合、再ストライピング ジョブには通常よりも多くのディスクIOPSが必要です。
• 再ストライピング ジョブを一時停止することを検討してください。これにより、パフォーマンスが大幅に向上し、パフォーマンスの問題に対する有効な短期的なソリューションになる可能性があります。

SmartPoolsジョブ。

ジョブの実行中に、NFSおよびSMBクライアントのパフォーマンスが低下する可能性があります。

• SmartPoolsジョブの優先度の決定

 isi job status

• •  ポリシーの影響を低減

isi job types modify SmartPools --policy LOW

• • 優先度の調整

isi job types modify SmartPools --priority 7

• • ポリシーを営業時間外にスケジュールする

isi job types modify SmartPools --policy OFF_HOURS

• • 階層数を5未満に維持して、階層構成を確認

ディスクI/O
ディスクI/Oを調べると、特定のディスクが過剰に使用されているかどうかを判断するのに役立ちます。

クラスター別

1. クラスター内の任意のノードでSSH接続を開き、「root」アカウントを使用してログインします。
2. Dell Diagnostics（診断）プログラム

   isi statistics pstat

    ディスク I/O を確認するコマンド。
3. このコマンドの出力から、ディスクIOPSをクラスター内のディスクの合計数で除算します。たとえば、Isilon IQ 12000xノードを使用する8ノード クラスターでは、ノードあたり12台のドライブをホストし、ディスクIOPSを96.
   で除算します。Xシリーズ ノードとNLシリーズ ノードの場合、100%ランダム ワークフローではディスクIOPSが70以下、100%シーケンシャル ワークフローではディスクIOPSが140以下になることが予想されます。NLシリーズ ノードは、Xシリーズ ノードよりもRAMが少なく、CPU速度が遅いため、Xシリーズ ノードはより高いディスクIOPSを処理できます。

ノード別およびディスク別

1. クラスター内の任意のノードでSSH接続を開き、「root」アカウントを使用してログインします。
2. Dell Diagnostics（診断）プログラム

   isi statistics query current --nodes=all --stats=node.disk.xfers.rate.sum --format=top

    コマンドを使用してノードごとにディスクIOPSを確認します。これは、過剰に使用されているディスクを検出するのに役立ちます。
3. Dell Diagnostics（診断）プログラム

   isi_stats_tool -a get_key_info|grep node.disk.xfer

    コマンドを使用して、ディスク単位で統計情報のクエリーを実行する方法を決定します。

キューに登録された操作

ディスクが過剰に使用されているかどうかを判断するもう1つの方法として、クラスター内の各ディスクに対してキューに登録されている操作の数を確認する方法があります。単一ストリームのSMBベースのワークフローでは、4件のキューで問題を示す場合があります。一方で、並行性の高いNFSネームスペース操作では、キューははるかに大きくなる可能性があります。

1. クラスター内の任意のノードでSSH接続を開き、「root」アカウントを使用してログインします。 root アカウンタビリティ
2. Dell Diagnostics（診断）プログラム

   isi statistics drive list --nodes=all --sort=queued -d

    コマンドを使用して、クラスター内の各ディスクに対してキューに登録されている操作の数を決定します。
3. 操作がキューに入っていた時間を確認します。 

   isi statistics drive list --nodes=all --sort=queued -d 

CPU

CPUの問題は、多くの場合、クライアントがクラスターで実行している操作に原因があります。オプティカルディスクドライブの isi statistics ネットワーク プロトコルまたはクライアント コンピューターによってカタログ化されたクラスターで実行されている操作を確認できます。

1. クラスター内の任意のノードでSSH接続を開き、「root」アカウントを使用してログインします。 root アカウンタビリティ
2. Dell Diagnostics（診断）プログラム

   isi statistics protocol list --long --totalby Op,proto -d --sort TimeAvg --format top

    次のコマンドを実行して、ネットワーク全体で実行されている操作を確認し、これらの操作のうち最も時間がかかる操作を評価します。
   このコマンド出力は、クラスターがクライアントに応答するのに要する時間別に整理された、すべてのネットワーク プロトコルの詳細な統計情報を提供します。このコマンドの結果では、どの操作が最も遅いかを特定できないかもしれませんが、正しい方向を示すことができます。
3. Dell Diagnostics（診断）プログラム

    isi statistics system --nodes all --format top 

   コマンドを使用して、どのノードの CPU が最も頻繁に使用されているかなど、CPU 処理に関する詳細情報を取得します。
4. Dell Diagnostics（診断）プログラム

   isi_for_array -sX 'top -u -n |grep PID -A4'

    CPUリソースを最も消費している各ノードの4つのプロセスを取得するには、次のコマンドを実行します。

• PowerScale OneFS情報ハブ
• PowerScale OneFSの現在のパッチ