「Data Domain：Data Domain Virtual Editionのパフォーマンスに関する問題をトラブルシューティングする方法

VMホスト アプライアンスのネットワーキングと接続：

Ethernet I/O：

ホスト アプライアンスへのデータ転送接続にEthernetアグリゲーションを使用する場合、Ethernetアグリゲーションの構成があるからといって負荷のバランスが適切に調整されるわけではありません。VMホスト アプライアンスに対して、I/O処理に制限が発生しないよう、適切なロード バランシング手法と帯域幅を設定する必要があります。

VMホスト アプライアンスからディスク ストレージへの接続：

接続タイプとプロトコルは、DDVE VMのパフォーマンス機能に大きな影響を与えます。以下に、VMホスト アプライアンスとディスク ストレージの間で最も一般的に使用される接続タイプを示します。オプション1は、パフォーマンスを最大限引き出すことができ、オプション5は最低レベルの接続オプションです。また、HBA書き込みキャッシュ設定も、ホスト アプライアンスとディスク ストレージ間のパフォーマンス機能に大きく影響する可能性があります。ホスト アプライアンスからディスク ストレージへのパフォーマンスを最大限に高めるため、HBAで書き込みキャッシュを有効にすることをお勧めします。

1. 直接接続型ストレージ - RAID 5またはRAID 6のSASディスク/SSD + HBA書き込みキャッシュ有効（最適なパフォーマンスを得るために推奨）
2. 直接接続型ストレージ - RAIDなしのJBOD + HBA書き込みキャッシュ有効（許容可能なパフォーマンスですが、推奨されるRAID保護がありません）
3. FC接続型外部RAIDストレージ（アクティブ/アクティブ16 GB以上）（許容可能なパフォーマンスですが、FCパフォーマンス機能によって制限される場合があります）
4. iSCSI 10G（外部ディスク ストレージ）（非推奨）
5. NFS 10G（外部ディスク ストレージ）（非推奨）

物理ストレージ アレイ、統計情報、パフォーマンスを確認する：

ディスク品質、ディスク サイズ、ディスク数量の関係：

高密度ドライブ（4+ TBなど）は、小容量のドライブよりもTBあたりのIOPSが少なくなります。そのため、多数の小容量TBドライブに導入されたDDVEは、少数の大容量TBドライブに導入されたDDVEよりも高速なパフォーマンスを発揮します。これは、DDVEがランダム読み取りパフォーマンスに大きく依存しているためです。DDVEの通常のワークロードでは、物理ディスクのサイズと数量の間の関係がさらに顕著になる可能性があるため、ストレージ システムのバランスが取れていて、該当するDDVEベスト プラクティス ガイドに記載されている要件を満たしていることを確認してください。この記事では、個々の物理HDDとSSDのタイプ、およびそれらのパフォーマンス機能については説明しません。この情報は、ディスクの製造元から入手できます。ですから、物理ディスクのパフォーマンスが高いほど、DDVE VMのパフォーマンスも向上すると言えます。

ストレージのトラブルシューティング：

DDVE VMに関連付けられている物理ディスクのレイテンシーを確認します。

VMwareの場合、これを確認するには、お使いのVMを選択し、［Performance］タブを選択して、ドロップダウンから［Datastore］を選択します。特定のDDVE VMに関連するすべてのデータストアが表示されます。最後に、［Advanced］ボタンを選択すると、DDVE VMに関連付けられているデータストアのレイテンシーに関する詳細がグラフィカルに表示されます。

図1: データストアのパフォーマンス

データストアのI/O負荷を確認するには、データストアによって処理されているIOPSを計算します。

前と同じグラフから開始しますが、［Chart Options］を選択し、［Write latency and Read latency］をオフにして、［Average read requests per second］と［Average write requests per second］の2つの値を選択します。結果のグラフには、データストアが実行しているIOPS数が表示され、DDVEストレージ「dev」がデータストアにかけている全体的な負荷をある程度把握できます。この出力は、データストアが非DDVEアプリケーションからのワークロードと共有されているかどうかを区別するのにも役立ちます。

図2：［Chart Options］

IOPSの詳細を確認するには、読み取り/書き込み比率を確認します。

設計上、DDVEでは通常、ディスク ストレージからの読み取りは書き込みの2倍から4倍になります。この例外は、バックアップのgen-0（シーディング）中に発生します。このとき、まったく新しいデータが書き込まれ、重複排除できません。前述の理由により、DDVEで使用される物理ストレージは、主に読み取り中心でありながらも混在したランダムなData Domainファイル システムのワークロードを効率的に処理できる必要があります。

物理ディスク ストレージ アレイ（SSD、磁気ディスクなど）では、読み取りを効率的に処理する能力が書き込みと比べて大きく異なる場合があります。物理ディスク ストレージ システムが提供する優れたランダム読み取りIOPSパフォーマンスと、低レイテンシー（40ミリ秒未満）は、データストアがDDVE VMで許容可能なパフォーマンス特性を満たしているかどうかを判断する上で最も重要な要素です。

ストレージ アレイまたはデータストアのパフォーマンスを詳しく調査する必要がある場合は、vscsiStatsというコマンドライン ツールを使用できます。vscisistatsを活用してブロック長、レイテンシー、およびより詳細な読み取り/書き込みパフォーマンス統計を取得する方法の詳細については、VMwareサポートにお問い合わせください。

リソースのプロビジョニングがDDVEの要件を満たしていることを確認する：

多くの場合、DDVE VMのパフォーマンスに関する問題の原因は、DDVE VMで使用可能なリソースを制限する構成済みの設定に起因している可能性があります。一般に、制限付きのリソース プールは、DDVE VMの全体的なパフォーマンスを制限するだけであるため、お勧めしません。逆に、リソースの予約によってDDVE VMの全体的なパフォーマンスを向上できます。DDVE VMの導入、トラブルシューティング、パフォーマンスのチューニングを行う場合は、必ずDDVEのベスト プラクティスおよび管理ガイドを参照して構成を行ってください。

［Resource Allocation］タブを選択して、リソース割り当ての検証を開始します。次に、VMのプールからトラブルシューティングを行うDDVE VMを選択します。［View］セクションで［CPU］を選択し、そのプール内のすべてのVMを確認します（問題のあるVMもそこにあると仮定します）。［Limit - MHz］の値が［Unlimited］に設定されていることを確認します。DDVE VMのCPUリソースを制限することは推奨されません。これを制限すると、パフォーマンスが低下します。

図3：［Resource Allocation］

次に、DDVE VMに割り当てられたメモリー リソースの確認に進みます。最適なパフォーマンスが得られるように、メモリー リソースが適切に「予約(Reserved)」され、［Unlimited］に設定されていることを確認します。DDVEのメモリー割り当てに制限を設定することは推奨されません。これを制限すると、パフォーマンスが低下します。

図4：メモリー リソース

［Storage］タブで、ストレージIOPSに制限がないことを確認します。［Storage］ボタンを選択し、ディスク/データストアを表示します。DDVE VMに関連付けられている各ディスクの［Limit - IOPS］値は、［Unlimited］に設定されている必要があります。

図5：ストレージ リソース

前述の3つのリソース カテゴリーについて、［% Shares］の値に注意してください。［% Shares］の値は、その特定のVMがリソース プール全体から取得している共有の割合を示します。［Shares Value］は相対的なものであり、絶対的なものではありません。ただし、プール内のすべてのデバイスの値に大きな差異がないことを確認してください。例えば、1000、2000、または3000は予想できますが、10、5、4000などの値は、差異が大きく、リソースが不平等に共有されていることを示します。1つのVMの値が大きく異なる場合は、［Shares Value］設定の変更を検討する必要があります。

DDVE VMのパフォーマンス統計情報を確認する：

効率的にDDVE VMを実行するには、パフォーマンスを最大限引き出すために、リソースへの無制限のアクセスが必要です。DDVEは、メモリーとCPUを多用するため、問題なく制限することはできません。DDVE VMを本番環境に配置したら、［Performance］タブのグラフとチャートを活用して、リソースの使用状況を評価できます。これらを使用して、どの程度効率的に機能しているかを判断できます。

CPU

トラブルシューティングを行うDDVE VMを選択します。次に、［Performance］タブを選択します。［Switch to:］で、ドロップダウンから［CPU］を選択します。このビューから、DDVE VMが消費しているCPUの量と割合を評価できます。DDVE VMによるCPU使用率がリソース全体に対して高い割合を占めている場合、そのホスト アプライアンスはDDVE VMを最大限に活用するのに適していない可能性があります。

図6：CPUのパフォーマンス

メモリー

VMの応答が遅いと思われる場合は、CPUにスケジュールの問題が発生している可能性があります。CPUの効率を評価するには、前のチャートから開始し、もう一度［Chart Options］を選択します。［Counters］のすべてをクリアしてから、［Ready］を選択します。これにより、VirtualCPU(s)の準備完了時間が表示されます。このミリ秒の値は、VMを起動する準備が整うまでの時間を示しますが、ハイパーバイザーは適切なタイミングでCPUをタスクに割り当てることができません。最適なDDVE VMパフォーマンスを実現するには、この値を8ミリ秒未満にする必要があります。 

図7：CPUの準備完了時間

メモリーのパフォーマンスと可用性も、DDVE VMの全体的なパフォーマンスを制限する要因になる可能性があります。必要な量の予約済み物理メモリーを使用してDDVE VMが構成されていない場合は、アクティブなアラートが生成されます。DDVE CLIで # alerts show current を実行してアクティブなアラートを確認し、必要に応じて解決します。

DDVE VMに使用可能なメモリー リソースが十分にない場合、DDVE VMはメモリー ページをディスクにスワップして応答します。これは望ましくない状態であり、パフォーマンスが著しく低下します。DDVE VMのアクティブなメモリー使用量を評価するには、まず［Performance］タブを選択し、［Switch to:］ボックスから［Memory］を選択します。

既定では、グラフには［Active］、［Granted］、［Balloon］、および［Consumed］というメモリーの値が表示されます。最適なパフォーマンスを得るために、アクティブなメモリーが［Granted］のメモリー値の約35～50%であることを確認します。［Active］メモリー値が［Granted］メモリーの60%に近づくと、DDVE VM内でスワッピングが発生するシナリオに入る可能性があります。

図8：メモリー パフォーマンス

DDVE VMが「ベスト プラクティス」と推奨される構成に適合していることを確認する：

パフォーマンスの問題をトラブルシューティングする場合、確認すべき事項が多数あり、DDVE VM自体からログを収集する必要があります。DDVEサポート ケースを開く前に、まずDDVEの構成が推奨されるベスト プラクティスと設定に適合していることを確認します。実行しているDDVEのバージョンとホスト プラットフォームについては、サポート サイトのドキュメントを参照してください。

パフォーマンス統計情報を収集する：

1. 次のCLIコマンドとツールから結果を収集して、基盤となるディスク ストレージを評価し、構成が選択したDDVE容量をサポートするために必要なパフォーマンス レベルを満たしていることを確認します。

• DDVEに接続されている各ディスク デバイスに対して、ディスク アセスメント テスト(DAT)を実行します。DDVE管理ガイドの「パフォーマンス監視」セクションには、DATツールを使用するタイミングと方法に関する詳細な手順が記載されています。
• 取得したI/Oのタイプに基づいてDATテストを実行します。「 with-vnvram 」オプションを使用する必要があります。一部のユーザーは、Boostを使用してバックアップを実行し、NFSを使用して読み取りアクセスを取得します。その場合は、 with-vnvram フラグを使用する必要はありません。
• DATツールの使用は、クラウドに導入されたDDVE（Microsoft Azure、Amazon AWS）ではサポートされていません。

2. パフォーマンスのトラブルシューティングに必要な情報を収集するためのDDVE CLIコマンド：

• #alerts show current
• #system vresource show required
• #system vresource show current
• #storage show all （スピンドル グループの割り当てがベスト プラクティスを満たしていることを確認します）
• #cd /ddr/var/log/debug/kern.info/disk_perf/perf.log （レイテンシーとデバイスごとのIOPSを確認します）
• #system show performance （最適な構文を使用して、通常のDDVE I/O負荷中にCLI出力の表示を絞り込みます）
  • #system show perf custom-view protocol-latency duration 1 hr interval 3 min
  • #system show perf custom-view utilization duration 1 hr interval 3 min
  • #system show perf custom-view iops duration 1 hr interval 3 min
  • #system show perf custom-view streams duration 1 hr interval 3 min
• #disk show performance <dev2> （複数のdevを入力すると、完全なビューを取得できます）

 Disk                            Read                                                   Write                                             Read+Write
            KiB/sec IOPs    Resp(ms)  Ops >1s   KiB/sec     IOPs  Resp(ms)   Ops >1s   MiB/sec   IOPs   Resp(ms)    Random     Busy
----   ------------------------------   ------------------------------   ----------------------------------------  ----------------------------------------  ----------------------------------------
dev2   0             0       3.63               0               0           0     7172.87         4801       0.000       0        2486.26           81.64%    0.01%
----   ------------------------------   ------------------------------   ----------------------------------------  ----------------------------------------   ----------------------------------------

3. # vserver CLIを使用してDDVEパフォーマンス情報を収集する方法については、「 # vserver CLIを使用してDDVEパフォーマンス情報を収集する方法（英語）」を参照してください。

• #se # vserver の出力（I/O負荷中）（バンドルを作成する前にVServerが構成および開始されている場合、出力はバンドル アップロードの一部となります）。

                                SE@localhost## vserver config set host 12x.xxx.90.xx 
                                The SHA1 fingerprint for the vServer's CA certificate is
                                D1:71:7C:57:3F:3D:3D:3xxxxxxxxxxxxxxxx

                                 Do you want to trust this certificate? (yes|no) [yes]: yes

                                    Enter vServer username: xxxxxxxx
                                    Enter vServer password:xxxxxxxxxxxx

                                 vServer configuration saved.
                                 Started periodic collection of DDVE performance information at/ddvar/log/debug/vserver/ddveperf.log 

4. 以下を含む最新のサポート バンドルを作成してアップロードします： vserver と disk_perf ログ。

役に立つビデオ：

DDVE VMのパフォーマンスに関する問題をトラブルシューティングするためにDDサポートでSRを開くためのテンプレート

VMホストの構成

ホストの製造元、モデル、バージョン、オペレーティング システムのホスト名
ハイパーバイザー ベンダー（VMware、Hyper-V、その他）
ホストESXi/Hyper-V Serverのバージョンとビルド番号
vSphere ClientまたはHyper-V Managerのバージョンとビルド番号
クラスター構成か、またはHA構成か
ホストまたはVMの構成への最近の変更
ホスト アプライアンスに予定外のシャットダウン時にデータを保存するためのバッテリー バックアップ式キャッシュ、NVRAM、またはその他のタイプのメカニズムがあるか

VMホストのストレージ

ストレージのRAID構成とディスク サイズ、速度、タイプ（RAID 6 - 3 TB - 7200 RPM - SATAなど）
ストレージ システムの接続タイプ（NFS、FCP、iSCSI、SAS）
DDVEで使用されるストレージ ボリュームとデータストアがData Domain以外のワークロードと共有されているか
DDVEで使用されているストレージで書き込みキャッシュが有効か無効か
ストレージ構成への最近の変更
DDVEディスク デバイスにシック プロビジョニングを使用しているか、またはシン プロビジョニングを使用しているか

Data Domain Virtual Editionの構成

DDVEオペレーティング システムのバージョンとサイズ（DDVE 3.0 - 6.0.1.10 - 64 TBなど）
DDVEデータ転送プロトコル（Boost、NFS、CIFS、NDMP、FCなど）
DDVEワークロード（クラウド、レプリケーション、バックアップ、VTLなど）
バックアップ アプリケーションとプラグインのバージョン

問題の詳細な説明

ネットワーキング：
パフォーマンス：
インストールと構成：
DDファイル システム：
データ使用不可か、またはデータ ロスか
このDDVEに関連する他のベンダーで現在開いているケースはあるか

必要なログ

サポート バンドル - #support bundle create default 「Data Domain：Data Domain Restorer（DDR）からサポート バンドル（SUB）を収集/アップロードする方法

vserver perf-stats - #support bundle create files-only /ddvar/log/debug/platform/disk_perf/perf.log
disk_perf/perf.log - #support bundle create files-only /ddvar/log/debug/vserver/ddveperf.log
「オプション」のVMwareログ バンドル - VMwareセルフサービス サイトで記事を確認してください。