「Data Domain：Data Domain Restorerを使用してデータ移動を監視する方法

Data Domain Restorer (DDR)の特定のモデルは、Extended Retention(ER)またはLong Term Retention(LTR)と呼ばれる機能を使用して構成できます。この機能により、長期保存が必要なファイルの移行先となるシステムに第2階層のストレージを追加できます。この第2階層に使用されるストレージのタイプは、使用されている特定の機能によって異なります。例:

• Extended Retention: ストレージの第2階層はアーカイブ階層と呼ばれ、DDRに物理的に接続されたディスク エンクロージャで構成されます
• 長期保存: ストレージの第2階層はクラウド階層と呼ばれ、サポートされているクラウド プロバイダー(DDRの外部)からプロビジョニングされたオブジェクト ストレージで構成されます。

データ移動の仕組み:

どちらの場合も、アクティブ階層からアーカイブ/クラウド階層にファイルを物理的に移行するには、データ移動(FMIG)と呼ばれるプロセスが使用されます。開始されると、FMIGは以下に説明する5つの操作フェーズを通過します:

フェーズ1-バルクシード:

• これは、すべてのLTR対応システムでスキップされます
• これは、DDOS 5.5.1.x(およびそれ以降)を実行しているERシステムではスキップされます
• DDOS 5.5.0.x(およびそれ以前)を実行しているERシステムでは、アクティブ階層からアーカイブ階層へ、選択したデータのブロック レベルのコピーを実行できます。このコピーのしくみは、このドキュメントの範囲を超えているため、ここでは説明しません。

フェーズ 2 - スキャン:

• Data Domainファイル システム(DDFS)は、アーカイブ/クラウド階層への移行の候補となるアクティブ階層内のファイル(親mtreeデータ移動ポリシー/経過時間のしきい値を超えて変更されていないファイル)を探します
• 多数のコピー スレッドが開始され(具体的な数はシステム モデル/構成によって異なります)、各スレッドがアクティブ階層上の候補ファイルを読み取り、一意のデータ(ターゲット階層にまだ存在しないデータ)をアーカイブ/クラウド階層にコピーします
• 多数の検証スレッドが開始され(この場合も、具体的なスレッド数はシステム モデル/構成によって異なります)、候補ファイルのコピーが完了すると、ターゲット階層からファイルのコピーが読み取られ、ファイルが有効であること/すべてのデータがアクセス可能であることが確認されます
• 候補ファイルがコピー/検証されると、ターゲット階層で保留中の「インストール」ファイルのリストに追加されます(ファイルがターゲット階層に存在することを示すためのファイルに対するメタデータの更新)。定期的にインストールスレッドがウェイクアップし、保留中のすべてのファイルを「インストール」します

フェーズ3 - 検証:

• このフェーズ中、DDFSはターゲット階層にコピーされたすべてのファイルの検証が完了するまで待機します

フェーズ4 - 梱包:

• これは、すべてのLTR対応システムでスキップされます
• ER システムでは、FMIG は、スキャン フェーズ中にアーカイブ層にコピーされたデータの重複セグメントを削除しようとします。コピー プロセスを高速化するために重複するデータ セグメントをコピーできますが、アーカイブ階層の設計(全体の圧縮比が最大で、読み取りパフォーマンスが低下する)を考えると、このような重複データは削除する必要があります

フェーズ5 - インストール:

• このフェーズでは、DDFSはコピー/検証されたすべてのファイルのインストールが完了するまで待機します

FMIGの進行状況の監視:

主に、Data Domainコマンド ライン シェル(DDSH)を使用して、ERおよびLTRシステムでのFMIGの進行状況を監視します。以下の点に注意してください。

• ER システムでは 'archive data-movement [status|watch]' コマンドを使用する必要がありますが、LTR システムでは 'data-movement [status|watch]' コマンドを使用する必要があります。

• ER システムでは、5 つすべてのフェーズの進行状況が報告されます (つまり、出力には 'フェーズ x of 5' が表示されます) が、LTR システムでは、フェーズ 1 と 4 が常にスキップされるため、フェーズ 2/3/5 のみの進行状況が表示されます (つまり、出力には 'フェーズ x of 3' が表示されます)
• 「status」コマンドは、FMIGの進行状況の1回限りのスナップショットを表示します。

• 「watch」コマンドは、FMIGがフェーズを進むにつれてローリング出力を表示します。

一連のレジストリー キーは、FMIGの進行状況を追跡するためにも使用されます。これらは、システムによって生成されたautosupportにキャプチャされ、DDSH:

ERを介して表示することもできます。# reg show dynamic.art.fmig
LTR: # reg show state.fmig2

どちらの場合も、表示されるレジストリキーは非常によく似ているため、LTR が有効なシステムのレジストリキーのみがここに表示されます:

# reg show state.fmig2
state.fmig2_checked_inodes = 13 <=== DDFS 名前空間内のファイルの総数が、候補となる基準と一致するかどうかがチェックされます
state.fmig2_end_time = 1470059610 <=== FMIGの最後の実行の終了時刻
state.fmig2_fcopy_byte_count= 11274289151 <=== 圧縮前(論理)バイト数がターゲット階層にコピーされるため、FAR =
state.fmig2_fcopy_post_lc_size 10944662855 <=== 圧縮後(物理)バイト数がターゲット階層にコピーされるため、FAR
...
state.fmig2_files_copied = 8 <=== コピーが完了したファイル
state.fmig2_files_failed_in_copy = 0 <=== コピーに失敗したファイル
state.fmig2_files_failed_in_install = 0 <=== コピー/検証したがインストールに失敗したファイル
state.fmig2_files_failed_in_verify = 0 <=== コピーしたが検証に失敗したファイル
state.fmig2_files_installed = 4 <=== コピー/検証/インストールが完了したファイル
state.fmig2_files_verified = 4 <=== コピー/検証
を完了したファイル...
state.fmig2_is_running = 1 <=== FMIG が実行中
state.fmig2_is_waiting = 0 <=== FMIG が待機中 (例えば、クリーンアップの完了を待機中)
state.fmig2_progress_current_phase = 2 <=== 現在のフェーズ (この場合はコピー/スキャン中)
state.fmig2_progress_percent_complete = 92 <=== チェックされたファイルとネームスペース内の合計ファイル数に基づく現在のフェーズの完了率
state.fmig2_progress_phase_time = 1245 <=== 現在のフェーズで費やされた秒 したがって、FAR = 1255
state.fmig2_progress_total_time<=== FMIG が実行されている秒 したがって、FAR
state.fmig2_start_time = 1470061560 <=== FMIG
の現在の実行の開始時刻...
state.fmig2_total_inodes = 14 <=== ネームスペースにチェックインする合計ファイル数
...

最後に、FMIGの進行状況を示すために、さまざまなメッセージがDDFSログファイル(/ddr/var/log/debug/ddfs.info)に記録されます。ここでも、出力は ER と LTR 機能と非常によく似ているため、LTR 対応システムからの出力のみが表示されます:

08/01 15:26:00.945 (tid 0x7ff4c683e090): NOTICE: MSG-FMIG-00004: データ移動開始 <=== FMIG STARTS
...
08/01 15:26:00.977 (tid 0x7ff4cbeabcf0): INFO: Fmig: フェーズ 1 (シード) 開始 <=== 一括シード開始 (LTR では実行されません)
08/01 15:26: 10.978 (tid 0x7ff4cbeabcf0): INFO: Fmig: フェーズ 1 (シード) が終了しました
08/01 15:26: 10.978 (tid 0x7ff4cbeabcf0): INFO: Fmig: フェーズ 2 (スキャン) が開始されました <=== スキャン フェーズが開始します
 
08/01 15:26:22.162 (tid 0x4ca2150): Fmig:候補ファイル/data/col1/jftest/file2、srcファイルsnap_fh 10:0:12:0:e8b645a6:57989b6e:0 <===コピーによって取得された候補ファイルTHREAD
08/01 15:26:22.164(tid 0x7ff4c5214670): Fmig:候補ファイル/data/col1/jftest/file3、srcファイルsnap_fh 10:0:13:0:e9b64736:57989b6e:0<===候補ファイルが開始します コピー
08/01 15:26:22.273(tid 0x7ff7d252a9e0): Fmig:候補ファイル/data/col1/jftest/file4、srcファイルsnap_fh 10:0:14:0:e6b64286:57989b6e:0 <===候補ファイルが開始します コピー
08/01 15:26:22.274(tid 0x7ff7d090a630): Fmig:候補ファイル/data/col1/jftest/file5、srcファイルsnap_fh 10:0:15:0:e7b64416:57989b6e:0 <===候補ファイルのコピーを開始します
 
08/01 15:27:11.072 (tid 0x7ff45ad95d30): Fmig:fmig_dump_stats(クラウド):フェーズ2、phase_time 61、total_time 71、total_inodes 14、checked_inodes 5、copied_files 0、verified_files 0、installed_files 0、failed_files_in_copy 0、failed_files_in_verify 0、failed_files_in_install 0、copied_vbytes 0、進行中のvbytes 1936986672 <===統計が定期的にダンプされます
 
08/01 15:45: 59.040 (tid 0x7ff7d25298c0): Fmig:fmig検証済みfile5、srcファイルsnap_fh 10:0:15:0:e7b64416:57989b6e:0 <===コピーされたファイルの検証が完了します
08/01 15:45:59.140(tid 0x7ff4c5218310): Fmig:fmig検証済みfile3、srcファイルsnap_fh 10:0:13:0:e9b64736:57989b6e:0<===コピーされたファイルの検証が完了します
08/01 15:45:59.225(tid 0x7ff4c540b5f0): Fmig:fmig検証済みfile2、srcファイルsnap_fh 10:0:12:0:e8b645a6:57989b6e:0 <===コピーされたファイルの検証が完了します
08/01 15:45:59.228(tid 0x7ff4e591bcd0): Fmig:fmig検証済みfile4、srcファイルsnap_fh 10:0:14:0:e6b64286:57989b6e:0 <===コピーされたファイルの検証が完了します
 
08/01 15:47: 15.113 (tid 0x7ff45ad95d30): Fmig:fmig_dump_stats(クラウド):フェーズ2、phase_time 1265、total_time 1275、total_inodes 14、checked_inodes 13、copied_files 8、verified_files 4、installed_files 4、failed_files_in_copy 0、failed_files_in_verify 0、failed_files_in_install 0、copied_vbytes 10737418240、進行中のvbytes 536870911<===より定期的な統計
 
08/01 15:47: 41.858 (tid 0x7ff4cbeabcf0): INFO: Fmig:フェーズ2(スキャン)が終了しました<===スキャンフェーズが完了しました(すべての候補ファイルがコピーされました)
08/01 15:47:41.858(tid 0x7ff4cbeabcf0): INFO: Fmig: フェーズ 3 (検証) が開始されました <=== フェーズの開始を検証しています
 
08/01 15:47: 57.855 (tid 0x7ff50351a620): Fmig:fmig検証済みfile10、srcファイルsnap_fh 10:0:1a:0:64f703c6:57989b6e:0 <===確認済みの残りのファイル
08/01 15:47:57.875(tid 0x7ff4cbeabcf0): INFO: Fmig: フェーズ 4 (パッキング) 終了 <=== パッキング フェーズ (LTR では実行されません)
08/01 15:47:57.875 (tid 0x7ff4cbeabcf0): INFO: Fmig: フェーズ 5 (インストール) 開始 <=== インストール フェーズの開始
08/01 15:48: 08.890 (tid 0x7ff4cbeabcf0): INFO: Fmig: フェーズ 5 [インストール] 終了<=== インストール フェーズ終了
 
08/01 15:48: 35.337 (tid 0x7ff4cbeabcf0): NOTICE: MSG-FMIG-00001: クラウドCPSでのデータ移動が完了しました(クラウド): 0:22:35 経過、9 つのファイルが移行され、合計バイトの 11274289152 つが移行されました <=== FMIG COMPLETES
08/01 15:48:35.337 (tid 0x7ff4cbeabcf0): INFO: Fmig:  フェーズ[1]: 10秒フェーズ[2]: 1291秒 フェーズ[3]: 16秒フェーズ[4]: 0秒フェーズ[5]: 11秒 <=== 位相のタイミングを示します

以下の点に注意してください。

• ターゲット階層にコピーされる圧縮後(物理)データの量を示す数値は、ファイルのコピーが完了するたびにのみ更新されます。その結果、1つの大きなファイルが移行されていた場合、圧縮後にコピー(およびスキャン フェーズ)が完了するまで0バイトと表示されます
• ターゲット階層にコピーされた圧縮前(論理)データの量を示す数値は、ファイル コピーの完了時だけでなく定期的に更新されます
• スキャン フェーズで示される完了した割合は、これまでにコピーされた候補データの合計の割合を示すものではありません。代わりに、DDFS 名前空間内のファイルの合計に占める割合が、これまでにコピー スレッドによってチェックされ、移行の候補であるかどうかが判別されたことを示します。その結果、FMIGがスキャン段階にある場合、次のような現象がよく見られます。