Data Domain：如何使用 Data Domain Restorer 监视数据移动

某些型号的 Data Domain Restorer （DDR） 可以配置扩展保留 （ER） 或长期保留 （LTR） 功能。此功能允许将第二个存储层添加到系统，需要长期保留的文件可迁移到该层。用于此第二层的存储类型取决于所使用的特定功能，例如：

• Extended Retention：第二层存储称为归档层，由物理连接到 DDR 的磁盘存储模块构成
• 长期保留：第二层存储称为云层，由受支持的云提供商（即，它在 DDR 外部）调配的对象存储构成

数据移动机制：

在这两种情况下，要将文件从活动层迁移到归档/云层，使用称为数据移动 （FMIG） 的过程。启动时，FMIG 将经历 5 个作阶段，如下所述：

第 1 阶段 - 批量播种：

• 在所有启用了 LTR 的系统上都会跳过此作
• 在运行 DDOS 5.5.1.x（及更高版本）的 ER 系统上跳过此作
• 在运行 DDOS 5.5.0.x（及更早版本）的 ER 系统上，这可以执行所选数据从活动层到归档层的数据块级复制。此副本的机制超出了本文档的范围，因此此处不予讨论。

阶段 2 - 扫描：

• Data Domain 文件系统 （DDFS） 在活动层中查找适合迁移到归档/云层的文件（未修改时间超过父 mtree 数据移动策略/期限阈值的文件）
• 启动多个复制线程（具体数量取决于系统型号/配置），每个线程读取活动层上的候选文件并将唯一数据拷贝到归档/云层（即，目标层上尚不存在的数据）
• 启动多个验证线程（同样，具体线程计数取决于系统型号/配置），一旦候选文件完成拷贝，就会从目标层读回文件的拷贝，以确保它有效/所有数据均可访问
• 复制/验证候选文件后，该文件将添加到目标层中待“安装”的文件列表（针对文件的元数据更新，以指示它现在存在于目标层中）。安装线程会定期唤醒以“安装”所有挂起的文件

第 3 阶段 — 验证：

• 在此阶段，DDFS 等待完成对目标层上所有已复制文件的验证

第 4 阶段 - 包装：

• 在所有启用了 LTR 的系统上都会跳过此作
• 在 ER 系统上，FMIG 尝试删除在扫描阶段复制到归档层的任何重复数据段。请注意，可能会复制重复的数据段以加快复制过程，但是考虑到归档层的设计（最大整体压缩比和降级的读取性能），需要删除此类重复数据

第 5 阶段 - 安装：

• 在此阶段，DDFS 会等待所有已复制/已验证文件的安装完成

监测FMIG的进展：

Data Domain 命令行 shell （DDSH） 主要用于监视 ER 和 LTR 系统上 FMIG 的进度。请注意：

• 在 ER 系统上，应使用“archive data-movement [status|watch]”命令，而在 LTR 系统上应使用“data-movement [status|watch]”命令，即：

• 在 ER 系统上，报告所有 5 个阶段的进度（即输出将显示“第 5 阶段的第 x 阶段”），而在 LTR 系统上，鉴于始终跳过第 1 阶段和第 4 阶段，仅显示第 2/3/5 阶段的进度（即输出将显示“第 x 阶段，共 3 个阶段”）
• “status”命令显示 FMIG 进度的一次性快照：

• “watch”命令显示 FMIG 进展到多个阶段时的滚动输出：

一组注册表项也用于跟踪 FMIG 进度 - 这些注册表项在系统生成的自动支持中捕获，也可以通过 DDSH：

ER 显示：# reg show dynamic.art.fmig
LTR：# reg show state.fmig2

在这两种情况下，显示的注册表项非常相似，因此此处

仅显示来自启用 LTR 的系统的注册表项：# reg show state.fmig2
state.fmig2_checked_inodes = 13 <=== 检查 DDFS 命名空间中的文件总数，以查看它们是否符合成为候选state.fmig2_end_time
的条件 = 1470059610 <=== FMIG
上次运行的结束时间 state.fmig2_fcopy_byte_count = 11274289151 <=== 到目前为止复制到目标层的压缩前（逻辑）字节state.fmig2_fcopy_post_lc_size = 10944662855 <=== 复制到目标层的压缩后（物理）字节，
因此...

state.fmig2_files_copied = 8 <=== 已完成复制
state.fmig2_files_failed_in_copy的文件 = 0 <=== 无法复制
state.fmig2_files_failed_in_install的文件 = 0 <=== 已复制/验证但安装
失败的文件 state.fmig2_files_failed_in_verify = 0 <=== 已复制但无法验证
的文件 state.fmig2_files_installed = 4 <=== 已完成复制/验证/安装的文件
state.fmig2_files_verified = 4 <=== 已完成复制/验证
的文件...
state.fmig2_is_running = 1 <=== FMIG 正在运行
state.fmig2_is_waiting = 0 <=== FMIG 正在等待（例如，要完成清理）
state.fmig2_progress_current_phase = 2 <=== 当前阶段（在本例中为复制/扫描）
state.fmig2_progress_percent_complete = 92 <=== 基于检查的文件与命名空间
中文件总数 state.fmig2_progress_phase_time = 1245 < 的当前阶段完成百分比=== 到目前为止在当前阶段花费的秒数 state.fmig2_progress_total_time = 1255 <=== 到目前为止 FMIG
运行的秒数 state.fmig2_start_time = 1470061560 <=== FMIG
当前运行的开始时间...

state.fmig2_total_inodes = 14 <=== 要在命名空间
中检查的总文件数...

最后，各种消息将记录到 DDFS 日志文件 （/ddr/var/log/debug/ddfs.info） 中，以指示 FMIG 的进度。同样，ER 和 LTR 功能的输出非常相似，因此此处

仅显示来自启用 LTR 的系统的输出：08/01 15：26：00.945 （tid 0x7ff4c683e090）：注意：MSG-FMIG-00004：数据移动已开始 <=== FMIG 开始
...
08/01 15：26：00.977 （tid 0x7ff4cbeabcf0）：INFO: Fmig： phase 1 （seeding） started <=== BULK SEEDING STARTS （DOES NOT RUN ON LTR）
08/01 15：26：10.978 （TID 0x7ff4cbeabcf0）：INFO: Fmig：阶段 1（播种）结束
08/01 15：26：10.978 （tid 0x7ff4cbeabcf0）：INFO: Fmig：阶段 2（扫描）开始 <=== 扫描阶段开始
 
08/01 15：26：22.162 （tid 0x4ca2150）： Fmig： candidate file /data/col1/jftest/file2， src file snap_fh 10：0：12：0：e8b645a6：57989b6e：0 <=== CANDIDATE FILE PICKED UP BY COPY THREAD
08/01 15：26：22.164 （TID 0x7ff4c5214670）：Fmig： candidate file /data/col1/jftest/file3， src file snap_fh 10：0：13：0：e9b64736：57989b6e：0<=== CANDIDATE FILE STARTS COPY
08/01 15：26：22.273 （tid 0x7ff7d252a9e0）：Fmig： candidate file /data/col1/jftest/file4， src file snap_fh 10：0：14：0：e6b64286：57989b6e：0 <=== CANDIDATE FILE STARTS COPY
08/01 15：26：22.274 （tid 0x7ff7d090a630）：Fmig： candidate file /data/col1/jftest/file5， src file snap_fh 10：0：15：0：e7b64416：57989b6e：0 <=== 候选文件开始复制
 
08/01 15：27：11.072 （tid 0x7ff45ad95d30）： Fmig：fmig_dump_stats（云）：第 2 阶段，第 2 阶段，phase_time 61、total_time 71、total_inodes 14、checked_inodes 5、copied_files 0、verified_files 0、installed_files 0、failed_files_in_copy 0、failed_files_in_verify 0、failed_files_in_install 0、copied_vbytes 0、正在进行中的 vbytes 1936986672 <=== STATS DUMPED PERIODLY
 
08/01 15：45：59.040 （tid 0x7ff7d25298c0）： Fmig： fmig verified file5， src file snap_fh 10：0：15：0：e7b64416：57989b6e：0 <=== COPIED FILE COMPLETES VERIFICATION
08/01 15：45：59.140 （TID 0x7ff4c5218310）：Fmig： fmig verified file3， src file snap_fh 10：0：13：0：e9b64736：57989b6e：0<=== COPIED FILE COMPLETES VERIFICATION
08/01 15：45：59.225 （TID 0x7ff4c540b5f0）：Fmig： fmig verified file2， src file snap_fh 10：0：12：0：e8b645a6：57989b6e：0 <=== COPIED FILE COMPLETES VERIFICATION
08/01 15：45：59.228 （TID 0x7ff4e591bcd0）：Fmig： fmig verified file4， src file snap_fh 10：0：14：0： e6b64286：57989b6e：0 <=== 复制的文件完成验证
 
08/01 15：47：15.113 （tid 0x7ff45ad95d30）： Fmig：fmig_dump_stats（云）：第 2 阶段，phase_time 1265、total_time 1275、total_inodes 14、checked_inodes 13、copied_files 8、verified_files 4、installed_files 4、failed_files_in_copy 0、failed_files_in_verify 0、failed_files_in_install 0、copied_vbytes 10737418240、正在进行中的 vbytes 536870911 <=== 更多定期统计信息
 
08/01 15：47：41.858 （tid 0x7ff4cbeabcf0）： INFO: Fmig： phase 2 （scanning） ended <=== SCANNING PHASE COMPLETES （ALL CANDIDATE FILES COPIED）
08/01 15：47：41.858 （TID 0x7ff4cbeabcf0）：INFO: Fmig： phase 3 （verify） started <=== VERIFYING PHASE STARTS
 
08/01 15：47：57.855 （tid 0x7ff50351a620）： Fmig： fmig verified file10， src file snap_fh 10：0：1a：0：64f703c6：57989b6e：0 <=== REMAINING FILES VERIFIED
08/01 15：47：57.875 （TID 0x7ff4cbeabcf0）：INFO: Fmig： phase 4 （packing） ended <=== PACKING PHASE （DOES NOT RUN ON LTR）
08/01 15：47：57.875 （TID 0x7ff4cbeabcf0）：INFO: Fmig： phase 5 （install） started <=== INSTALL PHASE STARTS
08/01 15：48：08.890 （tid 0x7ff4cbeabcf0）：INFO: Fmig： phase 5 [install] ended<=== INSTALL PHASE ENDS
 
08/01 15：48：35.337 （tid 0x7ff4cbeabcf0）： 注意：MSG-FMIG-00001：在云上完成数据移动（云） cps：0：22：35 elapsed， 9 of files miggrated， 11274289152 of total bytes migrated <=== FMIG COMPLETES
08/01 15：48：35.337 （tid 0x7ff4cbeabcf0）：INFO: Fmig：  阶段[1]：10 秒阶段[2]：1291 秒阶段[3]：16 秒阶段[4]：0 secs Phase[5]：11 秒 <=== 显示

的相位计时请注意：

• 仅当文件完成复制时，才会更新指示复制到目标层的压缩后（物理）数据量的数字。因此，如果迁移的是单个大型文件，则在拷贝（和扫描阶段）完成之前，压缩后将显示 0 字节
• 指示复制到目标层的压缩前（逻辑）数据量的图会定期更新，而不仅仅是在文件复制完成时更新
• 扫描阶段中显示的完成百分比并不表示到目前为止复制的候选数据的总百分比。相反，它表示到目前为止，复制线程已检查 DDFS 命名空间中的总百分比文件，以确定它们是否适合迁移。因此，当 FMIG 处于扫描阶段时，通常会看到：