【专家问答】老司机带您玩转Data Domain

都是头牌，阵容强大！！

今天跟大家分享一下DD升级的基本步骤

一. 升级准备

1 选择您想要升级的版本并查看该版本的Release Notes https://support.emc.com/kb/334649

2 保证目标版本与当前备份软件的兼容性 http://compatibilityguide.emc.com:8080/CompGuideApp/

3 下载安装包到本地（点开左边的DD OS，选择需要的版本） https://support.emc.com/downloads/9012_Data-Domain

4 将安装包上传到DD，打开网页管理界面System Manager Maintenance -> Upload Upgrade Package

二. 升级前的健康检查与重启DD

1 登录DD命令行，用#hostname 与 #system show serialno 确保找到正确的升级DD

2 # fi st 确保DD文件系统的正常运行

3 # alerts show current 查看是否有任何硬件告警，若有，马上联系我们技术支持团队

4 # df 查看DD的空间使用率，确保DD空间使用率小于90%以便升级的顺利进行

5 # iostat 2 确保所有备份/还原任务已经终止

6 # filesys clean status 确保文件系统cleaning没有在运行，若有，用命令#filesys clean stop终止之

7 #disk show reliability-data 与 #disk show state 确保没有硬盘的“Reallocated Sectors”超过50， 若有，请马上开一个案例来进行换盘，同时确保没有任何Failed (F), Reconstructing (R) or Absent disks (A).

8 #System Reboot 重启机器，当机器起来后，等待10分钟，再运行命令

# fi st

# alerts show current

若文件系统正常运行且没有硬件告警，我们就可以升级了！

三. 升级DD

1 # system upgrade 将 替换为下载的安装包名字

2. 升级脚本会自动运行且DD会进行自动重启

3 升级整个过程根据DD容量以及升级版本的不同会持续30 - 90分钟不等，当机器起来后，继续等待10-15分钟，然后运行以下命令确保升级已经完成，文件系统正常运行

#system upgrade status

#system show version

#fi st

#alert show currents

注：某些情况下，文件系统会花费将近一个小时才起来，客户会看到报错“filesystem has encountered a problem”，请耐心等待，若一个小时后文件系统仍旧没有起来，请马上与我们联系。

怎么样，DD升级是不是很简单呢？当然，升级过程中遇到任何问题，请及时联系我们哦～

请教前辈们，现在购买的DD一般是机头+硬盘这种方式的吧。我在机房看过只有机头没有自带硬盘的DD，这两种有啥不一样的么？

前辈们，我想问下，

目前DDboost  支持vmware的FC 链路了么（Networker VBA）？

同样不知道VTL是否可以支持vmware 了呢？

如果支持，需要达到什么样的环境条件呢？

所有的DataDomain机头上都是有硬盘的，所以我猜你的问题是机头上是否有数据盘，而不是机头上有没有硬盘。

为了满足客户不同的需求，我们会提供相应的不同容量大小的DataDomain。现有的DataDomain会根据是否可以将用户数据存储在机头上讲机型分成DLH（Dataless Head）和ALO（All in One）.

AIO，顾名思义，就是可以将所有的用户数据都储存在机头而不需要额外的扩展柜。现在市场上主流的AIO机型有DD2200和DD2500, 这两款机型可以在机头上拥有7或者12块硬盘2T的硬盘。这些硬盘不止包含DDOS的操作系统，用户的数据也会保存在由这些硬盘组成的raid上。DD2500还可以在机头12块盘的基础上再通过SAS HBA卡连接1～3个扩展柜，用来满足客户更大的容量需求。

AIO的优势在于以较低的成本提供给客户完整的DD服务，并且由于不需要额外的扩展柜，因此不需要占用客户机房额外的机柜，对于维护和操作都带来一定的便捷。

DLH（Dataless Head）表示客户的数据并不会被储存在机头上。现有主流的DLH机型包括DD4500, DD7200, DD9500等。这些机型在机头上仅有4块硬盘，而在机头硬盘中仅有DDOS的操作系统并不包含客户数据，必须要连接扩展柜才能存储客户数据。并且根据机型的不同，可以连接的扩展柜的数量也不同。

DLH机型适合对于数据存储容量要求较高的客户使用，另外还有个优势是在今后DD推出新的机型或者需要升级成更高端的机型时，可以较为方便的更换新的机头，而不需要做数据迁移，可以将扩展柜直接连接到新机型上即可。

希望以上简单说明可以解答你的疑惑，如果还有什么不明白的欢迎留贴。

大家好，今天由我来给大家介绍一下DataDomain High Availability （DDHA）。

DDHA是随着DDOS 5.7的版本更新推出的一项新的功能，这项功能的推出旨在提高DataDomain的可用性。高可用性可最大限度地缩短宕机时间，以确保对备份和归档数据的连续操作访问。在此版本中，高可用性适用于 DD9500 平台，有助于用户在遇到意外故障时通过在两个 DD9500 控制器之间进行故障切换来实现更高的操作弹性。利用随时备用的 DD9500 控制器，企业客户可以轻松应对不断增长的业务连续性需求。高可用性的主要优势包括：

• 显著缩短宕机时间：利用在几分钟内恢复正常运行，从而在突然出现硬件故障时确保业务连续性
• 更快的系统升级：无需让系统离线即可升级控制器

在配置了DDHA之后，主动/被动配置将两个 DD9500 控制器连接到共享存储池，其中一个控制器处理数据接收，另一个备用。高可用性互连卡在控制器之间为活动节点状态和 NVRAM 内容创建镜像。在突发硬件故障等计划外系统宕机期间，故障切换会激活。备份作业将在活动控制器上暂停，并故障切换到备用节点，在备用节点上它们可以在几分钟内恢复操作。对于 DD Boost 和 NFS 协议，DD9500 上的 HA 会自动故障切换，有助于用户在遇到意外中断时轻松地尽可能延长正常运行时间。

在需要进行系统升级时，借助 DD9500 上的高可用性，用户无需让系统离线便能够升级 Data Domain 操作系统 (DD OS)。过程启动后，首先将升级备用控制器，同时活动控制器仍在运行。第一个升级完成后，操作将故障切换到更新后的控制器，第二个系统将开始升级。无法接受升级期间需要让系统离线的企业客户会发现，EMC 的高可用性解决方案将此升级宕机时间缩短到仅一次故障切换的时长。

如今，DD9500 上的高可用性将受 NetWorker 8（通过 RPQ）以及使用 RMAN 插件的 DD Boost for Oracle 支持。在今后，计划对 Avamar 和 DD Boost for Enterprise Apps 提供支持。

关于更多的关于HA的描述，可以参考我们DDOS 5.7的administration guide

https://support.emc.com/docu61787_Data-Domain-Operating-System-5.7.1-Administration-Guide.pdf?language=en_US

谢谢前辈们的解答！

另外我想问下DD关于源端和目标端消重是怎么个设置和定义呢呢，

如何去判断我的备份对象是否支持源端消重？

目前为止，VBA的备份只能使用ddboost over ip的方式。

189499 : VBA: NetWorker server returned an empty DDR export path, and we are doing a DDR backup            
https://support.emc.com/kb/189499

1. DFC configured for DDboost pool however with EBR release with 8.1 or 8.2 DFC not supported.

谢谢

DDBoost备份的过程中，DDBoost协议会将数据在备份客户端上先进性消重的操作。

这个消重的操作是通过和Data Domain系统比对数据段的指纹来进行的。

当发现数据指纹在Data Domain系统上已经存在的情况下，就不会再传送这段数据段。

以上的这个过程我们一般称为源端消重。

一般的备份系统都是默认开启远端消重的功能的。只有SunOS默认是关闭的。

若您需要在SunOS上打开消重功能，请参考下面的KB

304658 : Solaris SPARC Backup Server Performance with DD Boost                                                                      

https://support.emc.com/kb/304658

假如您需要确认目前备份状态，您可以通过DDBoost option show来查看消重功能（distributed-segment-processing）开启与否。

sysadmin@DD990# ddboost option show

Option                           Value

------------------------------   -------

distributed-segment-processing   enabled

virtual-synthetics               enabled

fc                               enabled

------------------------------   -------

谢谢

DD的HA的active node和passive node就是两个控制器一组磁盘呀，我以为两个node各自有自己管理的磁盘呢，这样的话咱们的备份的DR就简单多啦。

DDHA的冗余是在同一个机房的，远程DR site是无法做HA的，因为数据柜只能在一个地方呀

Hi, 大家好.

今天我们来聊一下关于文件系统清理(File system cleaning)的小知识

    1. 什么是文件系统清理

当您的备份应用程序（如NetBackup或NetWorker）过期数据时，DD上的数据由文件系统标记为删除。但是，数据并不会立即被删除,而是在文件系统清理期间被删除.

• 在清洁操作期间，文件系统可用于所有正常操作, 包括备份（写）和恢复（读）。
• 虽然文件系统清理会使用一定的系统资源，但是该进程所占用的资源是可以通过设置阈值来控制的。
• Data Domain建议在第一次完全备份之后运行file system cleaning。
• 当清洁操作完成时，会向系统日志发送一条消息记录回收的存储空间百分比。

默认计划在每个星期二上午6点（06:00时）运行清洁操作。您可以更改计划，或者您可以手动执行清理操作。(Data Domain建议每周运行一次清洁操作。)

在文件系统被禁用（disable）或者Data Domain被关闭（例如系统电源关闭或重新启动）的情况下，清洁操作将被终止。系统重新启动时，清理操作不会立即重新启动。您可以手动重新开始清洁操作或等待下一次计划清洁操作。

    2. 文件系统清理的各个阶段：

下面各阶段的说明， 本案例基于DDOS 5.5 之后的DDOS版本。从DDOS 5.5开始，新的清理过程（物理清理）将不再逻辑地枚举命名空间(Name Space)中的文件。在之前版本的cleaning中，枚举阶段以文件为单位遍历每个文件的BTREE结构，因此重复的metadata可能会被多次遍历。而在物理清理中，枚举阶段通过扫描容器集（CSET）来并行地遍历所有文件树（BTREE），在多个文件之间共享的每个元数据段将只扫描一次。物理枚举的运行时间取决于系统上的元数据（metadata）的数量以及这种元数据跨容器集分布的方式。

物理清洁引入了两个新阶段：预分析和分析。这些新阶段设置了物理枚举所需的一些数据结构。新阶段的运行时间取决于文件系统中元数据的总量。

以下是物理清理的每个阶段的说明：

1. 预合并：将内存中的index文件写入到磁盘， 并与full index进行合并，该阶段是为枚举阶段而做准备。
2. 预分析：为索引中的所有元数据段构建散列向量，以加快索引的检索速度
3. 预枚举：以元数据为单位枚举文件。它可能只对部分数据段进行采样，以帮助估计可删除的水平所集中在磁盘上的位置。
4. 预过滤：如果写入的数据中依然有重复数据，则找出它的位置，以便可以从系统中删除。
5. 预选择：选择具有最多可删除数据的物理空间。这些将作为清理的目标区域。
6. 候选：由于内存限制，每次清洁运行中只能清除一部分物理空间。运行候选阶段以选择要清理的数据子集，并记住数据中的内容。
7. 合并：索引合并将索引数据刷新到磁盘并为物理枚举创建参考点。
8. 分析：为索引中的所有元数据段构建散列向量。
9. 枚举：基于元数据来枚举所有文件，确认哪些文件是未被标记为删除的，应该保留在系统中。
10. 过滤：如果写入的数据中依然有重复数据，则找出它的位置，以便可以从系统中删除。
11. 复制：将目标容器（container）中需要的数据摘取出来 ， 写入到新的容器中， 并删除旧的容器（旧的容器中将包含已经删除的磁盘碎片）
12. 摘要：创建系统上的实时数据的摘要。

    3. 如何查询文件系统清理的相关信息

• 查看上一次cleaning完成的时间, 使用df命令:

# df

Active Tier:

Resource           Size GiB   Used GiB   Avail GiB   Use%   Cleanable GiB*

----------------   --------   --------   ---------   ----   --------------

/data: pre-comp           -     6605.3           -      -                -

/data: post-comp    32068.8      298.3     31770.6     1%              1.4

/ddvar                 29.5       17.5        10.5    63%                -

----------------   --------   --------   ---------   ----   --------------

* Estimated based on last cleaning of 2016/11/15 06:09:22.

• 可以通过日志分析过去的清理进程的耗时以及结果:

# log view debug/messages.engineering

### 搜索以下关键字: ###

Apr 22 06:00:01 DD4200-Shanghai ddfs[5640]: NOTICE: MSG-GC-00009: Cleaning started

Apr 22 06:02:25 DD4200-Shanghai ddfs[5640]: NOTICE: MSG-GC-00005: Cleaning completed: 0:02:24 elapsed, 92% of used space freed, 0% of total space freed, 113246208 bytes freed

• 文件系统清理在每次成功执行完成之后会更新一个报告, 可以通过# filesys show detailed-stats 70 来查看每一步消耗的时间. 该信息也可在每天的autosupport日志中找到

# priv set se

    Enter system password:  << 输入产品序列号作为SE模式的密码

# filesys show detailed-stats 70

GC stats for Physical Cleaning on Active Success 4 Aborted 0

Most recent successful GC container range: 145311 to 297545

GC phase:        pre-merge    time:     130 average:     135    seg/s:        0    cont/s:       0

GC phase:     pre-analysis    time:     146 average:     146    seg/s:        0    cont/s:       0

GC phase:  pre-enumeration    time:      75 average:      66    seg/s:  5140504    cont/s:       0

GC phase:       pre-filter    time:     152 average:     141    seg/s:  1164515    cont/s:       0

GC phase:       pre-select    time:      30 average:      28    seg/s:  2253389    cont/s:    2360

GC phase:             copy    time:       9 average:       7    seg/s:        0    cont/s:     630

GC phase:          summary    time:      28 average:      25    seg/s:        0    cont/s:    2334

# 将每一个阶段的时间累加起来, 即为上一次文件系统清理周期所消耗的时间.

好啦, 今天就先聊到这里, 如果感兴趣的同学可以阅读以下以下文档:

How the file system reclaims storage space with file system cleaning, page 158 of DDOS admin guide: https://support.emc.com/docu61787_Data_Domain_Operating_System_5.7.1_Administration_Guide.pdf?language=en_US

485637 : Running clean on a Data Domain Restorer (DDR) does not reclaim the amount of physical space indicated by 'Cleanable Gb'

https://support.emc.com/kb/485637

446734 : Overview of Cleaning Phases

https://support.emc.com/kb/446734

VTL的最主要的优势是很多客户还在用传统的磁带库备份，那虚拟带库VTL就可以做到无缝的迁移，来代替物理的磁带库。

DDBoost的备份分别可以用于IP网络和FC网络之上，在规划的时候灵活性更佳。另外可以在备份时进行源端的消重，大大节约网络带宽的使用量。

所以VTL和DDBoost都有自己的长处和优势。

关于第二个问题，Networker DDBoost的数据备份结构和Networker VTL的数据备份结构在Data Domain上是截然不同的。

所以假如您想迁移VTL的数据到DDBoost的数据，那只能做重新备份的操作或者在Networker上通过克隆来做迁移。并没有办法在Data Domain上做直接的迁移，必须要Networker方面的介入才可以。

关于第三个问题，一般情况下客户异地机房的带宽都是向ISP（运营商）租用的专线。那这种情况下由于费用的问题，可用的带宽并不会太高。那在我们这个案例中，我们首先要确认两机房的实际带宽是多少。千兆的网卡可以支持到125MB/s的速度一般专线的速度并不会达到那么高的速率。所以我并不会直接建议更换万兆网卡。另外我们还需要观察复制的情况，一般只有在复制的进度跟不上客户需求的情况下我们才会考虑更换万兆的网卡。

谢谢