开始新对话

未解决

此帖子已超过 5 年

23001

2015年12月6日 19:00

【专家问答】畅谈Avamar最佳实践

好消息,新一期的“专家问答”活动正式开启。本期开设的是Avamar专场,从12月7日至12月20日(周日)期间,由四位Avamar的资深专家,和大家一起讨论和分享有关Avamar的容量管理,虚拟机备份,与Data Domain的整合,数据库备份,备份性能调试等等领域的话题。只要您有任何Avamar相关问题,我们的专家照单全收,与您畅快切磋!


以往所有已完成的“专家问答”活动可参考这个汇总贴

本期讨论主题:畅谈Avamar最佳实践

本期持续时间:2015年12月7日 – 12月20日。活动结束后,本贴将锁定,有相关的后续问题可开新贴提问。


本期我们邀请到的专家是:


Jason Ma.jpg


Jason Ma(马海宾)

EMC Avamar资深技术专家,IT从业十年的经验。持有Avamar认证Expert,VMWware认证VCP,微软认证MCSE。精通Avamar备份,灾难恢复,管理和排错。精通VMware备份和快照管理,精通微软Exchange,SQL和Hyper-V服务器。





Alison Dai.png


Alison Dai(戴骊融)

EMC Avamar资深技术专家,目前就职于EMC全球技术支持中心, 负责Avamar系列产品的售后技术支持工作。熟悉Avamar产品的系统架构,精通Avamar产品的硬件问题以及软件问题,有丰富的处理经验,并熟悉与Avamar相整合的Data Domain以及AER相关知识。




Cale Gu.jpg


Cale Gu(顾进益)

EMC Avamar资深技术专家,擅长解决Avamar维护窗口问题,容量问题,同步复制以及Avamar节点硬件和操作系统相关问题。




Roy Tian.jpg


Roy Tian田牧原

EMC资深技术专家, 从事远程技术支持工作多年。目前就职于EMC全球支持中心,主要负责Avamar产品的售后技术支持工作。熟悉数据中心存储网络基础架构,精通Avamar产品的硬件核心技术和架构,对数据中心的本地及远程数据复制和备份中的应用拥有非常丰富的经验


和专家交流,与同行畅谈。欢迎大家以回帖的方式就Avamar 这一产品的相关问题,来积极提问和踊跃发表自己的意见。期待您的参与!

15 消息

2015年12月6日 20:00

【Alison Dai】欢迎参与Avamar的讨论,今天给大家分享一下关于Avamar 容量管理的心得

Avamar的容量有两个概念,一个是gsan层面的容量,一个是系统层面的容量。

对于gsan的容量来说,是存储的备份空间占用的,他的大小是有cur这个文件夹的大小来决定的。Cur的默认的最大值是65%,而且一旦变大了,就没有办法减小,及时把数据删光,cur所占的大小还是不变的。由于cur有这样的大小限制,因此gsan的容量最大值是65%,如果超过了65% 那么Avamar就会进入一种只读的状态,这时候,所有的备份就会被挂起。只有将gsan的空间清理出来才可以继续跑备份。我们来观察gsan的容量有两个方法,一个是远程登录到Avamar上面,输入命令“status.dpn”, 这时候您会看到下面的输出。

3.jpg


可以看到很多百分数,这些百分数里面的最大值,就被认为是gsan的容量。第二种查看gsan容量的方法是,可以登录到Avamar的图形控制界面上,在首页上我们可以方便的看到现在gsan的使用率,只是这个使用率是百分数表示的,即gsan容量/65×100%所得到的。

对于Avamar的系统空间来说,包括65%cur的空间。 剩余的空间可以用作cpoverhead。但是对于系统空间来说,如果系统使用率达到85% 那么这时候GC将会失败。超过90% 将不能够跑新的备份。超过96%的话,checkpoint就没有办法完成。所以,对于cp overhead的大小,最好是控制在系统空间的20%左右,即85%-65%=20%。一般来说,如果Avamar正常工作,每天的数据改变量不至于太大的话,每天会自动做新的checkpointhfscheck,这样的话,之前老的checkpoint就可以被替换掉,从而释放出系统空间。

4.jpg


5 Practitioner

 • 

274.2K 消息

2015年12月7日 18:00

【Roy Tian】欢迎参与Avamar的讨论,今天给大家分享一下关于Avamar 备份的最佳实践

Avamar客户端是跑在客户系统上的本地应用。Avamar客户端软件主要由两个可执行程序组成:avagentavtar。该avagent程序作为客户机上的服务来运行,主要负责建立和保持客户机与Avamar服务器的通信。

Avamar服务器发起了一条备份的工作指令,avagent就会被调用。如果Avamar服务器和和客户机之前不能建立连接,avagent就会主动地联系Avamar服务器,在有规律的时间间隔内不断查询服务器是否有新的工作指令。如果连接正常,工作指令就会直接发给avagent.

当客户机收到工作指令后,avtar就会根据指令中一系列的参数来执行备份工作。该avtar程序执行备份通过局域网或者广域网连接到Avamar服务器。
Avamar使用TCP
/ IP作为基础协议进行连接。

下面,我将分别对备份窗口,维护窗口和复制进行分析和讲解。

备份窗口每天预留给定时备份的时间

  • 在备份窗口期,建议不要执行任何维护操作,例如 Garbage
    Collection Checkpoint Validation
  • 在默认设置下,备份窗口从晚上8点开始,一直持续到第二天早上8点,一共12个小时。
  • 允许客户定制,客户可以根据不同的备份策略和需求来调整备份窗口时间段。

维护窗口每天预留给服务器活动的时间

  • 虽然在维护窗口期间,备份可以执行,但是这会在一定程度上影响备份和维护工作。因此,在此期间,请尽量减少任何备份或者管理工作。恢复工作不会有任何影响。
  • 虽然garbage collection, hfscheck和备份可以重叠,但是这样会导致I/O资源竞争,使所有工作都需要更长的时间来完成,甚至会失败。
  • 在默认设置下,维护窗口从早上8点开始,一直持续到晚上8点,一共12个小时。
  • 维护窗口不能被直接修改,它的开始时间和持续时间是根据备份窗口导出的。

复制

当数据从本地复制到复制目标时,下列活动可以在本地执行:

  • 所有的维护工作。
  • 所有的备份工作。

当复制目标从复制源接收数据时,以下几点需要注意:

  • Garbage Collection不能在复制目标上执行,其他维护工作可以,例如:Checkpointhfscheck
  • 所有的备份可以立即执行。

最后,如果广域网WAN的吞吐量造成瓶颈,与复制重叠的备份并不会影响复制所需要的时间。另外,这种情况也只会略微影响到备份性能。

Community Manager

 • 

6.1K 消息

2015年12月7日 18:00

各位专家好!

微信用户“杰森董”提问:

Avamar 的分布式索引架构具体是如何设计的?针对海量文件备份,上限能管理到什么规模?

15 消息

2015年12月7日 20:00

感谢Leo, 感谢 "杰森董"的提问,

Avamar的索引是集成在Avama ServerGsan服务中的,每一个客户端的备份都会对应一个root hash。所有备份的root hash会做成一个树形结构。每当需要查找一个备份的时候,Avamar会从最顶端往下一层一层找到对应的备份。不知道这个能否回答关于分布式索引架构的问题。

关于海量文件的备份,Avamar没有具体的限制。从最佳实践的角度,普通文件系统的备份可以达到每个小时1百万个文件。假设总文件数量是1千万的话,Avamar 完成备份大概需要10个小时。

Avamar还支持ndmp的备份,ndmp备份文件系统给的话,速度相对普通文件系统会更快

Jason Ma

15 消息

2015年12月7日 21:00

Hi Leo,

不客气 :-)

Jason Ma

Community Manager

 • 

6.1K 消息

2015年12月7日 21:00

谢谢Jason的精彩回答。

5 Practitioner

 • 

274.2K 消息

2015年12月8日 18:00

请问下在AVDD复制的时候,最佳实践是建议单个文件系统或者虚机要控制在12TB以下,然后数据类型的在6TB以下。那么在Avamar的环境中是否有相同的限制呢?如果没有的话,原因是什么?谢谢。

5 Practitioner

 • 

274.2K 消息

2015年12月8日 18:00

Cale Gu】欢迎参与Avamar的讨论,今天给大家分享一下关于Avamar 维护窗口的最佳实践。

7.0及之后版本的Avamar将每天24小时分为备份窗口(Backup Window)和维护窗口(Maintenance Window)。备份窗口进行的是客户的备份客户端的备份工作,而维护窗口进行的是Avamar系统的日常维护工作,主要包括垃圾回收(Garbage Collection)、检查点(Checkpoint)、文件系统哈希值检查(HFScheck)。


垃圾回收是每天的第一项维护工作,主要进行的工作是回收过期的备份数据所占用的空间,运行时间根据系统空间使用率的不同从一个小时到几个小时。垃圾回收正常运行是能够保证系统长时间并且稳定的运行的前提,因为如果垃圾回收长时间没有运行,会导致系统空间使用率越来越高,直到100%,导致无法进行备份。


检查点的作用是相当于对系统当前状态做一个快照,用于在系统崩溃、无法启动Avamar服务时的回滚操作。每天Avamar会做两个检查点,一次是做完垃圾回收之后,一次是做完文件系统哈希值检查之后。检查点每天正常的运行能够保证系统在需要进行回滚时,备份数据损失的最小化。


系统每天在做完第一个检查点之后,就会对这个检查点进行文件系统哈希值检查。这项工作的目的是为了确保检查点的有效性和正确性。运行时间根据系统空间使用率不同而不同,从一小时以内到几个小时。


这三项维护工作每天的运行顺序是垃圾回收,检查点,文件系统哈希值检查,以及检查点。我们可以通过运行命令“status.dpn”来查看每天的运行情况(如下高亮部分),或者可以直接在Admin GUI 控制台上查看。如果发现有失败的项目,就需要立刻联系support解决。


Pic.png

15 消息

2015年12月8日 19:00

Hi Helen,

在AVDD复制中,Avamar起的作用是控制台和存放metadata,备份本身是放在DD上的。关于12TB文件系统和6TB数据库系统的最佳实践要求我的理解是从复制时间窗口考虑的。数据太大会导致复制时间窗口非常长,单纯的Avamar replication我没有看到有类似的限制,但是也要从复制时间窗口上考虑复制的数据量

Jason Ma

5 Practitioner

 • 

274.2K 消息

2015年12月9日 18:00

【Roy Tian】欢迎参与Avamar的讨论, 今天与大家分享一下关于使用Avamar对虚机执行image level备份和File-Level恢复的一些局限性。

虚拟机image level备份:

特殊字符不允许被用在datacenterdatastore,文件夹和虚拟机名字中。使用特殊字符会导致 .vmx 文件不能被备份。特殊字符包括:

  • & %26
  • + %2B
  • / %2F
  • = %3D
  • ? %3F
  • % %25
  • \ %5C
  • ~ %7E
  • [ %5B
  • ]%5D

所有备份必须从Avamar Administrator发起,而不能从虚机本身或者代理(proxy)发起。

改变虚机磁盘设置(例如,添加或删除磁盘)会迫使虚机在下一次备份的时候执行完整备份,在此备份期间,数据块修改跟踪技术 Changed Block Tracking)将不会被启用。这样会导致更长的时间来完成备份。

如果虚拟机只配置了一个独立的磁盘,在备份发起时,磁盘不能处于挂起状态,否则,备份失败。

当一台虚拟机同时具有虚拟磁盘和物理RMD磁盘的时候,备份只会处理虚拟磁盘而忽略RDM磁盘并且会显示下列提示:

Event Code: 30929

Category: Application

Severity: Process

Summary: Virtual machine client contains disks that cannot
be backed up or restored.

嵌套容器(Nested Container)的限制
当备份Vmware容器包含其他容器时,Avamar仅备份层次结构的顶层,例如:

Screen.png

Avamar备份vApp-1的时候,只有虚拟机vm-1vm-2能够被成功备份。有两种方法解决此问题,1)把vm-3移到vApp-1下;2)分别把vApp-1vApp-2添加到Avamar

文件级恢复(FLR)的局限性

我们知道Avamar提供两种恢复方式:image restorefile level restore FLR)。FLR虽然提供了很大的方便,但是在使用的时候,也有很多限制。

FLR在执行的时候会消耗大量的系统资源,所以FLR更适用于恢复少量的数据。并且FLR不能恢复多于5000个文件或文件夹,另外,当文件夹数超过14498个,你就不能从Avamar Administrator上预览。因此,如果你必须恢复大量的数据时,建议使用image level的恢复方法。

FLR还有以下局限性:

  • Vmware Tools必须安装在目标虚拟机上。Vmware Tools最好是最新版本,因为老版本会造成文件不能被预览。
  • 以下磁盘设置不被支持:
    • Dynamic disks (Windows)
    • Deduplicated NTFS
    • Resilient File System (ReFS)
    • Extended partitions (Types: 05h, 0Fh, 85h, C5h, D5h)
    • Encrypted partitions or bootloaders
    • Compressed partitions or bootloaders
  • 访问控制列表(ACLs)不能被恢复
  • 符号链接(Symbolic links)不能被恢复或者浏览
  • 当恢复数据到本机时,只支持SCSI磁盘,而不支持IDE磁盘
  • 加密的文件不能被恢复,尝试恢复会导致失败
  • FLR进行时,在Avamar Activity窗口中不会显示进程

5 Practitioner

 • 

274.2K 消息

2015年12月10日 00:00

各位专家好! 请问一下,如果一台Avamar备份到DD上产生了metadata,现在客户把这台Avamar同时连到第二台DD上,并且开始把同样的clients数据往第二台DD上备份(第一台DD还连着Avamar,今后只做restore用途)。这种情况下,metadata会生成两份吗?还是说因为是同样的cilent数据,只有一份metadata?谢谢!

15 消息

2015年12月10日 02:00

感谢您提问,

咱说的情况是同一台Avamar挂有两台DD,一个客户端之前备份到DD1上去,后来备份到DD2上去。我们这里讲的metadata包含文件的属性,比如文件名,权限和文件大小等等。 每次备份时,avamar客户端都要首先从文件本身获取它的metadata用来判断该文件是否之前备份过。当这个客户端开始备份到DD2上时,Avamar服务器上其实已经有了这些文件的metadata (和DD1上的备份关联),客户端不需要重新将这些数据传过来,但是Avamar 服务器端会做一个reference的处理,将新的备份的metadata 和老的metadata 联系起来。这样省去了重复数据的传输,就是我们常说的dedupe.

Jason Ma

3.2K 消息

2015年12月10日 07:00

Avamar 和 DD 那个好呢?如果选择呢?

15 消息

2015年12月10日 18:00

Hi Liu Lei,

Avamar 和DD 在dedupe上都做的不错。 Avamar对普通文件系统的备份处理的更好。DD 比较适合大型数据库的备份。一个比较好的方案是Avamar + DD的组合,这个方案完美的利用了Avamar 客户端技术的优势和DD大容量存储的优点

Jason Ma

5 Practitioner

 • 

274.2K 消息

2015年12月10日 18:00

【Alison Dai】欢迎参与Avamar的讨论, 今天与大家分享一下关于通过Avamar使用DD的相关介绍。


Avamar支持通过Avamar发起备份,备份到Data Domain这一工作。在加Data Domain之前,我们会进行一系列的系统检查,以确保该Avamar服务器所在的环境支持接入Data Domain的作业, 比如网络的带宽,Avamar的软硬件版本等。加入Data Domain之前,需要给Data Domain一个FQDN。不建议用IP来表示Data Domain系统,因为这样会限制传输线路。也不建议创建一个二级的主机名给本地的IP接口。DD boostDD OS不建议用于大量的小文件的备份或者是大量的客户端的备份。最好的使用方法是用在数据中心去备份一些大文件。
Mtree可以当作是AvamarDD上的一个目录。如果在一个Mtree里面有很多小文件的话,可能会有导致AvamarcheckpointDD系统上失败等问题。DD OS会去保护Mtree 所以只有DD Boost拥有对Mtree的读写权限。因为不要尝试通过DD OS的命令,NFSCIFS或者DDenterprise manager用去改变Mtree的结构。任何对Mtree的改变会导致备份,恢复,或者Avamar的维护服务失败。

     Avamar的客户端会将Data Domain 视作一个存储设备,可以用多个数据流进行备份和恢复。例如,对于Oracle备份恢复的插件,可以使用16个数据流。数据流的数量取决于计划中同时跑的备份的数目。

对于Avamar来说,可以方便的在Administrator的界面上监控DD的状态,对于7.0以上版本的Avamar我们可以从Avamar Administrator的首页上看到DD的容量,存储空间等信息;在Administrator的界面上面,选择server这个选项卡里面,,里面也可以观察到DD的状态。


DD.png

DD2.PNG.png

找不到事件!

Top