【专家问答】畅谈Avamar最佳实践

感谢Jason的回答。还有个问题想请教一下，Avamar 6.0的NDMP文档里提到一个stream对应到一个filesystem (account)。现在有客户Isilon上一个5TB的文件夹（200万文件数），用Avamar + NDMP Accelerator来备份到DD，备份速度很慢。是不是因为这种情况只能用到一个stream，还是可以用到多个stream？

没关系，如果一个NDMP accelerator node上只配置了一个account，那备份只能跑一个stream. 5 TB的数据量不小，通常备份慢的话会可能由不同原因导致。先问几个问题缩小下范围

1.  第一次的全备完成了吗？通常第一次备份都会很慢，这个过程需要对所有的文件进行切块和计算hash值

2.  增量备份也会很慢吗？大概需要多久能完成？

3.  备份是每次跑都慢还是偶尔一两次慢？

4.  能不能上传一个备份的日志看下？

Jason Ma

【Jason Ma】欢迎参与Avamar的讨论,今天和大家分享下关于数据库备份的一些最佳实践

Avamar 最开始的设计主要是针对大型文件系统，通过特有的dedupe技术，极大提高巨量文件的备份效率。之前我们做过测试，在一个不错环境中（好的磁盘速度和网速），Avamar可以每分钟处理1百万个文件甚至更高。后来Avamar将dedupe技术扩展到了数据库上，包括Microsoft Exchange, SQL, IBM Lotus and Oracle 等等。最开始的时候，Avamar备份数据的速度可以到达每个小时100G，随着后来引入多线程 （multi-streaming）, 数据库的备份速度也得到了提高，有些客户的备份速度可以达到每小时400G。当然这只是从最佳实践的角度上讲的，具体的备份速度还要由很多其它的因素决定。

另外一个Avamar备份很棒的功能是支持数据库的增量备份。举个例子，一台SQL服务器，礼拜日做了一个全备，接下来的礼拜一我们可以只做增量备份。Avamar会将从礼拜日备份之后到增量备份之前的所有改变的数据量备份下来，由于这部分改变的数据量一般都很小，从而能达到了很好的备份速度。所以从备份的角度，我们一般建议客户将全备和增量备份结合着实施，从而达到最优化配置。

Avamar在数据库恢复上同样提供了很多种方案，比如支持原机恢复和异机恢复。对于一些产品比如Microsoft Exchange, Avamar支持颗粒恢复。举个例子，Avamar备份Exchange 服务器时，我们抓的是数据库本身的文件。当恢复时，除了可以恢复数据库，Avamar还支持直接恢复数据库中单个邮箱，甚至单个邮箱下面的某个邮件。功能十分强大和好用。

Jason Ma

【Cale Gu】欢迎参与Avamar的讨论, 今天与大家分享一下关于Avamar的复制同步功能。

为了预防Avamar服务器的宕机导致的备份数据丢失或者无法恢复等情况，我们可以利用Avamar上的复制同步功能（Replication）在异地建立一份备份数据的拷贝。复制同步就是源端Avamar服务器的客户端备份拷贝到目标端的Avamar服务器。复制的备份位于目标端服务器的REPLICATE域下，如下图所示：

所有的在这个REPLICATE域下的数据都是只读的（read-only），我们可以进行的操作主要有：修改备份的过期时间，查看备份信息，删除备份，恢复备份等。如果源端服务器宕机，我们就可以将目标端的备份数据恢复到客户端上。

Avamar服务器支持基于cron的复制（Cron-based replication）和基于策略（Policy-based replication）的复制。基于策略的复制能够精细地控制复制流程，而且我们可以十分方便地在Avamar Admin GUI控制台配置。由于基于策略的复制是在7.0版本之后引进的，在这之前我们使用的是基于cron的复制。由于现在大多数Avamar服务器已经升级到7.0版本或者更新的版本，并且基于策略的复制具有更好的性能和可控制性，我们一般有限选择基于策略的复制。

复制同步的成功与否非常依赖于Avamar服务器之间的网络带宽，所以需要客户数据中心具有足够的网路带宽以保证复制能够每天都能成功的完成。如果需要复制的客户端太多，我们推荐将客户端拆开，分别配置多个复制组（group），让它们分别运行，可以提高性能。

【Jason Ma】欢迎参与Avamar的讨论，今天给大家分享一下关于Avamar 备份性能最佳实践。

从Avamar support来说，我们经常会遇到备份性能调试的案例。比如一个客户端5个小时能备份500 GB的文件或者50万个文件，这样的速度是慢还是快呢？这类问题一个关键点是评判的标准 。在我之前的分享中曾提到过，文件系统我们可以实现每小时1百万个文件，数据库每小时100 GB的最佳实践备份速度。以这个标准来分析，那5个小时备份50万个文件的速度就是慢。那5个小时备份500 GB的文件速度是慢还是快呢？如果这500 GB的文件是数据库，那这样的备份速度其实还可以的。

备份慢的问题一般都需要花时间才能找到根源，因为原因可能是多样的比如：

1. Avamar 或者DD 服务器慢
2. 客户端和Avamar 或者DD 服务器之间的网络慢
3. 客户端本身的原因比如磁盘速度慢

具体分析起来要逐个慢慢排除。从我个人的角度，99%的备份慢的问题都是因为网络或者客户端本身导致的. 判断网络的问题，Avamar有个很好的工具iperf可以用来测试客户端和服务器之间的带宽。这里和大家分享个如何使用iperf的kb

Avamar: Troubleshoot network issues causing Windows backup performance to be very slow

https://emc--c.na5.visual.force.com/apex/KB_HowTo?id=kA0700000004TLo

How to understand Avamar Client backup performance and identify performance bottlenecks

https://emc--c.na5.visual.force.com/apex/KB_HowTo?id=kA0700000004Nr6

关于如何判断客户端本身的原因，比如如何找出是不是磁盘慢，我们可以使用微软自带的Windows Performance monitor tool

Performance Monitor Best Practice - Monitoring / Analysis

https://emc--c.na5.visual.force.com/apex/KB_BreakFix_1?id=kA1700000000W8c

Jason Ma

各位專家好

1.目前Avamar版本是7.0.1.101，使用VM proxy backup常會有vcenter task job還在run，但是avamar administrator console呈現出已經備份完成，這個問題都要重開vcenter才能解決vsphere client task queue的問題，這部分是不是有其他方法可以尋求解決。

2.目前7.0.1.101是否可支持透過VM proxy backup只備份某台guest os 劃分出來的partition。如VM有一顆100GB的虛擬盤，劃分了兩個50GB的分區，再不透過安裝client agent方式，透過proxy server備份其中一個分區。

Evan

Hi Evan,

1. 您说的第一种情况感觉是vCenter的task hang住了。如果不重启vCenter的话，这个task会一直hang在哪吗？还是过一段时间自己会消失？从Avamar的角度，这个问题也是有办法解决的。不知道您有没有用过Avamar engineer 写的proxycp.jar这个脚本， 这个脚本可以用来将hang 的vCenter task kill掉。具体语法如下

java -jar proxycp.jar --killhungvctask --vc name_of_vcenter_with_hung_tasks

2. 目前proxy备份是基于vmdk的，不支持单独备份vmdk细化分出来的分区。需要通Guest Level backup来实现

Jason Ma

【Roy Tian】欢迎参与Avamar的讨论，今天给大家分享一下关于Avamar DTLT的最佳实践

Avamar DTLT功能为局域网用户以及远程办公用户提供了灵活方便的数据备份与恢复方案。在备份窗口时，Avamar DTLT就会把用户数据从台式电脑或者笔记本电脑备份到Avamar服务器。当然，DTLT支持从用户终端发起备份工作。

下面，我就为Avamar用户分享一些DTLT使用时的最佳实践：

• 创建dataset时，指定需要备份的文件和文件夹
• 建议exclude某些文件类型，这样会为Avamar服务器节省空间。
• 在有Windows XP，Windows Vista和Windows 7以及其他操作系统的客户环境中，在dataset中需要加入 –x18=256以避免“Path not found”错误。
• 下表列出了在个人电脑上需要备份的文件类型

• 下表列出了需要被exclude的文件及文件类型

• 还有一些文件是在Mac电脑上需要被exclude的：
  • */.Trash/
  • */Library/Caches/
  • */Library/Cookies/
  • */Library/Logs/
  • */Library/PubSub/Feeds
  • */Library/Application Support/SyncServices/Local/
• Ÿ Avamar DTLT环境最多可以支持5000台客户机，因此，如果同时进行首次备份的机器过多，会导致网络拥堵。建议首次备份时，把客户机分组分时段进行。（每个storage node可以同时进行10个备份）

Hi Jason

感謝您的回覆

1. 針對第一點的問題Java語法

     java -jar proxycp.jar --killhungvctask --vc name_of_vcenter_with_hung_tasks

     腳本是直接開個記事本，將語法貼上，另存新檔成.jar的檔案，然後在VC上執行嗎？

     Task會卡住，不會timeout，需要reboot VC才能解決

   2. 針對第二個問題

     目前新版的avamar 7.2有支持獨立備份vmdk分區功能嗎？

Hi Evan,

不客气。

1.脚本 ‘proxycp.jar’ 可以从下面的ftp下载。

ftp://avamar_ftp:anonymous@ftp.avamar.com/software/scripts/proxycp.jaranonymous@ftp.avamar.com/software/scripts/proxycp.jar

然后上传到Avamar服务器上，然后运行的语法如下

java -jar proxycp.jar --killhungvctask --vc vCenterName

注释：具体运行时需要将vCenterName替换为vCenter真正的名字，比如

java -jar proxycp.jar --killhungvctask --vc vcenter1.avamar.com

2. Avamar 7.2也不支持独立备份vmdk的分区

Jason Ma

Hi Jason

剛好今天遇到了這個問題

剛運行了腳本

但看起來是不會work

Task內的job還是不會被clear

請問我指令有下對嗎?

Hi Evan,

proxycp 还有另外的两个命令可以考虑试试。

1. 先运行下面的命令，看看您说的task能不能列出来

java -jar proxycp.jar --listvcsessions

2. 如果可以列出来的话，运行下面的命令

java -jar proxycp.jar --killvcsessions --maxactive

具体语法，可以运行下面的命令找出

java -jar proxycp.jar --help

Jason Ma

非常感谢几位专家的知识分享，非常浅显易懂

【Alison Dai】欢迎参与Avamar的讨论, 今天与大家分享一下关于使用Avamar的监控系统。

对于Avamar的管理员，我们建议定时监控Avamar的健康状况，及时发现及时解决。一般对于Avamar来说，检测有两种方式，一种是通过远程登录的方式，登录到Avamar 服务器上， 通过命令行来看； 另一种是直接Avamar的administrator界面；。

       对于利用命令行来监控，需要您利用远程登录工具（例如：putty，securecrt）登录到Avamar的server上，常用的监控指令有：status.dpn,输出如下：

在上图的输出中，我们可以看到系统现在的使用量，上图显示的是13%左右，如果这里接近65%， 请联系我们support做进一步处理。还可以看到系统的装修，当他是full access的时候，说明系统是工作正常的；如果变成admin 模式，说明系统有问题，这个时候建议联系support做进一步检查；输出中还可以看到每天的维护工作是否成功， 比checkpoint，GC,hfscheck等。上图我们可以看到这些维护工作都是成功的。我们还可以看到现在机器正在进行什么工作，例子中的这台机器现在就是在做balance。如果输出中有任何不正常的现在，欢迎随时拨打我们800热线，来解决问题。

  对于在administrator的控制界面中，我们也可以很方便的看到每天的情况。对于7版本以后的Avamar来说，在登录界面上我们可以很方便的看到机器的使用率（黄色框出），机器的维护工作的状态（红色框出），是否有其他问题的报错（绿色框出）。当这些地方，有任何异常，可以联系support来查看这些问题。对于每天的备份来说，可以在首页的activity这个标签下面查看备份的完成情况。对于控制界面来说，如果客户不能够经常登录的话，可以尝试设置一些邮件告警，当系统发生某些符合规则的告警的时候，Avamar会自动给设置的邮箱发邮件作为提醒。