浏览
帮助
登录
此帖子已超过 5 年
Solved!
liulei_it
3.2K 消息
0
5041
2016年5月2日 18:00
如题:
最近花了大力气把VTL转到了DDboost,并根据工程师的建议把数据库备份脚本的压缩参数取消并测试每天全备份。
经过测试发现,对于MSSQL采用NMM模块备份这样的效果的确很好但是似乎针对Oracle的消重效果并不好,不仅第一次备份时间很长产生的容
量很大之后时间都几乎那个大小备份时间也是那么长。但是MSSQL就是效果明显,这个是出问题了么?
回复(11)
FeiLei
79 消息
2016年5月3日 23:00
2
2016年5月2日 20:00
Networker+DataDomain备份,如果你用的是Networker默认配置,RMAN的脚本也没有加调优参数的话,消重确实不理想。在我做过的所有客户里,(一周一次全备,其余增量,归档每6小时)消重比(全备)一般在4上下,(增量/归档)一般在1上下。
你可以看看DataDomain的DD Boost优化手册,里面针对Oracle强调的主要是两点,一个是Block Size,提高Piece读写性能;另一个是RMAN脚本里fileperset参数,提高消重率。
从实际维护来看,Oracle的备份消重率和数据结构、备份频度、数据变化率等有很大关系,例如数据库中图片类型文件多、备份频度低、数据变化率高,消重比就高不起来。
补充下我对DD Boost方式RMAN脚本的消重理解:
1,Block Size
这个参数依照优化手册,EMC建议的(貌似)是2MB。之前也和几个Oracle OCM讨论过,后来弄了几个测试,这个参数最好是数据库中blocksize参数的整数倍,并且建议在1MB以上,(最大)阀值不确定,测试数值4MB时,备份性能还没有明显衰减。可以在实际生产中逐步向上调整,看看最适合的值。
关于此值,有一个问题要注意,这个值最好是只往大调,不能往小调。若是由大值往小调,很大可能造成之前备份恢复出现问题!!!
2,RMAN脚本fileperset调优
这个参数也研究过一段时间,测试出来最优的参数是1。参数为1的坏处就是,备份时控制文件读写频繁。
参数为1代表每个Piece里仅有一个datafile,这样就能保证每次备份每个piece都是一个datafile在消重,消重命中率最高。若是参数不为1,每次每个piece都是几个datafile的杂糅数据在一起,消重时cache命中明显降低。
2016年5月2日 22:00
关于DDboost的block size设置512KB
CONFIGURE RETENTION POLICY TO RECOVERY WINDOW OF 15 DAYS;
CONFIGURE CONTROLFILE AUTOBACKUP ON;
CONFIGURE CONTROLFILE AUTOBACKUP FORMAT FOR DEVICE TYPE SBT_TAPE TO 'cntrl_%d_%I_%F';
run
{
allocate channel t1 type 'SBT_TAPE';
send channel t1 'NSR_ENV=(NSR_CLIENT=,NSR_SERVER=,NSR_DATA_VOLUME_POOL=)';
allocate channel t2 type 'SBT_TAPE';
send channel t2 'NSR_ENV=(NSR_CLIENT=,NSR_SERVER=,NSR_DATA_VOLUME_POOL=)';
sql 'alter system archive log current';
backup full filesperset 1
format 'ora_%d_%I_%U_%T_%t' database;
release channel t1;
release channel t2;
}
这个是脱敏之后的脚本。您看这个脚本没错吧
在备份数据文件那块,分配通道后的send参数里加入blocksize参数。
下面是我以前的脚本,你可以借鉴下:
2016年5月3日 01:00
这个是我DDboost设备的block size我一开始以为您说的是这个
1
Networker的设备里也需要修改,我一般是Networker设备的BLockSize等于RMAN脚本里给的BlockSize值。
这三个BlockSize的关系(个人理解,不知道对不对)
Networker设备的BlockSize = RMAN脚本里给的BlockSize值 = 数据库数据文件BlockSize值 * N (N=1,2,3,4……)
2016年5月3日 17:00
偶现在整天盯着原有的tape pool一看到过期的立马回收然后在DD上删除磁带并清理filesys的碎片
2016年5月3日 18:00
如果DataDomain空间还充足的话,不用盯着pool里的磁带,等一个完整的备份周期完了,批量删除就可以。
删除的时候,尽量还是Networker里用nsrmm先删除,然后再到DataDomain删,避免NW里面出现不一致的情况。
2016年5月3日 22:00
@dd# filesys show compression daily
From: 2016-04-02 12:00 To: 2016-05-03 12:00
Sun Mon Tue Wed Thu Fri Sat Weekly
------- ------- ------- ------- ------- ------- ------- ------- -----------------
-2- Date
382.2 382.2 Pre-Comp
233.5 233.5 Post-Comp
1.6x 1.6x Total-Comp Factor
-3- -4- -5- -6- -7- -8- -9-
604.2 528.0 718.3 228.8 232.0 294.0 294.6 2899.9
507.5 228.7 223.2 92.5 99.7 139.9 186.3 1477.8
1.2x 2.3x 3.2x 2.5x 2.3x 2.1x 1.6x 2.0x
-10- -11- -12- -13- -14- -15- -16-
1068.4 368.4 751.2 1198.3 261.6 248.5 249.2 4145.6
842.1 200.9 260.0 297.8 119.5 110.6 108.0 1938.9
1.3x 1.8x 2.9x 4.0x 2.2x 2.2x 2.3x 2.1x
-17- -18- -19- -20- -21- -22- -23-
741.3 1434.0 1036.4 178.8 175.4 200.8 421.0 4187.6
523.6 393.2 594.6 121.6 124.3 133.3 324.8 2215.3
1.4x 3.6x 1.7x 1.5x 1.4x 1.5x 1.3x 1.9x
-24- -25- -26- -27- -28- -29- -30-
10864.3 10056.1 16131.4 14538.7 17176.5 10254.8 10064.5 89086.4
1055.2 511.2 994.3 1102.3 207.4 150.5 181.2 4202.1
10.3x 19.7x 16.2x 13.2x 82.8x 68.1x 55.5x 21.2x
-1- -2-
10466.3 12343.8 22810.1
179.8 195.4 375.2
58.2x 63.2x 60.8x
Pre-Comp Post-Comp Global-Comp Local-Comp Total-Comp
(GiB) (GiB) Factor Factor Factor
(Reduction %)
---------------- -------- --------- ----------- ---------- -------------
Currently Used:* 77535.0 22812.3 - - 3.4x (70.6)
Written:
Last 31 days 123511.8 10442.8 4.3x 2.8x 11.8x (91.5)
Last 24 hrs 12601.2 197.3 12.4x 5.1x 63.9x (98.4)
* Does not include the effects of pre-comp file deletes/truncates
since the last cleaning on 2016/05/03 15:03:07.
Key:
Pre-Comp = Data written before compression
Post-Comp = Storage used after compression
Global-Comp Factor = Pre-Comp / (Size after de-dupe)
Local-Comp Factor = (Size after de-dupe) / Post-Comp
Total-Comp Factor = Pre-Comp / Post-Comp
Reduction % = ((Pre-Comp - Post-Comp) / Pre-Comp) * 100
这个是不是说明压缩比在变高啊
OMG
今天公司网络卡,就不上论坛了
如果有问题,在群里问吧
戴尔支持资源
查看更多
查看全部
Top
FeiLei
79 消息
0
2016年5月3日 23:00
FeiLei
79 消息
2
2016年5月2日 20:00
Networker+DataDomain备份,如果你用的是Networker默认配置,RMAN的脚本也没有加调优参数的话,消重确实不理想。在我做过的所有客户里,(一周一次全备,其余增量,归档每6小时)消重比(全备)一般在4上下,(增量/归档)一般在1上下。
你可以看看DataDomain的DD Boost优化手册,里面针对Oracle强调的主要是两点,一个是Block Size,提高Piece读写性能;另一个是RMAN脚本里fileperset参数,提高消重率。
从实际维护来看,Oracle的备份消重率和数据结构、备份频度、数据变化率等有很大关系,例如数据库中图片类型文件多、备份频度低、数据变化率高,消重比就高不起来。
补充下我对DD Boost方式RMAN脚本的消重理解:
1,Block Size
这个参数依照优化手册,EMC建议的(貌似)是2MB。之前也和几个Oracle OCM讨论过,后来弄了几个测试,这个参数最好是数据库中blocksize参数的整数倍,并且建议在1MB以上,(最大)阀值不确定,测试数值4MB时,备份性能还没有明显衰减。可以在实际生产中逐步向上调整,看看最适合的值。
关于此值,有一个问题要注意,这个值最好是只往大调,不能往小调。若是由大值往小调,很大可能造成之前备份恢复出现问题!!!
2,RMAN脚本fileperset调优
这个参数也研究过一段时间,测试出来最优的参数是1。参数为1的坏处就是,备份时控制文件读写频繁。
参数为1代表每个Piece里仅有一个datafile,这样就能保证每次备份每个piece都是一个datafile在消重,消重命中率最高。若是参数不为1,每次每个piece都是几个datafile的杂糅数据在一起,消重时cache命中明显降低。
liulei_it
3.2K 消息
0
2016年5月2日 22:00
关于DDboost的block size设置512KB
CONFIGURE RETENTION POLICY TO RECOVERY WINDOW OF 15 DAYS;
CONFIGURE CONTROLFILE AUTOBACKUP ON;
CONFIGURE CONTROLFILE AUTOBACKUP FORMAT FOR DEVICE TYPE SBT_TAPE TO 'cntrl_%d_%I_%F';
run
{
allocate channel t1 type 'SBT_TAPE';
send channel t1 'NSR_ENV=(NSR_CLIENT=,NSR_SERVER=,NSR_DATA_VOLUME_POOL=)';
allocate channel t2 type 'SBT_TAPE';
send channel t2 'NSR_ENV=(NSR_CLIENT=,NSR_SERVER=,NSR_DATA_VOLUME_POOL=)';
sql 'alter system archive log current';
backup full filesperset 1
format 'ora_%d_%I_%U_%T_%t' database;
release channel t1;
release channel t2;
}
这个是脱敏之后的脚本。您看这个脚本没错吧
FeiLei
79 消息
0
2016年5月2日 22:00
在备份数据文件那块,分配通道后的send参数里加入blocksize参数。
下面是我以前的脚本,你可以借鉴下:
liulei_it
3.2K 消息
0
2016年5月3日 01:00
这个是我DDboost设备的block size我一开始以为您说的是这个
FeiLei
79 消息
1
2016年5月3日 01:00
Networker的设备里也需要修改,我一般是Networker设备的BLockSize等于RMAN脚本里给的BlockSize值。
这三个BlockSize的关系(个人理解,不知道对不对)
Networker设备的BlockSize = RMAN脚本里给的BlockSize值 = 数据库数据文件BlockSize值 * N (N=1,2,3,4……)
liulei_it
3.2K 消息
0
2016年5月3日 17:00
偶现在整天盯着原有的tape pool一看到过期的立马回收然后在DD上删除磁带并清理filesys的碎片
FeiLei
79 消息
0
2016年5月3日 18:00
如果DataDomain空间还充足的话,不用盯着pool里的磁带,等一个完整的备份周期完了,批量删除就可以。
删除的时候,尽量还是Networker里用nsrmm先删除,然后再到DataDomain删,避免NW里面出现不一致的情况。
liulei_it
3.2K 消息
0
2016年5月3日 22:00
@dd# filesys show compression daily
From: 2016-04-02 12:00 To: 2016-05-03 12:00
Sun Mon Tue Wed Thu Fri Sat Weekly
------- ------- ------- ------- ------- ------- ------- ------- -----------------
-2- Date
382.2 382.2 Pre-Comp
233.5 233.5 Post-Comp
1.6x 1.6x Total-Comp Factor
-3- -4- -5- -6- -7- -8- -9-
604.2 528.0 718.3 228.8 232.0 294.0 294.6 2899.9
507.5 228.7 223.2 92.5 99.7 139.9 186.3 1477.8
1.2x 2.3x 3.2x 2.5x 2.3x 2.1x 1.6x 2.0x
-10- -11- -12- -13- -14- -15- -16-
1068.4 368.4 751.2 1198.3 261.6 248.5 249.2 4145.6
842.1 200.9 260.0 297.8 119.5 110.6 108.0 1938.9
1.3x 1.8x 2.9x 4.0x 2.2x 2.2x 2.3x 2.1x
-17- -18- -19- -20- -21- -22- -23-
741.3 1434.0 1036.4 178.8 175.4 200.8 421.0 4187.6
523.6 393.2 594.6 121.6 124.3 133.3 324.8 2215.3
1.4x 3.6x 1.7x 1.5x 1.4x 1.5x 1.3x 1.9x
-24- -25- -26- -27- -28- -29- -30-
10864.3 10056.1 16131.4 14538.7 17176.5 10254.8 10064.5 89086.4
1055.2 511.2 994.3 1102.3 207.4 150.5 181.2 4202.1
10.3x 19.7x 16.2x 13.2x 82.8x 68.1x 55.5x 21.2x
-1- -2-
10466.3 12343.8 22810.1
179.8 195.4 375.2
58.2x 63.2x 60.8x
------- ------- ------- ------- ------- ------- ------- ------- -----------------
Pre-Comp Post-Comp Global-Comp Local-Comp Total-Comp
(GiB) (GiB) Factor Factor Factor
(Reduction %)
---------------- -------- --------- ----------- ---------- -------------
Currently Used:* 77535.0 22812.3 - - 3.4x (70.6)
Written:
Last 31 days 123511.8 10442.8 4.3x 2.8x 11.8x (91.5)
Last 24 hrs 12601.2 197.3 12.4x 5.1x 63.9x (98.4)
---------------- -------- --------- ----------- ---------- -------------
* Does not include the effects of pre-comp file deletes/truncates
since the last cleaning on 2016/05/03 15:03:07.
Key:
Pre-Comp = Data written before compression
Post-Comp = Storage used after compression
Global-Comp Factor = Pre-Comp / (Size after de-dupe)
Local-Comp Factor = (Size after de-dupe) / Post-Comp
Total-Comp Factor = Pre-Comp / Post-Comp
Reduction % = ((Pre-Comp - Post-Comp) / Pre-Comp) * 100
这个是不是说明压缩比在变高啊
liulei_it
3.2K 消息
0
2016年5月3日 23:00
OMG
FeiLei
79 消息
0
2016年5月3日 23:00
今天公司网络卡,就不上论坛了
如果有问题,在群里问吧