开始新对话

此帖子已超过 5 年

Solved!

Go to Solution

5041

2016年5月2日 18:00

用了DDboost+NW之后发现Oracle的消重效果没有MSSQL的好

如题:

最近花了大力气把VTL转到了DDboost,并根据工程师的建议把数据库备份脚本的压缩参数取消并测试每天全备份。

经过测试发现,对于MSSQL采用NMM模块备份这样的效果的确很好但是似乎针对Oracle的消重效果并不好,不仅第一次备份时间很长产生的容

量很大之后时间都几乎那个大小备份时间也是那么长。但是MSSQL就是效果明显,这个是出问题了么?

79 消息

2016年5月3日 23:00

DD.png

79 消息

2016年5月2日 20:00

Networker+DataDomain备份,如果你用的是Networker默认配置,RMAN的脚本也没有加调优参数的话,消重确实不理想。在我做过的所有客户里,(一周一次全备,其余增量,归档每6小时)消重比(全备)一般在4上下,(增量/归档)一般在1上下。

你可以看看DataDomain的DD Boost优化手册,里面针对Oracle强调的主要是两点,一个是Block Size,提高Piece读写性能;另一个是RMAN脚本里fileperset参数,提高消重率。

从实际维护来看,Oracle的备份消重率和数据结构、备份频度、数据变化率等有很大关系,例如数据库中图片类型文件多、备份频度低、数据变化率高,消重比就高不起来。

补充下我对DD Boost方式RMAN脚本的消重理解:

1,Block Size

这个参数依照优化手册,EMC建议的(貌似)是2MB。之前也和几个Oracle OCM讨论过,后来弄了几个测试,这个参数最好是数据库中blocksize参数的整数倍,并且建议在1MB以上,(最大)阀值不确定,测试数值4MB时,备份性能还没有明显衰减。可以在实际生产中逐步向上调整,看看最适合的值。

关于此值,有一个问题要注意,这个值最好是只往大调,不能往小调。若是由大值往小调,很大可能造成之前备份恢复出现问题!!!

2,RMAN脚本fileperset调优

这个参数也研究过一段时间,测试出来最优的参数是1。参数为1的坏处就是,备份时控制文件读写频繁。

参数为1代表每个Piece里仅有一个datafile,这样就能保证每次备份每个piece都是一个datafile在消重,消重命中率最高。若是参数不为1,每次每个piece都是几个datafile的杂糅数据在一起,消重时cache命中明显降低。

3.2K 消息

2016年5月2日 22:00

关于DDboost的block size设置512KB

CONFIGURE RETENTION POLICY TO RECOVERY WINDOW OF 15 DAYS;

CONFIGURE CONTROLFILE AUTOBACKUP ON;

CONFIGURE CONTROLFILE AUTOBACKUP FORMAT FOR DEVICE TYPE SBT_TAPE TO 'cntrl_%d_%I_%F';

run

{

   allocate channel t1 type 'SBT_TAPE';

   send channel t1 'NSR_ENV=(NSR_CLIENT=,NSR_SERVER=,NSR_DATA_VOLUME_POOL=)';

   allocate channel t2 type 'SBT_TAPE';

   send channel t2 'NSR_ENV=(NSR_CLIENT=,NSR_SERVER=,NSR_DATA_VOLUME_POOL=)';

   sql 'alter system archive log current';

   backup full filesperset 1

   format 'ora_%d_%I_%U_%T_%t' database;

   release channel t1;

   release channel t2;

}

这个是脱敏之后的脚本。您看这个脚本没错吧

79 消息

2016年5月2日 22:00

在备份数据文件那块,分配通道后的send参数里加入blocksize参数。

下面是我以前的脚本,你可以借鉴下:

DD-RMAN脚本.png

3.2K 消息

2016年5月3日 01:00

这个是我DDboost设备的block size我一开始以为您说的是这个

未命名kdd.JPG.jpg

79 消息

2016年5月3日 01:00

Networker的设备里也需要修改,我一般是Networker设备的BLockSize等于RMAN脚本里给的BlockSize值。

这三个BlockSize的关系(个人理解,不知道对不对)

Networker设备的BlockSize  = RMAN脚本里给的BlockSize值 = 数据库数据文件BlockSize值 * N (N=1,2,3,4……)

3.2K 消息

2016年5月3日 17:00

偶现在整天盯着原有的tape pool一看到过期的立马回收然后在DD上删除磁带并清理filesys的碎片

79 消息

2016年5月3日 18:00

如果DataDomain空间还充足的话,不用盯着pool里的磁带,等一个完整的备份周期完了,批量删除就可以。

删除的时候,尽量还是Networker里用nsrmm先删除,然后再到DataDomain删,避免NW里面出现不一致的情况。

3.2K 消息

2016年5月3日 22:00

@dd# filesys show compression daily

                     

From: 2016-04-02 12:00 To: 2016-05-03 12:00

                     

    Sun       Mon       Tue       Wed       Thu       Fri       Sat    Weekly                   

-------   -------   -------   -------   -------   -------   -------   -------   -----------------

                                                                -2-             Date            

                                                              382.2     382.2   Pre-Comp        

                                                              233.5     233.5   Post-Comp       

                                                               1.6x      1.6x   Total-Comp Factor

                                                                                                

    -3-       -4-       -5-       -6-       -7-       -8-       -9-                             

  604.2     528.0     718.3     228.8     232.0     294.0     294.6    2899.9                   

  507.5     228.7     223.2      92.5      99.7     139.9     186.3    1477.8                   

   1.2x      2.3x      3.2x      2.5x      2.3x      2.1x      1.6x      2.0x                   

                                                                                                

   -10-      -11-      -12-      -13-      -14-      -15-      -16-                             

1068.4     368.4     751.2    1198.3     261.6     248.5     249.2    4145.6                   

  842.1     200.9     260.0     297.8     119.5     110.6     108.0    1938.9                   

   1.3x      1.8x      2.9x      4.0x      2.2x      2.2x      2.3x      2.1x                   

                                                                                                

   -17-      -18-      -19-      -20-      -21-      -22-      -23-                             

  741.3    1434.0    1036.4     178.8     175.4     200.8     421.0    4187.6                   

  523.6     393.2     594.6     121.6     124.3     133.3     324.8    2215.3                   

   1.4x      3.6x      1.7x      1.5x      1.4x      1.5x      1.3x      1.9x                   

                                                                                                

   -24-      -25-      -26-      -27-      -28-      -29-      -30-                             

10864.3   10056.1   16131.4   14538.7   17176.5   10254.8   10064.5   89086.4                   

1055.2     511.2     994.3    1102.3     207.4     150.5     181.2    4202.1                   

  10.3x     19.7x     16.2x     13.2x     82.8x     68.1x     55.5x     21.2x                   

                                                                                                

    -1-       -2-                                                                               

10466.3   12343.8                                                     22810.1                   

  179.8     195.4                                                       375.2                   

  58.2x     63.2x                                                       60.8x                   

-------   -------   -------   -------   -------   -------   -------   -------   -----------------

                     

                   Pre-Comp   Post-Comp   Global-Comp   Local-Comp      Total-Comp

                      (GiB)       (GiB)        Factor       Factor          Factor

                                                                     (Reduction %)

----------------   --------   ---------   -----------   ----------   -------------

Currently Used:*    77535.0     22812.3             -            -     3.4x (70.6)

Written:                                                                         

  Last 31 days     123511.8     10442.8          4.3x         2.8x    11.8x (91.5)

  Last 24 hrs       12601.2       197.3         12.4x         5.1x    63.9x (98.4)

----------------   --------   ---------   -----------   ----------   -------------

* Does not include the effects of pre-comp file deletes/truncates

   since the last cleaning on 2016/05/03 15:03:07.

Key:                                                         

       Pre-Comp = Data written before compression            

       Post-Comp = Storage used after compression            

       Global-Comp Factor = Pre-Comp / (Size after de-dupe)  

       Local-Comp Factor = (Size after de-dupe) / Post-Comp  

       Total-Comp Factor = Pre-Comp / Post-Comp              

       Reduction % = ((Pre-Comp - Post-Comp) / Pre-Comp) * 100

这个是不是说明压缩比在变高啊

3.2K 消息

2016年5月3日 23:00

OMG   

79 消息

2016年5月3日 23:00

今天公司网络卡,就不上论坛了

如果有问题,在群里问吧

找不到事件!

Top