浏览
帮助
登录
此帖子已超过 5 年
Solved!
zhaos2
643 消息
0
7017
2014年2月27日 23:00
请教一下存储专家,有没有关于VMAX及VNX压缩技术的介绍及相关文档?可以对Oracle数据仓库(DWH)的数据进行压缩吗?对性能及CPU的使用影响大吗?
回复(12)
Fenglin1
2 Intern
•
2.1K 消息
2014年2月28日 00:00
VNX Block Compression:
White Paper: EMC VNX DEDUPLICATION AND COMPRESSION VNX5200, VNX5400, VNX5600, VNX5800, VNX7600, and VNX8000
Block Compression for VNX OE Release Notes 05.32.000.5.006
具体看文档吧,VNX不太熟悉。
VMAX:
VMAX的数据压缩一个针对SRDF数据传输过程中压缩,叫做SRDF Compression,另外一个是针对Thin Pool的压缩,叫做VP Compression。Enginuity的Release Notes中都有提及。
EMC Symmetrix VMAX Family Arrays with EnginuityOperating Environment Release Notes
这些功能都是对用户透明的。所以相关的文档也不多,不过推荐下面这篇白皮书,专门将VP存储空间管理相关的。
Symmetrix VMAX Virtual Provisioning Space Reclamation and Application Considerations
对于Oracle DW,存储数据的时候是可以用到,性能影响应该是有,不过非常小。具体有多少,还是有实际环境验证以后才知道。
o17Uu33DCF12520
1.1K 消息
不知道你的DW是用裸设备,文件系统,还是ORACLE ASM?这些都可以压缩,具体情况具体分析。
Exadata的HCC技术在压缩比上是比Oracle原有的压缩技术(advanced compression?)有了进步,尤其是与smart scan结合。但HCC只能在Exadata的storage nodes上,解压后的数据要通过Infiniband传回DB Nodes处理,对Infiniband的带宽是个很大的考验。另外storage nodes在设计上CPU资源比较紧张,也会形成瓶颈。还有一个就是license价格太贵。我们EMC的解决方案就是要帮用户省钱嘛。
非常专业,多谢!
Oracle端是有很多方案,楼主主要关心的是在EMC存储端有什么压缩方案和功能
Zhang_Jiawen
1.2K 消息
关于性能影响的问题,FAST VP自动压缩时这个任务会有一个优先级,它的优先级是比较低的,所以说在数据可被压缩和实际开始压缩之间是有一个延时的,实际上就是考虑到性能影响。
1
VMAX中的FAST VP有对不常访问的LUN进行自动压缩的功能,可对thin device进行压缩。所谓不常访问的数据,是指一个月,一个季度甚至一年没有进行backup处理的数据。
压缩后的数据会占据thin pool中的较少物理空间。可以设置数据开始压缩的门限。系统级压缩数据的时间参数可以是40至400天,默认不压缩,即VMAX不会自动对数据进行压缩。天数设置好之后,多于这个时间的数据被视为可供压缩。
通过手动设置,可对device或device group进行压缩。自动压缩是在sub-LUN级别进行。
压缩率可设置成从1至10,默认是5。刚开始的时候可设置成7或8。注意这个压缩率是指:比如SATA盘上50GB数据压缩成20GB,那么压缩率的计算是50GB的压缩除以整个SATA层。
文档:FAST VP for EMC Symmetrix VMAX Theory and Best Practices for Planning and Performance 第45页。
liulei_it
3.2K 消息
哈, 楼主就是牛呀。
不过请教前辈 ,对于Oracle的数据仓库为啥不能使用 逻辑上压缩呢?您对Oracle一体机的混合阵列压缩 怎么看的呢?
Roger_Wu
4K 消息
VNX除了压缩外,还有消重(de-duplication)的功能,具体可以参考之前的讨论:EMC的消重怎么样啊?
讨论VNX的数据消重,要分两代VNX来讲:
VNX一代(VNX5300/5500/5700/7500)支持File级别的消重+压缩,以及Block级别的压缩。压缩效果参考白皮书:EMC VNX Deduplication and Compression中的数据:http://www.emc.com/collateral/hardware/white-papers/h8198-vnx-deduplication-compression-wp.pdf
VNX二代(VNX5200/5400/5600/5800/7600/8000)除了一代的这些功能外,还新增了Block级别的消重(新一代VNX软件架构 - 数据块级重复数据删除),效果可以参考EMC白皮书中的示例:http://www.emc.com/collateral/white-papers/h12209-vnx-deduplication-compression-wp.pdf
这个问题我是转发别人的,具体我要问问。
2014年3月1日 06:00
Extradata里就没有EMC的技术?
2014年3月2日 03:00
Exadata跟EMC没有什么关系,主要是原来的Sun服务器连了一堆JBOD。磁盘管理仅仅是通过Oracle数据库的ASM工具,很多高端存储的优异功能(如TimeFinder,FAST VP,SRDF等)都不具备。所以严格意义上不能算作高端存储,只能算是服务器+JBOD+Oracle数据库的一体机。
Vblock™ Specialized System for High Performance Databases
戴尔支持资源
查看更多
查看全部
Top
Fenglin1
2 Intern
2 Intern
•
2.1K 消息
0
2014年2月28日 00:00
VNX Block Compression:
White Paper: EMC VNX DEDUPLICATION AND COMPRESSION VNX5200, VNX5400, VNX5600, VNX5800, VNX7600, and VNX8000
Block Compression for VNX OE Release Notes 05.32.000.5.006
具体看文档吧,VNX不太熟悉。
VMAX:
VMAX的数据压缩一个针对SRDF数据传输过程中压缩,叫做SRDF Compression,另外一个是针对Thin Pool的压缩,叫做VP Compression。Enginuity的Release Notes中都有提及。
EMC Symmetrix VMAX Family Arrays with EnginuityOperating Environment Release Notes
这些功能都是对用户透明的。所以相关的文档也不多,不过推荐下面这篇白皮书,专门将VP存储空间管理相关的。
Symmetrix VMAX Virtual Provisioning Space Reclamation and Application Considerations
对于Oracle DW,存储数据的时候是可以用到,性能影响应该是有,不过非常小。具体有多少,还是有实际环境验证以后才知道。
o17Uu33DCF12520
2 Intern
2 Intern
•
1.1K 消息
0
2014年2月28日 00:00
不知道你的DW是用裸设备,文件系统,还是ORACLE ASM?这些都可以压缩,具体情况具体分析。
zhaos2
643 消息
0
2014年2月28日 00:00
Exadata的HCC技术在压缩比上是比Oracle原有的压缩技术(advanced compression?)有了进步,尤其是与smart scan结合。但HCC只能在Exadata的storage nodes上,解压后的数据要通过Infiniband传回DB Nodes处理,对Infiniband的带宽是个很大的考验。另外storage nodes在设计上CPU资源比较紧张,也会形成瓶颈。还有一个就是license价格太贵。我们EMC的解决方案就是要帮用户省钱嘛。
zhaos2
643 消息
0
2014年2月28日 00:00
非常专业,多谢!
Fenglin1
2 Intern
2 Intern
•
2.1K 消息
0
2014年2月28日 00:00
Oracle端是有很多方案,楼主主要关心的是在EMC存储端有什么压缩方案和功能
Zhang_Jiawen
2 Intern
2 Intern
•
1.2K 消息
0
2014年2月28日 00:00
关于性能影响的问题,FAST VP自动压缩时这个任务会有一个优先级,它的优先级是比较低的,所以说在数据可被压缩和实际开始压缩之间是有一个延时的,实际上就是考虑到性能影响。
Zhang_Jiawen
2 Intern
2 Intern
•
1.2K 消息
1
2014年2月28日 00:00
VMAX中的FAST VP有对不常访问的LUN进行自动压缩的功能,可对thin device进行压缩。所谓不常访问的数据,是指一个月,一个季度甚至一年没有进行backup处理的数据。
压缩后的数据会占据thin pool中的较少物理空间。可以设置数据开始压缩的门限。系统级压缩数据的时间参数可以是40至400天,默认不压缩,即VMAX不会自动对数据进行压缩。天数设置好之后,多于这个时间的数据被视为可供压缩。
通过手动设置,可对device或device group进行压缩。自动压缩是在sub-LUN级别进行。
压缩率可设置成从1至10,默认是5。刚开始的时候可设置成7或8。注意这个压缩率是指:比如SATA盘上50GB数据压缩成20GB,那么压缩率的计算是50GB的压缩除以整个SATA层。
文档:FAST VP for EMC Symmetrix VMAX Theory and Best Practices for Planning and Performance 第45页。
liulei_it
2 Intern
2 Intern
•
3.2K 消息
0
2014年2月28日 00:00
哈, 楼主就是牛呀。
不过请教前辈 ,对于Oracle的数据仓库为啥不能使用 逻辑上压缩呢?您对Oracle一体机的混合阵列压缩 怎么看的呢?
Roger_Wu
2 Intern
2 Intern
•
4K 消息
1
2014年2月28日 00:00
VNX除了压缩外,还有消重(de-duplication)的功能,具体可以参考之前的讨论:EMC的消重怎么样啊?
讨论VNX的数据消重,要分两代VNX来讲:
VNX一代(VNX5300/5500/5700/7500)支持File级别的消重+压缩,以及Block级别的压缩。压缩效果参考白皮书:EMC VNX Deduplication and Compression中的数据:http://www.emc.com/collateral/hardware/white-papers/h8198-vnx-deduplication-compression-wp.pdf
VNX二代(VNX5200/5400/5600/5800/7600/8000)除了一代的这些功能外,还新增了Block级别的消重(新一代VNX软件架构 - 数据块级重复数据删除),效果可以参考EMC白皮书中的示例:http://www.emc.com/collateral/white-papers/h12209-vnx-deduplication-compression-wp.pdf
zhaos2
643 消息
0
2014年2月28日 00:00
这个问题我是转发别人的,具体我要问问。
liulei_it
2 Intern
2 Intern
•
3.2K 消息
0
2014年3月1日 06:00
Extradata里就没有EMC的技术?
zhaos2
643 消息
0
2014年3月2日 03:00
Exadata跟EMC没有什么关系,主要是原来的Sun服务器连了一堆JBOD。磁盘管理仅仅是通过Oracle数据库的ASM工具,很多高端存储的优异功能(如TimeFinder,FAST VP,SRDF等)都不具备。所以严格意义上不能算作高端存储,只能算是服务器+JBOD+Oracle数据库的一体机。
EMC Vblock新的一体机Vblock Specialized System for High Performance Databases (SSHPD)具有超强的性能及更高的性价比。
Vblock™ Specialized System for High Performance Databases