开始新对话

未解决

此帖子已超过 5 年

1488

2013年8月28日 01:00

新一代VNX软件增强之:ODX卸载数据传输

新一代VNX软件增强之:ODX卸载数据传输

转载请在文首保留原文出处:EMC中文支持论坛https://community.emc.com/go/chinese

介绍

     主机在执行大量数据拷贝时,数据必须在主机和阵列之间穿梭,浪费了网络带宽和主机资源,比如克隆一个Hyper-V模版。为了解决这个问题,存储阵列引入了XCOPYVMware VAAI采用XCOPY)将数据复制任务卸载给存储,VNX支持XCOPY,但是操作系统厂商因为命令的复杂性和安全性的原因,采纳进度十分缓慢。ODX是微软的XCOPY Lite实现,它是一个基于令牌的复制方式,可以节约网络带宽和主机资源,并且会有10%的性能提升。


     其实ODX并非新一代VNX的新功能,在VNX Block OE 5.32.000.5.201就引入了该功能,本文将对ODX做详细介绍。


更多信息

     令牌是一个512字节的随机数,令牌代表了一个或多个extent(最多128MB的实际数据),一般是一个文件或文件的一部分,由于传给主机的是代表数据的令牌,而不是数据本身,因此提升了性能。ODX文件复制要求文件至少为256KB,太小的文件所产生的开销会使得XCOPY操作变得没有任何意义。


     令牌不包含任何特定的LBA地址范围,并且足够大,所以是不可猜测的。令牌会在VNX控制器内存之间做镜像,考虑到发生SP故障的情况。


     每个VNX SP最多能够同时处理255个请求,每个LUN最大支持64个令牌,整个阵列最大支持1024个令牌。令牌的回收是通过令牌是小机制来实现的,主机不能失效一个令牌,只有存储才可以。通常在下列情况发生的时候,一个令牌会失效:

-      写操作发生在一个由该令牌所代表的区域内

-      发生超时

-      发生介质错误

-      SP内存限制

在下列情况下,所有令牌都会失效

-      克隆反向同步

-      SANCopy后端复制

-      SnapView快照回滚

-      VNX Snapshot瞬时还原


     ODX文件传输是透明且自动的 – Windows主机不能控制启用/禁用ODXWindows自动确认NTFS文件系统所在的LUN是否支持ODX(应该是VNX LUN主动告知主机自己是否支持ODX

ODX操作流程


单主机/单阵列


1.      用户通过Windows Explorer或命令行执行文件复制/移动

2.      Windows 8Windows Server 2012发送一个读请求给存储阵列要求执行数据拷贝(POPULATE_TOKEN命令,包含了源LBA/Block length pair list

3.      阵列创建代表数据的令牌并发送回主机(SP创建PIT token

4.      主机使用令牌发起写请求给阵列(WRITE_USING_TOKEN命令,包含一个目标LBA/Block length pair list

5.      阵列上的Copy Manager根据令牌信息传输数据给目标(VNX在处理写请求之前会验证令牌的有效性以及目标位置,如果源和目标LBA发生重叠,ODX操作会停止并采用传统文件传输方式)

6.      最后阵列把ODX复制的结果发送给主机(主机使用ECEIVE_ROD_TOKEN_INFORMATION命令查询结果)

ODX_opt_02.jpg

     两台主机之间也可以做ODX数据传输,要求源和目标LUN都必须支持ODX,操作流程的区别就是在上面的步骤中,阵列返回令牌给主机后,主机把令牌传递给另一台主机由它来向目标阵列/LUN执行写请求。

ODX的硬件要求


     要使用ODX,存储阵列必须满足以下条件:


  • 阵列必须经过认证兼容Windows Server 2012 ODX
  • 若要支持储存阵列之间执行ODX传输,存储阵列的复制管理器(Copy Manager)必须支持跨存储阵列ODX,并且存储阵列必须来自同一个厂商
  • 存储阵列必须使用以下协议中的一种:iSCSIFCFCoESAS
  • 配置必须如下:

-      一台服务器连接一台存储阵列

-      一台服务器连接两台存储阵列

-      两台服务器连接一台存储阵列

-      两台服务器连接两台存储阵列

ODX的软件要求

-      发起文件传输的计算机必须运行Windows 8Windows Server 2012

-      文件系统过滤驱动程序,例如反病毒和加密程序必须选择进入ODX,以下文件系统过滤驱动程序不支持ODX

n  数据消重

n  BitLoker驱动器加密

-      文件必须位于未加密的基本分区上,存储空间(Storage Space)和动态卷不支持ODX

-      文件必须位于NTFS文件系统,ReFSFAT不支持ODX

-      文件必须是256KB或更大,小文件使用传统文件传输方式(非ODX

-      执行传输的应用程序必须支持ODX,目前以下程序支持ODX

n  需要传输大量文件的Hyper-V管理操作,比如创建固定大小的VHD,合并快照或转换VHD

n  文件浏览器

n  Windows Powershell的复制命令

n  windows命令行的复制命令(包括Robocopy

-      文件不应该是极为碎片的,传输极为碎片化的文件会降低性能


参考

Windows Offloaded Data Transfers Overview

EMC新一代VNX中端存储介绍汇总贴

新一代VNX软件增强之:热备用(1)

新一代VNX软件增强之:对称双活

新一代VNX软件增强:Write Journaling

多核RAID – 永久热备份

新一代VNX软件架构 - ODX卸载数据传输

EMC新一代VNX中端存储极速致胜 - 新一代VNX硬件架构解析

新一代VNX软件更新之:重构日志


应用于

ODX

482 消息

2013年9月10日 23:00

支持一下,呵呵,以前专门测试过这个ODX的性能

找不到事件!

Top