未解决
此帖子已超过 5 年
1.4K 消息
2
1488
新一代VNX软件增强之:ODX卸载数据传输
新一代VNX软件增强之:ODX卸载数据传输
转载请在文首保留原文出处:EMC中文支持论坛https://community.emc.com/go/chinese
介绍
主机在执行大量数据拷贝时,数据必须在主机和阵列之间穿梭,浪费了网络带宽和主机资源,比如克隆一个Hyper-V模版。为了解决这个问题,存储阵列引入了XCOPY(VMware VAAI采用XCOPY)将数据复制任务卸载给存储,VNX支持XCOPY,但是操作系统厂商因为命令的复杂性和安全性的原因,采纳进度十分缓慢。ODX是微软的XCOPY Lite实现,它是一个基于令牌的复制方式,可以节约网络带宽和主机资源,并且会有10%的性能提升。
其实ODX并非新一代VNX的新功能,在VNX Block OE 5.32.000.5.201就引入了该功能,本文将对ODX做详细介绍。
更多信息
令牌是一个512字节的随机数,令牌代表了一个或多个extent(最多128MB的实际数据),一般是一个文件或文件的一部分,由于传给主机的是代表数据的令牌,而不是数据本身,因此提升了性能。ODX文件复制要求文件至少为256KB,太小的文件所产生的开销会使得XCOPY操作变得没有任何意义。
令牌不包含任何特定的LBA地址范围,并且足够大,所以是不可猜测的。令牌会在VNX控制器内存之间做镜像,考虑到发生SP故障的情况。
每个VNX SP最多能够同时处理255个请求,每个LUN最大支持64个令牌,整个阵列最大支持1024个令牌。令牌的回收是通过令牌是小机制来实现的,主机不能失效一个令牌,只有存储才可以。通常在下列情况发生的时候,一个令牌会失效:
- 写操作发生在一个由该令牌所代表的区域内
- 发生超时
- 发生介质错误
- SP内存限制
在下列情况下,所有令牌都会失效
- 克隆反向同步
- SANCopy后端复制
- SnapView快照回滚
- VNX Snapshot瞬时还原
ODX文件传输是透明且自动的 – Windows主机不能控制启用/禁用ODX,Windows自动确认NTFS文件系统所在的LUN是否支持ODX(应该是VNX LUN主动告知主机自己是否支持ODX)
ODX操作流程
单主机/单阵列
1. 用户通过Windows Explorer或命令行执行文件复制/移动
2. Windows 8或Windows Server 2012发送一个读请求给存储阵列要求执行数据拷贝(POPULATE_TOKEN命令,包含了源LBA/Block length pair list)
3. 阵列创建代表数据的令牌并发送回主机(SP创建PIT token)
4. 主机使用令牌发起写请求给阵列(WRITE_USING_TOKEN命令,包含一个目标LBA/Block length pair list)
5. 阵列上的Copy Manager根据令牌信息传输数据给目标(VNX在处理写请求之前会验证令牌的有效性以及目标位置,如果源和目标LBA发生重叠,ODX操作会停止并采用传统文件传输方式)
6. 最后阵列把ODX复制的结果发送给主机(主机使用ECEIVE_ROD_TOKEN_INFORMATION命令查询结果)
两台主机之间也可以做ODX数据传输,要求源和目标LUN都必须支持ODX,操作流程的区别就是在上面的步骤中,阵列返回令牌给主机后,主机把令牌传递给另一台主机由它来向目标阵列/LUN执行写请求。
ODX的硬件要求
要使用ODX,存储阵列必须满足以下条件:
- 阵列必须经过认证兼容Windows Server 2012 ODX
- 若要支持储存阵列之间执行ODX传输,存储阵列的复制管理器(Copy Manager)必须支持跨存储阵列ODX,并且存储阵列必须来自同一个厂商
- 存储阵列必须使用以下协议中的一种:iSCSI、FC、FCoE、SAS
- 配置必须如下:
- 一台服务器连接一台存储阵列
- 一台服务器连接两台存储阵列
- 两台服务器连接一台存储阵列
- 两台服务器连接两台存储阵列
ODX的软件要求
- 发起文件传输的计算机必须运行Windows 8或Windows Server 2012
- 文件系统过滤驱动程序,例如反病毒和加密程序必须选择进入ODX,以下文件系统过滤驱动程序不支持ODX
n 数据消重
n BitLoker驱动器加密
- 文件必须位于未加密的基本分区上,存储空间(Storage Space)和动态卷不支持ODX
- 文件必须位于NTFS文件系统,ReFS和FAT不支持ODX。
- 文件必须是256KB或更大,小文件使用传统文件传输方式(非ODX)
- 执行传输的应用程序必须支持ODX,目前以下程序支持ODX:
n 需要传输大量文件的Hyper-V管理操作,比如创建固定大小的VHD,合并快照或转换VHD
n 文件浏览器
n Windows Powershell的复制命令
n windows命令行的复制命令(包括Robocopy)
- 文件不应该是极为碎片的,传输极为碎片化的文件会降低性能
参考
Windows Offloaded Data Transfers Overview
与EMC新一代VNX中端存储极速致胜 - 新一代VNX硬件架构解析
应用于
ODX
merrist
482 消息
0
2013年9月10日 23:00
支持一下,呵呵,以前专门测试过这个ODX的性能