浏览
帮助
登录
未解决
此帖子已超过 5 年
Roger_Wu
4K 消息
0
22822
2011年11月29日 19:00
通常当数据库管理员提出需要更多存储空间的时候，他们还会指定必须要达到多少IOPS。现在有这样一个需求，20TB存储空间同时满足4500 IOPS+RAID 5，我应该如何计算？RAID 5或者RAID 1/0的时候分别需要多少块硬盘？
回复(8)
3
2011年11月29日 23:00
假定4500 IOPS中读/写比是2:1，则不同RAID类型Drive IOPS要求分别如下：
RAID 1/0: (2/3)*4500 + 2*(1/3)*4500 = 6000 IOPS
RAID 5: (2/3)*4500 + 4*(1/3)*4500 = 9000 IOPS
RAID 6: (2/3)*4500 + 6*(1/3)*4500 = 12000 IOPS
再参照下表中不同类型硬盘单块IOPS参数，得出需要多少块硬盘：
假定选用FC 15K RPM硬盘，则：
RAID 1/0: 6000/180 = 34 块
RAID 5: 9000/180 = 50 块
RAID 6: 12000/180 = 67 块
注：实际情况下还需考虑Vault Drivers (共5块)以及Hot Spares (建议每30块硬盘一个)。
最后，如果选用600GB FC硬盘来实现20TB可用空间，则RAID 1/0需要78块，RAID 5需要42块，具体计算方法参考：https://community.emc.com/thread/128563。
原英文讨论链接：
https://community.emc.com/message/414474
https://community.emc.com/message/556556
https://community.emc.com/thread/117796
https://community.emc.com/thread/91112
PandaDa_978074
10 消息
2012年6月18日 18:00
请教LZ一个问题，我一直没想明白该如何计算。
Your customer wants to use a VNX
system at an unmanned DR site. The system will be used exclusively as a secondary
MirrorView/A system, and it is capable of performing 60,000 LUN IOPs in this role. The primary
system is also a VNX.
If the total primary image workload consists of 1 KiB random I/Os with a R/W ratio of 3:1, what is
the maximum bandwidth required for the link between the VNX systems?
2012年6月19日 00:00
MirrorView/A会调用SAN Copy进行远距离数据传输的动作。SAN Copy的传输颗粒度是2KB (一个64KB的COFW trunk会被拆成32个来跟踪和传输)。这个DR site是unmanned的，且这台VNX只用于secondary MirrorView/A，因此60000 IOPS都能用于写操作。计算链路可能的最大带宽，就是计算当secondary VNX达到60000 LUN IOPS时，带宽中数据量有多少。所以60000 * 1(KB block) * 2(KB/颗粒) / 1024 = 117 MB/s
vivno
30 消息
2012年7月17日 18:00
最后，如果选用600GB FC硬盘来实现20TB可用空间，则RAID 1/0需要78块，RAID 5需要42块.
请问这个计算出来的结果和之前算的IOPS有什么关系？是根据iops来定？
2012年7月17日 19:00
IOPS和容量要同时达标的话就都要考虑，600GB硬盘做RAID 1/0实现20TB空间根据CLARiiON Capacity Calculator计算需要78块，超过了RAID 1/0: 6000/180 = 34 块的要求，因此不需要再添加更多硬盘。如果没有达到34块的要求，就需要添加更多的硬盘。
当然这些都是估计值，实际做方案时更会受到成本的限制，对自己存储的性能大致有个底就行。
2012年7月18日 03:00
多谢roger的回复，能解释一下那条公式 Drive IOPS = Read IOPS + 4*Write IOPS 里面4的raid6里面的6的意思吗？
是经验值还是什么？
Jason_Zhou
1.2K 消息
2012年7月18日 06:00
raid5和raid6分别带1份和2份校验（parity）作为数据保护的手段，从而可分别应对最多坏1个盘和2个盘的情况。但是随之而来也有了写(write)性能上一定的降低。这是因为对于raid5上的每个写IO，需要分别读取数据位和校验位，计算后然后再写入数据位和校验位总共4个IO来完成。同理，对于raid6上的每次写IO，需要3+3总共6次IO来完成。这个也就是上述公式里的4*Write IOPS （对应raid5）和6*Write IOPS （对应raid6）的意思。
当然，这个只是指传统意义上的理论算法。就当今的存储系统而言，由于大量写缓存的存在以及系统的其他优化处理，raid5和raid6的写性能并没有想象中的那么差。
chrsi_wang
60 消息
2012年8月3日 10:00
很不错，下面有个计算IOPS的文章。
IOPS计算方法
传统磁盘本质上一种机械装置，如FC, SAS, SATA磁盘，转速通常为5400/7200/10K/15K rpm不等。影响磁盘的关键因素是磁盘服务时间，即磁盘完成一个I/O请求所花费的时间，它由寻道时间、旋转延迟和数据传输时间三部分构成。
寻道时间Tseek是指将读写磁头移动至正确的磁道上所需要的时间。寻道时间越短，I/O操作越快，目前磁盘的平均寻道时间一般在3－15ms。
旋转延迟Trotation是指盘片旋转将请求数据所在扇区移至读写磁头下方所需要的时间。旋转延迟取决于磁盘转速，通常使用磁盘旋转一周所需时间的1/2表示。比如，7200rpm的磁盘平均旋转延迟大约为60*1000/7200/2 = 4.17ms，而转速为15000 rpm的磁盘其平均旋转延迟约为2ms。
数据传输时间Ttransfer是指完成传输所请求的数据所需要的时间，它取决于数据传输率，其值等于数据大小除以数据传输率。目前IDE/ATA能达到133MB/s，SATAII可达到300MB/s的接口数据传输率，数据传输时间通常远小于前两部分时间。
因此，理论上可以计算出磁盘的最大IOPS，即IOPS = 1000 ms/ (Tseek + Troatation)，忽略数据传输时间。假设磁盘平均物理寻道时间为3ms, 磁盘转速为7200,10K,15K rpm，则磁盘IOPS理论最大值分别为，
IOPS = 1000 / (3 + 60000/7200/2) = 140
IOPS = 1000 / (3 + 60000/10000/2) = 167
IOPS = 1000 / (3 + 60000/15000/2) = 200
固态硬盘SSD是一种电子装置，避免了传统磁盘在寻道和旋转上的时间花费，存储单元寻址开销大大降低，因此IOPS可以非常高，能够达到数万甚至数十万。实际测量中，IOPS数值会受到很多因素的影响，包括I/O负载特征(读写比例，顺序和随机，工作线程数，队列深度，数据记录大小)、系统配置、操作系统、磁盘驱动等等。因此对比测量磁盘IOPS时，必须在同样的测试基准下进行，即便如何也会产生一定的随机不确定性。通常情况下，IOPS可细分为如下几个指标：
Toatal IOPS，混合读写和顺序随机I/O负载情况下的磁盘IOPS，这个与实际I/O情况最为相符，大多数应用关注此指标。
Random Read IOPS，100%随机读负载情况下的IOPS。
Random Write IOPS，100%随机写负载情况下的IOPS。
Sequential Read IOPS，100%顺序负载读情况下的IOPS。
Sequential Write IOPS，100%顺序写负载情况下的IOPS。
IOPS的测试benchmark工具主要有Iometer, IoZone, FIO等，可以综合用于测试磁盘在不同情形下的IOPS。对于应用系统，需要首先确定数据的负载特征，然后选择合理的IOPS指标进行测量和对比分析，据此选择合适的存储介质和软件系统。
戴尔支持资源
查看更多
查看全部
Top
Roger_Wu
4K 消息
3
2011年11月29日 23:00
假定4500 IOPS中读/写比是2:1，则不同RAID类型Drive IOPS要求分别如下：
RAID 1/0: (2/3)*4500 + 2*(1/3)*4500 = 6000 IOPS
RAID 5: (2/3)*4500 + 4*(1/3)*4500 = 9000 IOPS
RAID 6: (2/3)*4500 + 6*(1/3)*4500 = 12000 IOPS
再参照下表中不同类型硬盘单块IOPS参数，得出需要多少块硬盘：
假定选用FC 15K RPM硬盘，则：
RAID 1/0: 6000/180 = 34 块
RAID 5: 9000/180 = 50 块
RAID 6: 12000/180 = 67 块
注：实际情况下还需考虑Vault Drivers (共5块)以及Hot Spares (建议每30块硬盘一个)。
最后，如果选用600GB FC硬盘来实现20TB可用空间，则RAID 1/0需要78块，RAID 5需要42块，具体计算方法参考：https://community.emc.com/thread/128563。
原英文讨论链接：
https://community.emc.com/message/414474
https://community.emc.com/message/556556
https://community.emc.com/thread/117796
https://community.emc.com/thread/91112
PandaDa_978074
10 消息
0
2012年6月18日 18:00
请教LZ一个问题，我一直没想明白该如何计算。
Your customer wants to use a VNX
system at an unmanned DR site. The system will be used exclusively as a secondary
MirrorView/A system, and it is capable of performing 60,000 LUN IOPs in this role. The primary
system is also a VNX.
If the total primary image workload consists of 1 KiB random I/Os with a R/W ratio of 3:1, what is
the maximum bandwidth required for the link between the VNX systems?
Roger_Wu
4K 消息
0
2012年6月19日 00:00
MirrorView/A会调用SAN Copy进行远距离数据传输的动作。SAN Copy的传输颗粒度是2KB (一个64KB的COFW trunk会被拆成32个来跟踪和传输)。这个DR site是unmanned的，且这台VNX只用于secondary MirrorView/A，因此60000 IOPS都能用于写操作。计算链路可能的最大带宽，就是计算当secondary VNX达到60000 LUN IOPS时，带宽中数据量有多少。所以60000 * 1(KB block) * 2(KB/颗粒) / 1024 = 117 MB/s
vivno
30 消息
0
2012年7月17日 18:00
最后，如果选用600GB FC硬盘来实现20TB可用空间，则RAID 1/0需要78块，RAID 5需要42块.
请问这个计算出来的结果和之前算的IOPS有什么关系？是根据iops来定？
Roger_Wu
4K 消息
0
2012年7月17日 19:00
IOPS和容量要同时达标的话就都要考虑，600GB硬盘做RAID 1/0实现20TB空间根据CLARiiON Capacity Calculator计算需要78块，超过了RAID 1/0: 6000/180 = 34 块的要求，因此不需要再添加更多硬盘。如果没有达到34块的要求，就需要添加更多的硬盘。
当然这些都是估计值，实际做方案时更会受到成本的限制，对自己存储的性能大致有个底就行。
vivno
30 消息
0
2012年7月18日 03:00
多谢roger的回复，能解释一下那条公式 Drive IOPS = Read IOPS + 4*Write IOPS 里面4的raid6里面的6的意思吗？
是经验值还是什么？
Jason_Zhou
1.2K 消息
0
2012年7月18日 06:00
raid5和raid6分别带1份和2份校验（parity）作为数据保护的手段，从而可分别应对最多坏1个盘和2个盘的情况。但是随之而来也有了写(write)性能上一定的降低。这是因为对于raid5上的每个写IO，需要分别读取数据位和校验位，计算后然后再写入数据位和校验位总共4个IO来完成。同理，对于raid6上的每次写IO，需要3+3总共6次IO来完成。这个也就是上述公式里的4*Write IOPS （对应raid5）和6*Write IOPS （对应raid6）的意思。
当然，这个只是指传统意义上的理论算法。就当今的存储系统而言，由于大量写缓存的存在以及系统的其他优化处理，raid5和raid6的写性能并没有想象中的那么差。
chrsi_wang
60 消息
0
2012年8月3日 10:00
很不错，下面有个计算IOPS的文章。
IOPS计算方法
传统磁盘本质上一种机械装置，如FC, SAS, SATA磁盘，转速通常为5400/7200/10K/15K rpm不等。影响磁盘的关键因素是磁盘服务时间，即磁盘完成一个I/O请求所花费的时间，它由寻道时间、旋转延迟和数据传输时间三部分构成。
寻道时间Tseek是指将读写磁头移动至正确的磁道上所需要的时间。寻道时间越短，I/O操作越快，目前磁盘的平均寻道时间一般在3－15ms。
旋转延迟Trotation是指盘片旋转将请求数据所在扇区移至读写磁头下方所需要的时间。旋转延迟取决于磁盘转速，通常使用磁盘旋转一周所需时间的1/2表示。比如，7200rpm的磁盘平均旋转延迟大约为60*1000/7200/2 = 4.17ms，而转速为15000 rpm的磁盘其平均旋转延迟约为2ms。
数据传输时间Ttransfer是指完成传输所请求的数据所需要的时间，它取决于数据传输率，其值等于数据大小除以数据传输率。目前IDE/ATA能达到133MB/s，SATAII可达到300MB/s的接口数据传输率，数据传输时间通常远小于前两部分时间。
因此，理论上可以计算出磁盘的最大IOPS，即IOPS = 1000 ms/ (Tseek + Troatation)，忽略数据传输时间。假设磁盘平均物理寻道时间为3ms, 磁盘转速为7200,10K,15K rpm，则磁盘IOPS理论最大值分别为，
IOPS = 1000 / (3 + 60000/7200/2) = 140
IOPS = 1000 / (3 + 60000/10000/2) = 167
IOPS = 1000 / (3 + 60000/15000/2) = 200
固态硬盘SSD是一种电子装置，避免了传统磁盘在寻道和旋转上的时间花费，存储单元寻址开销大大降低，因此IOPS可以非常高，能够达到数万甚至数十万。实际测量中，IOPS数值会受到很多因素的影响，包括I/O负载特征(读写比例，顺序和随机，工作线程数，队列深度，数据记录大小)、系统配置、操作系统、磁盘驱动等等。因此对比测量磁盘IOPS时，必须在同样的测试基准下进行，即便如何也会产生一定的随机不确定性。通常情况下，IOPS可细分为如下几个指标：
Toatal IOPS，混合读写和顺序随机I/O负载情况下的磁盘IOPS，这个与实际I/O情况最为相符，大多数应用关注此指标。
Random Read IOPS，100%随机读负载情况下的IOPS。
Random Write IOPS，100%随机写负载情况下的IOPS。
Sequential Read IOPS，100%顺序负载读情况下的IOPS。
Sequential Write IOPS，100%顺序写负载情况下的IOPS。
IOPS的测试benchmark工具主要有Iometer, IoZone, FIO等，可以综合用于测试磁盘在不同情形下的IOPS。对于应用系统，需要首先确定数据的负载特征，然后选择合理的IOPS指标进行测量和对比分析，据此选择合适的存储介质和软件系统。