5 Rhenium

如何计算IOPS?

通常当数据库管理员提出需要更多存储空间的时候,他们还会指定必须要达到多少IOPS。现在有这样一个需求,20TB存储空间同时满足4500 IOPS+RAID 5,我应该如何计算?RAID 5或者RAID 1/0的时候分别需要多少块硬盘?

0 项奖励
8 回复数
5 Rhenium

Re: 如何计算IOPS?

首先需要知道I/O中读操作(Read)与写操作(Write)所占的百分比。然后通过下列公式,将主机的IOPS需求转换成硬盘实际IOPS负载:

RAID类型公式
RAID 5和3Drive IOPS = Read IOPS + 4*Write IOPS
RAID 6Drive IOPS = Read IOPS + 6*Write IOPS
RAID 1和1/0Drive IOPS = Read IOPS + 2*Write IOPS

假定4500 IOPS中读/写比是2:1,则不同RAID类型Drive IOPS要求分别如下:

RAID 1/0: (2/3)*4500 + 2*(1/3)*4500 = 6000 IOPS

RAID 5: (2/3)*4500 + 4*(1/3)*4500 = 9000 IOPS

RAID 6: (2/3)*4500 + 6*(1/3)*4500 = 12000 IOPS

再参照下表中不同类型硬盘单块IOPS参数,得出需要多少块硬盘:

硬盘类型IOPS
Fibre Channel 15k rpm180
SAS 15k rpm180
Fibre Channel 10k rpm140
SATA 7.2k rpm80
SATA 5.4k rpm40
Flash drive2500

假定选用FC 15K RPM硬盘,则:

RAID 1/0: 6000/180 = 34 块

RAID 5: 9000/180 = 50 块

RAID 6: 12000/180 = 67 块

注:实际情况下还需考虑Vault Drivers (共5块)以及Hot Spares (建议每30块硬盘一个)。

最后,如果选用600GB FC硬盘来实现20TB可用空间,则RAID 1/0需要78块,RAID 5需要42块,具体计算方法参考:https://community.emc.com/thread/128563

原英文讨论链接:

https://community.emc.com/message/414474

https://community.emc.com/message/556556

https://community.emc.com/thread/117796

https://community.emc.com/thread/91112

2 Bronze

Re: 如何计算IOPS?

请教LZ一个问题,我一直没想明白该如何计算。

Your customer wants to use a VNX

system at an unmanned DR site. The system will be used exclusively as a secondary

MirrorView/A system, and it is capable of performing 60,000 LUN IOPs in this role. The primary

system is also a VNX.

If the total primary image workload consists of 1 KiB random I/Os with a R/W ratio of 3:1, what is

the maximum bandwidth required for the link between the VNX systems?

0 项奖励
5 Rhenium

Re: 如何计算IOPS?

MirrorView/A会调用SAN Copy进行远距离数据传输的动作。SAN Copy的传输颗粒度是2KB (一个64KB的COFW trunk会被拆成32个来跟踪和传输)。这个DR site是unmanned的,且这台VNX只用于secondary MirrorView/A,因此60000 IOPS都能用于写操作。计算链路可能的最大带宽,就是计算当secondary VNX达到60000 LUN IOPS时,带宽中数据量有多少。所以60000 * 1(KB block) * 2(KB/颗粒) / 1024 = 117 MB/s

0 项奖励
2 Bronze

Re: 如何计算IOPS?

最后,如果选用600GB FC硬盘来实现20TB可用空间,则RAID 1/0需要78块,RAID 5需要42块.

请问这个计算出来的结果和之前算的IOPS有什么关系?是根据iops来定?

0 项奖励
5 Rhenium

Re: 如何计算IOPS?

IOPS和容量要同时达标的话就都要考虑,600GB硬盘做RAID 1/0实现20TB空间根据CLARiiON Capacity Calculator计算需要78块,超过了RAID 1/0: 6000/180 = 34 块的要求,因此不需要再添加更多硬盘。如果没有达到34块的要求,就需要添加更多的硬盘。

当然这些都是估计值,实际做方案时更会受到成本的限制,对自己存储的性能大致有个底就行。

0 项奖励
2 Bronze

Re: 如何计算IOPS?

多谢roger的回复,能解释一下那条公式 Drive IOPS = Read IOPS + 4*Write IOPS 里面4的raid6里面的6的意思吗?

是经验值还是什么?

0 项奖励
版主
版主

Re: 如何计算IOPS?

raid5和raid6分别带1份和2份校验(parity)作为数据保护的手段,从而可分别应对最多坏1个盘和2个盘的情况。但是随之而来也有了写(write)性能上一定的降低。这是因为对于raid5上的每个写IO,需要分别读取数据位和校验位,计算后然后再写入数据位和校验位总共4个IO来完成。同理,对于raid6上的每次写IO,需要3+3总共6次IO来完成。这个也就是上述公式里的4*Write IOPS (对应raid5)和6*Write IOPS (对应raid6)的意思。

当然,这个只是指传统意义上的理论算法。就当今的存储系统而言,由于大量写缓存的存在以及系统的其他优化处理,raid5和raid6的写性能并没有想象中的那么差。

0 项奖励
3 Silver

Re: 如何计算IOPS?

很不错,下面有个计算IOPS的文章。

IOPS计算方法

传统磁盘本质上一种机械装置,如FC, SAS, SATA磁盘,转速通常为5400/7200/10K/15K rpm不等。影响磁盘的关键因素是磁盘服务时间,即磁盘完成一个I/O请求所花费的时间,它由寻道时间旋转延迟数据传输时间三部分构成。

寻道时间Tseek是指将读写磁头移动至正确的磁道上所需要的时间。寻道时间越短,I/O操作越快,目前磁盘的平均寻道时间一般在3-15ms。

旋转延迟Trotation是指盘片旋转将请求数据所在扇区移至读写磁头下方所需要的时间。旋转延迟取决于磁盘转速,通常使用磁盘旋转一周所需时间的1/2表示。比如,7200rpm的磁盘平均旋转延迟大约为60*1000/7200/2 = 4.17ms,而转速为15000 rpm的磁盘其平均旋转延迟约为2ms。

数据传输时间Ttransfer是指完成传输所请求的数据所需要的时间,它取决于数据传输率,其值等于数据大小除以数据传输率。目前IDE/ATA能达到133MB/s,SATAII可达到300MB/s的接口数据传输率,数据传输时间通常远小于前两部分时间。

因此,理论上可以计算出磁盘的最大IOPS,即IOPS = 1000 ms/ (Tseek + Troatation),忽略数据传输时间。假设磁盘平均物理寻道时间为3ms, 磁盘转速为7200,10K,15K rpm,则磁盘IOPS理论最大值分别为,

IOPS = 1000 / (3 + 60000/7200/2)  = 140

IOPS = 1000 / (3 + 60000/10000/2) = 167

IOPS = 1000 / (3 + 60000/15000/2) = 200

固态硬盘SSD是一种电子装置,避免了传统磁盘在寻道和旋转上的时间花费,存储单元寻址开销大大降低,因此IOPS可以非常高,能够达到数万甚至数十万。实际测量中,IOPS数值会受到很多因素的影响,包括I/O负载特征(读写比例,顺序和随机,工作线程数,队列深度,数据记录大小)、系统配置、操作系统、磁盘驱动等等。因此对比测量磁盘IOPS时,必须在同样的测试基准下进行,即便如何也会产生一定的随机不确定性。通常情况下,IOPS可细分为如下几个指标:

Toatal IOPS,混合读写和顺序随机I/O负载情况下的磁盘IOPS,这个与实际I/O情况最为相符,大多数应用关注此指标。

Random Read IOPS,100%随机读负载情况下的IOPS。

Random Write IOPS,100%随机写负载情况下的IOPS。

Sequential Read IOPS,100%顺序负载读情况下的IOPS。

Sequential Write IOPS,100%顺序写负载情况下的IOPS。

IOPS的测试benchmark工具主要有Iometer, IoZone, FIO等,可以综合用于测试磁盘在不同情形下的IOPS。对于应用系统,需要首先确定数据的负载特征,然后选择合理的IOPS指标进行测量和对比分析,据此选择合适的存储介质和软件系统。

0 项奖励