开始新对话

未解决

此帖子已超过 5 年

9660

2013年8月7日 00:00

关于不同应用程序存储IO类型的描述

关于不同应用程序存储IO类型的描述

转载请在文首保留原文出处:EMC中文支持论坛https://community.emc.com/go/chinese

介绍

     存储系统作为数据的载体,为前端的服务器和应用程序提供读写服务。存储阵列某种意义上来说,是对应用服务器提供数据服务的后端“服务器”。应用服务器对存储系统发送数据的“读”和“写”的请求。然而,不同的应用程序对存储的数据访问类型有所不同。本文描述典型的不同应用程序的存储IO类型。帮助读者了解不同应用程序存储IO类型的同时,提供的数据也可以为存储模拟和压力测试的数据参考。

更多信息

IO类型描述:

描述不同应用的存储IO类型之前,先要描述存储中的定义IO的几个术语:


  1. IO大小(IO Size):IO Size是应用程序发起,经过操作系统的磁盘子系统,向存储系统发送的读写请求的单位大小。不同的应用程序所发送的IO大小都不相同,例如对于数据库应用,它在数据读写的时候IO Size8KB,而在事务日志的写入的时候可能是512Bytes-64KB不等。所以,通常所说的IO Size都是一个平均的概念。即某一款应用在一段时间内的平均IO大小。
  2. 读写比例(Read/Write):读写比例比较容易理解,就是应用程序读数据和写数据分布。这个在规划存储的时候也至关重要,因为存储系统中的保护级别(RAID)的不同,对写有损失。例如RAID-5单次写入需要分别对数据位和校验位进行2次读和2次写。所以说,如果用RAID-5作为写入比例较高的应用,显然会对性能有很大影响。
  3. 顺序与随机读写比例(Random/Sequential):顺序和随机读写取决与应用的获取数据的方式。通常情况下,如果数据的读取和写入是在连续的磁盘空间上,可以认为是顺序读写。如果应用读取的数据分布在不同磁盘空间,且无固定的顺序,则视为随机读写。由于传统的机械磁盘(闪存盘不再讨论之列)读写数据需要盘面的转动和磁头的移动,这使得随机读写的效率在物理磁盘层面要远小于顺序读写。通常存储系统都都会利用缓存来减少这部分的延迟,减缓因为磁头的移动而带来的性能损失。随机读写的代表的是OLTP的数据库文件,顺序读写的代表则是数据的事务日志。

应用程序存储IO类型:

     下面的表中描述的不同的应用程序对应的IO大小、读写比例、随机和顺序比例。表中的比例为一个通用的参考值,比例接近真实各种应用的IO类型。当然不能包含全部的应用类型因为根据不同生产环境,数值也会有很大的差异。这里的数据提供一个参考,可以用于使用压力测试工具,例如IOMeterIOMeter用法可以参考文章:Iometer学习笔记),模拟不同应用的IO负载。

                                 

应用类型

IO大小

读写比例

随机与顺序读写比例

Web File Server

4KB8KB64KB

95%/5%

75%随机/25%顺序

Web Server Log

8KB

100% Write

100%顺序

OS Paging

64KB

90%/10%

100%顺序

Exchange  Server

4KB

67%/33%

100%随机

Workstation

8KB

80%/20%

80%随机/20%顺序

Media Streaming

64KB

98%/2%

100%顺序

OLTP - Data

8KB

70%/30%

100%随机

OLTP - Log

512bytes -   64KB

100%

100%顺序

参考

Iometer学习笔记


应用于

存储规划

应用性能分析

             

1.4K 消息

2013年8月20日 22:00

对,即便类似Analyzer这样的工具,也没有一个直接的counter告诉你到底是随机还是顺序,必须通过分析多个counter来得出一个判断。我知道EMC Engineering有专门的trace工具依据LBA Accessing layout来更精确的判断这个特性。

2.1K 消息

2013年8月20日 22:00

随机和顺序,就比较难了,目前只能根据应用特点来估算,还没找到比较好的方法来看。

2.1K 消息

2013年8月20日 22:00

表格里的数据都是一些参考值,应该说大多数的应用接近这个比例吧,当然肯定也有个例不同情况。如果你要看目前应用的读写比例,要在操作系统端抓存储数据,Windows你可以参考使用Windows Perfmon看存储性能问题。Unix和Linux也有很多工具,你用的nmon里面不也有嘛Read/Write Ratio:

631 消息

2013年8月20日 22:00

Fenglin,表格中的读写比例和随机顺序比例都是经验值吗?

有没有方法可以测出我目前应用中的这些比例?

482 消息

2013年9月4日 01:00

请问应用类型Workstation是指什么应用啊?

我们在测试的时候,EXchange和OLTP读写比例都是6:4

5 消息

2014年10月27日 21:00

这个资料简单实用,正需要看看

5 消息

2014年10月27日 22:00

是的。

2.8K 消息

2014年10月27日 22:00

Ok,喜欢就好!

2.8K 消息

2014年10月27日 22:00

你是Newsletter半月报上看到这篇文章的吧?

找不到事件!

Top