Fenglin1
4 Beryllium

专题:极致性能存储DSSD的故事

专题:极致性能存储DSSD的故事


连载索引:


索引
2014-2015,收购DSSD后的两年
2016年2月,DSSD发布会前夕
2016年2月29日,DSSD D5发布会
关键字1:Rack-Scale架构
关键字2:性能100与10
关键字3:硬件架构
关键字4:IO Stack
关键字5:DSSD操作系统Flood
DSSD体系结构概述
DSSD Cubic RAID技术解析
视频:DSSD软硬件协同设计概览

DSSD极致性能的秘密 – NVMe over PCIe

视频:DSSD Cubic RAID技术解析

DSSD极致性能的秘密 – 数据访问流程

DSSD数据结构 – 数据对象、卷与元数据
DSSD Flood结构化对象与数据对象
Flood Direct Memory API
DSSD Flood中的Hadoop应用插件
视频:重新想象性能!EMC DSSD彻底改变您的业务
DSSD软件摘要和术语表
视频:EMC DSSD D5 - 创新改变世界

官方文档:

文档
DSSD Product Positioning Guide
DSSD D5 Data Sheet
DSSD D5 Spec Sheet
DSSD D5 Software Whitepaper
DSSD High Performance Databases/Data Warehouses Solution Brief
DSSD High Performance Hadoop Solution Brief
DSSD and Cloudera Evolve Hadoop Solution Brief
DSSD Custom High Performance Applications Solution Brief

DSSD D5 Provides Native and Flexible Data Access to Mission-Critical Applications

DSSD D5 Rack-Scale Flash Appliance - Game-changing Performance for Current and Future Applications

DSSD D5 Modular Data Architecture Makes Managing Data Volumes a Snap

DSSD Flood API Concepts
DSSD D5 Installation Guide
DSSD Client User Guide
DSSD Management API Guide
DSSD Administrator's Guide
DSSD Release Notes
DSSD Hadoop Plugin Installation Guide
Deploying Hadoop on EMC DSSD D5 - Best Known Methods
Deploying Oracle Database on EMC DSSD D5 - Best Known Methods
EMC DSSD D5 软件白皮书(中文)

EMC DSSD D5 Unleashes Parallel File System Solutions

EMC DSSD D5 规格说明(中文)
ESG White paper: DSSD Oracle performance
ESG Video: DSSD Oracle performance


官方视频:

官方视频

DSSD D5 – The Right Storage for Your High Performance Workloads

EMC and Cloudera Deliver Enterprise Analytics on Hadoop

Performance Reimagined! DSSD Can Change Your Business

DSSD D5 for High Performance Databases and Data Warehouses

DSSD D5 for High Performance Hadoop Workloads

信息图:

信息图
信息图:DSSD – The Future of Flash
信息图:DSSD D5 – A Quantum Leap In Enterprise Flash Storage
信息图:DSSD — 闪存的未来
信息图:DSSD Oracle Performance

信息图:DELL EMC DSSD D5 Accelerates and Simplifies Oracle Databases

Useful How-To KB:


KBs
DSSD: How to Power Off/On D5
DSSD: How To Manage Volumes On The D5
DSSD: How To Securely Erase the D5
DSSD: How To Run a Performance FIO Test on a Single Client
DSSD: How To Remove Volumes and Objects from the D5 and the Client
DSSD: How To Review LED Lights and Status on the D5
DSSD: How To Access the Serial Port on the D5
DSSD: How To Use Auditing Commands on the D5
DSSD: How To Use Flood on a Client Server
DSSD: How To Create a Block Object by Creating a Volume, an Object, and a Filesystem
DSSD: How To Check DSSD Client Software Version And Status
DSSD: How To Determine Port Connections Between Client And D5
DSSD: How To Cable Client Cards to the D5
DSSD: How To Configure NTP
DSSD: How To Set and Enable Syslog On D5
DSSD: [SW] How to review faults on a DSSD D5 Appliance
标签 (1)
标记 (1)
43 条回复43
Fenglin1
4 Beryllium

Re: 专题:极致性能存储DSSD的故事

收购后的两年

     两年前,2014年的EMC World中,EMC宣布了对DSSD的收购,外媒有传言这宗交易超过10亿美元,这家成立于2010年存储初创公司,虽然当时DSSD还没有推出完整的产品,当其超前的设计理念(Rack-Scale Flash Storage Tier)与核心技术专利使得EMC认为它将称为闪存存储战略中重要的收购。那个时候,人们纷纷猜测DSSD最终产品的样子,虽然EMC没有公布产品细节,但是可以确定的是,DSSD将是一款全新的高端存储,是全闪存存储阵列中VMAX。楼主在两年前EMC收购发布以后,曾经写过一篇文章,介绍了当时情况的概述,有兴趣的读者可以了解一下:(EMC下一步闪存战略:收购初创公司DSSD

     随后,DSSD并入EMC的一年后。2015年的EMC World期间,DSSD开放了一些产品细节和定位,不过内容并不多。当时能够知道的是,DSSD的产品定位偏向于高性能,极小的数据访问延时,但是相对较少的数据服务。首款产品D5会以一个5U标准机架呈现。系统中可以安装36块闪存板卡,每块板卡中包含Native Flash NAND(容量未知),并且这些板卡会通过DSSD专有的PCIe网络相连,并且有冗余的系统主板进行管理,并进行作业调度。前端服务器通过安装在主机上的PCIe gen3适配器直接与PCIe网络相连,数据I/O直接进入服务器系统主线。

DSSD_1_1.png

有博主访问的DSSD的本部,得到了当时的一些DSSD的一手照片,下图是满载系统的背面,中间那台5U左右的机器应该就是DSSD D5,剩下的全是服务器!

DSSD_1_2.png

机柜的正面,白色的部分都是闪存板卡。

DSSD_1_3.png

服务器插上了PCIe适配器(红色),紫色的应该就是PCIe的网络连线了。

DSSD_1_4.png

PCIe适配器近照

DSSD_1_5.png

DSSD闪存模块

DSSD_1_6.png

闪存模块内部

DSSD_1_7.png

图片来源

0 项奖励
liulei_it
4 Ruthenium

Re: 专题:极致性能存储DSSD的故事

是不是可以这样理解  XtremIO可以看作为一个存储 那么这些DSSD可以看做是在主机端的flash ?

0 项奖励
Fenglin1
4 Beryllium

Re: 专题:极致性能存储DSSD的故事

DSSD是共享直连式存储,与主机端Flash和网络全闪存存储阵列还是有区别的。

0 项奖励
zhaos2
3 Zinc

Re: 专题:极致性能存储DSSD的故事

多谢分享!

0 项奖励
Fenglin1
4 Beryllium

Re: 专题:极致性能存储DSSD的故事

2016年发布会前夕

     来到2016年第一季度, EMC市场部开始为产品上市造势。专用的Twitter @EMC DSSD在年初的时候被激活,而且基本上每日都有推文。标题语#FasterThan,#GameChanger,告诉用户DSSD能有多快,叙述手法还略带神秘!

  • #DSSD is so fast that if it replaced the Apollo 11 the U.S. would have landed on the moon 3 days earlier
  • In <.5 of a second, #DSSD could complete a pit-stop. That's what we like to call a #GameChanger. #FasterThan
  • Up for a challenge? Try running 100 meters in less than 1 second. #DSSD can do it. #FasterThan
  • #DSSD provides so much bandwidth that if it was the Golden Gate Bridge, >1M cars could cross it each day #FasterThan


DSSD_1_8.png

EMC Store官网上的DSSD D5也已经上架了,不过还是NOT YET PUBLISHED。

DSSD_1_9.png


现在可以知道的是,2016年的第一季度,DSSD D5就会和最终用户见面。至于最终的产品会是怎么样的?楼主会在这个帖子里面会慢慢把能得到,能够发布的技术细节,系统架构,特殊功能内容慢慢呈现。
希望看这个帖子的读者可以在这里全方位的了解DSSD,收藏或回复本贴坐等更新吧!

发布会预告

     EMC将于美国东部时间2月29日(北京时间3月1日0点)召开DSSD D5的发布会"Quantum Leap",同时发布的还有VMAX全闪存阵列。EMC官网已经放出了这次主题为全闪存Six Industry First的Live Event的链接。可以通过以下的链接下载存储在您的日程表里面。

DSSD_2_1.png

活动注册链接:http://www.emc.com/en-us/index.htm?activity_id=851126&cmp=emc-cor-glbl-nspa-npa-calendar-invite-ccg

DSSD_2_2.png

0 项奖励
born_chen
4 Beryllium

Re: 专题:极致性能存储DSSD的故事

待公布产品细节后,再看如何和 XtremIO 做区别。

0 项奖励
liulei_it
4 Ruthenium

Re: 专题:极致性能存储DSSD的故事

EMC的上海实验室应该有一个把

0 项奖励
Fenglin1
4 Beryllium

Re: 专题:极致性能存储DSSD的故事

  北京时间3月1日零点,EMC在伦敦召开了名为Quantum Leap(量子飞跃)的新品发布会。楼主第一时间坐在电脑前,收看了整个发布会的全过程,整个发布会以全闪存改变世界存储数据的方式为主题,介绍了多款EMC的全闪存存储产品,而其中最重量级的莫过于DSSD D5,这个实现量子飞跃的EMC新年的拳头产品。


DSSD_3_2.png

 

在整个耗时90分钟的发布会中花了将近8成的时间介绍DSSD D5下面我们来一点点看下发布会上所发布的DSSD D5的细节内容:

关键字1Rack-Scale架构:


     DSSD D5被EMC(甚至整个业界)认为是一个Game Changer的存储产品。所使用的全新的架构可以说是集成了现有网络闪存阵列的冗余(No Single Point of Failure)、共享数据(Sharable)与直连存储的极致性能(Extremely High)的特点。可共享的直连存储(Shared DAS)是对Rack-Scale的直观描述。Rack-Scale是被誉为有着极致性能的突破性架构,而这种数据架构在解决数据吞吐量和延迟上的是革命性的。它能够满足现今越来越多的业务对应用在获取数据上的苛刻需求,而这方面正式目前大多数服务器端技术的局限性。

集两者大成的全新存储架构:

DSSD_3_3.png

0 项奖励
Fenglin1
4 Beryllium

Re: 专题:极致性能存储DSSD的故事

关键字210010


  • 10 Million IOPS!
  • 100 GB/s Bandwidth!
  • 100 us Latency!


     以上是DSSD D5能够提供的性能数字,它的性能达到千万级的IOPS和100 GB每秒的吞吐量,而且延时能则降到100微秒的延时(万分之一秒)。这些性能数据足以秒杀当前市场上任何一款存储系统。楼主曾经听闻DBA们一直以5毫秒响应时间为目标不懈努力着,而DSSD已经瞬间到达了这个目标的50倍。

DSSD_3_4.png

     如此性能甚至百倍于市场上现有的全闪存网络存储阵列。

DSSD_3_5.png

     在发布会中,还提供了一个实际测试案例的数据,使用的是Oracle的数据库,在测试环境中实现了5.3M的IOPS,总体拥有成本还降低了2/3,然而这显然还不是DSSD D5的上限!

DSSD_3_6.png