未解决
此帖子已超过 5 年
2 Intern
•
2.1K 消息
0
4360
EMC存储上的大数据 – HDFS on Isilon(一)
EMC存储上的大数据 – HDFS on Isilon(一)
转载请在文首保留原文出处:EMC中文支持论坛https://community.emc.com/go/chinese
介绍
企业一直在处理快速增长的数据量(也称为大数据)的存储和管理问题。本文为系列的第四篇,介绍HDFS与Isilon的集成功能。
更多信息
HDFS中的所有通讯都根据TCP/IP协议分层,因此Isilon已将HDFS层作为一种适用于OneFS的网络协议集成。借助于该集成,用户可以将横向扩展NAS平台用作Hadoop核心组件以及任何生态系统组件的Hadoop体系结构的原生部分。(关于更多Isilon OneFS的介绍,请看参考中列出的几篇文档)
另外,客户还能借此在整个Hadoop工作流中充分利用OneFS的简单性、灵活性、可靠性和效率。
上图显示了在通过网络协议(HDFS)将Isilon横向扩展NAS集成到Hadoop计算群集时的体系结构。这使得Isilon横向扩展NAS可以成为企业Hadoop工作流中的一等Hadoop公民。它还允许将Hadoop工作流的以下两个核心组件分开:计算层(MapReduce层)以及Hadoop分布式文件系统(HDFS,或存储层)。由于目前可用的网络带宽已经显著提高,而且OneFS在构建时在其核心使用了分布式并行的概念,因此企业客户可以在其使用Hadoop的数据分析工作流中利用共享的横向扩展存储模型。
下面一张图是深入显示了与Isilon横向扩展NAS协同工作的Hadoop的所有核心组件以及生态系统组件。
目前,EMC Isilon OneFS文件系统可以在单一文件系统和单一全局命名空间中扩展至15PB以上。在该容量下,它还可以扩展至85GB/s并发吞吐量。有关OneFS如何线性扩展至该容量以及Hadoop工作流性能要求的详细信息,请参阅specsfs2008基准测试结果(www.spec.org)
后续文章中会介绍Hadoop工作流中利用EMC Isilon横向扩展NAS的重大优势。
参考
EMC存储上的大数据 – HDFS on Isilon(二)
EMC存储上的大数据 – HDFS on Isilon(三)
应用于
大数据