开始新对话

未解决

此帖子已超过 5 年

4360

2014年12月1日 22:00

EMC存储上的大数据 – HDFS on Isilon(一)

EMC存储上的大数据 – HDFS on Isilon(一)

转载请在文首保留原文出处:EMC中文支持论坛https://community.emc.com/go/chinese publish_button_16.ico

介绍

     企业一直在处理快速增长的数据量(也称为大数据)的存储和管理问题。本文为系列的第四篇,介绍HDFSIsilon的集成功能。

更多信息

     HDFS中的所有通讯都根据TCP/IP协议分层,因此Isilon已将HDFS层作为一种适用于OneFS的网络协议集成。借助于该集成,用户可以将横向扩展NAS平台用作Hadoop核心组件以及任何生态系统组件的Hadoop体系结构的原生部分。(关于更多Isilon OneFS的介绍,请看参考中列出的几篇文档)

    

     另外,客户还能借此在整个Hadoop工作流中充分利用OneFS的简单性、灵活性、可靠性和效率。

Hadoop_Isilon_1.png

     上图显示了在通过网络协议(HDFS)将Isilon横向扩展NAS集成到Hadoop计算群集时的体系结构。这使得Isilon横向扩展NAS可以成为企业Hadoop工作流中的一等Hadoop公民。它还允许将Hadoop工作流的以下两个核心组件分开:计算层(MapReduce层)以及Hadoop分布式文件系统(HDFS,或存储层)。由于目前可用的网络带宽已经显著提高,而且OneFS在构建时在其核心使用了分布式并行的概念,因此企业客户可以在其使用Hadoop的数据分析工作流中利用共享的横向扩展存储模型。


     下面一张图是深入显示了与Isilon横向扩展NAS协同工作的Hadoop的所有核心组件以及生态系统组件。

Hadoop_Isilon_2.png

     目前,EMC Isilon OneFS文件系统可以在单一文件系统和单一全局命名空间中扩展至15PB以上。在该容量下,它还可以扩展至85GB/s并发吞吐量。有关OneFS如何线性扩展至该容量以及Hadoop工作流性能要求的详细信息,请参阅specsfs2008基准测试结果(www.spec.org


     后续文章中会介绍Hadoop工作流中利用EMC Isilon横向扩展NAS的重大优势。

参考

EMC存储上的大数据 – Hadoop软件概述

EMC存储上的大数据 – Hadoop生态系统与体系结构

EMC存储上的大数据 – 利用大数据增强业务可见性

Isilon OneFS

EMC存储上的大数据 – HDFS on Isilon(二)

EMC存储上的大数据 – HDFS on Isilon(三)

EMC存储上的大数据 – HDFS存储可靠性

EMC存储上的大数据 – 基础架构与数据分析

EMC存储上的大数据 – 敏捷分析与可行性洞察

EMC存储上的大数据 – 大数据分析实施路线

EMC存储上的大数据–软件定义存储模型

EMC存储上的大数据 – 软件定义存储数据服务与HDFS

EMC存储上的大数据 – 面对大数据安全挑战

EMC存储上的大数据 – 数据推动高效安全

EMC存储上的大数据 –安全分析阶段方法

应用于

大数据

             

没有回复!
找不到事件!

Top