EMC存储上的大数据 – 软件定义存储数据服务与HDFS

8 Krypton

EMC存储上的大数据 – 软件定义存储数据服务与HDFS

EMC存储上的大数据 软件定义存储数据服务与HDFS

转载请在文首保留原文出处:EMC中文支持论坛https://community.emc.com/go/chinese publish_button_16.ico

介绍

     企业一直在处理快速增长的数据量(也称为大数据)的存储和管理问题。本文为系列的第十二篇,介绍了EMC ViPR针对HDFS的数据服务。

更多信息

ViPR全局数据服务:

     ViPR全局数据服务允许管理员和开发人员开发跨阵列并支持混合数据类型的新全球数据服务。全局数据服务属于存储抽象化,反映数据类型(文件、对象、数据块和混合数据类型)、访问协议(iSCSINFSREST等)以及持久性、可用性和安全性特征(快照、复制等)的组合。ViPR全局数据服务示例包括:


文件中对象数据服务:


     EMC ViPR文件中对象数据服务提供了将非结构化数据(例如,图像、视频、音频、联机文档)作为基于文件中对象的存储(例如EMC VNXIsilonNetApp存储系统)进行存储、访问和操作,而不必重写或重新处理现有基于文件的应用程序。ViPR文件中对象数据服务是在不同硬件平台上透明运行的软件层。最初,ViPR文件中对象数据服务为用户提供了使用Amazon S3OpenStack SwiftEMC Atmos API管理对象数据以及访问文件系统上的数据的功能。ViPR文件中对象数据服务提供对文件阵列的直接路径访问。特别是,由于企业写入到文件系统的现有应用程序不必重新编码即可利用ViPR,因此他们可以从此功能受益。


HDFS数据服务:


     ViPR作为支持HDFS的优秀平台之一,它可以让组织利用现有的数据存储阵列(例如VNXIsilonNetApp)在主流的Hadoop发行上运行大数据分析。基于Hadoop以及成为现阶段企业在大数据之旅上的主要研究与部署对象,且HDFSHadoop的核心分布式文件系统,许多企业在实验室中都拥有HDFS项目。然而,许多企业发现Hadoop在部署和扩展上很困难。而ViPR则可以帮助组织利用现有的存储来解决这种困难,而且这种解决方案是被EMC所验证的。相比部署只针对大数据分析的专有存储架构,利用位于已有存储资源的虚拟化ViPR HDFS数据服务,无论是在资源利用率和管理性上都拥有明显的优势。

ViPR_HDFS_1.png

     鉴于Hadoop的发展趋势,灵活的软件模型在未来允许计算与存储分离。ViPR也将在未来支持专用的硬件设备,在这种情况下,ViPR可以更好的充当Hadoop的企业级存储子系统。ViPR同时拥有基于地域复制的灾难恢复功能。而且,ViPR还支持将Hadoop分布式文件系统(HDFS)支持将对使用对象和文件数据服务的数据密集型应用程序应用位置感知。处理工作在数据所在的执行器节点上执行,而不必再遍历网络,从而减少了主干网络的流量。

ViPR_HDFS_2.png

总结来说,ViPR的优势有:

  • 解决需要部署专用Hadoop专用存储的局限性
  • 允许HDFS运行在已有的存储硬件之上
  • 支持HDFS/对象/文件不同的存储方式
  • 灵活的软件模型



参考

EMC存储上的大数据 – Hadoop软件概述

EMC存储上的大数据 – Hadoop生态系统与体系结构

EMC存储上的大数据 – 利用大数据增强业务可见性

EMC存储上的大数据 – HDFS on Isilon(一)

EMC存储上的大数据 – HDFS on Isilon(二)

EMC存储上的大数据 – HDFS on Isilon(三)

EMC存储上的大数据 – HDFS存储可靠性

EMC存储上的大数据 – 基础架构与数据分析

EMC存储上的大数据 – 敏捷分析与可行性洞察

EMC存储上的大数据 – 大数据分析实施路线

EMC存储上的大数据–软件定义存储模型

EMC存储上的大数据 – 面对大数据安全挑战

EMC存储上的大数据 – 数据推动高效安全

EMC存储上的大数据 –安全分析阶段方法

EMC存储上的大数据 – 安全部署优势


应用于

大数据

             

版本历史
修订号
1 / 1
上次更新时间:
‎02-01-2015 01:17 PM
更新依据: