Highlighted
Zhang_Jiawen
4 Beryllium

【分享】“数据湖”存储领域迎接大数据时代法宝

原文出处:比特网

伴随着“互联网+”热浪来袭,存储领域厂商不约而同的注意到“互联网+大数据”市场的商机,由此诞生了“数据湖”,几乎所有的存储厂商都为这一概念炒作,业内很多专业的存储厂商开始抓住数据湖针对大数据业务展开新一轮的攻势。实际上,数据湖是一套兼顾大数据和客户业务的存储解决方案

数据湖让存储“畅游”

  破冰的关键

  数据湖概念的提出,起初是基于客户在大数据业务应用处理之上,受传统应用、现代应用、传感器和智能设备数据增长驱动。“我们发现,‘互联网+’概念诞生之后,很多客户通过新媒体去挖掘全新的公共数据,但是,客户原有的存储设备是无法帮助客户挖掘有效信息的,如何帮助客户在原有基础存储设备的基础上,满足其无限计算需求的增长?如何通过新应用和产品让实时分析与直连行动成为可能?现有的存储设备是否有可能捕获并处理这类数据?这些问题都成为存储厂商亟需要为客户解决的关键。” EMCIsilon大中国区技术经理杨峰如是说。

  就是在这样的背景之下,数据湖解决方案破冰而出,成为存储、分析技术、海量数据处理的组合体。

  业务数据湖正成为存储厂商为企业构建最优存储解决方案的核心业务,因为它能够填补传统数据仓库留下的一个关键空白。“业务数据湖包含结构化和非结构化数据,来源各种各样,但就应用而言,数据湖主要聚焦于建立模型从而预测未来。有一些已经部署了数据湖的公司,从他们的业务运行上分析,主流客户是在利用数据和预测模型构建新产品、应用和创建新的业务,更有一些客户利用数据湖分析市场,从而研发产品并重新定义他们的重点行业,期望通过这些手段,占有更多的市场并获取更多的利润。”北京中科科技股份有限公司存储业务部经理黄志强如是说。

  构建有难度

  那么,数据湖能带给客户什么样的功能呢?杨峰说:“一个充分有效的业务数据湖将提供三项关键功能:首先是存储,它能够面向所有种类进行分析,存储许多不同数据源的结构化和非结构化数据,为分析用例提供所需的混合容量和性能。其次是分析,具备分析场景的功能,包括基于Hadoop的、In-Memory No-SQL和横向扩展MPP,提供现代化的数据管理和分析工具。最后,才是回馈和总结,它必须向用户提供数据和应用,实现结果的实时变化并影响关键决策。”

  数据湖方案可以为企业带来好处很多,例如:高效的存储,消除存储竖井,简化管理,提高利用率;强大的可扩展性,基于可大规模扩展的scale-out架构构建,易于管理;更高的操作灵活性,多协议和下一代访问能力支持传统和新兴应用;通过高效和弹性的备份、灾难恢复、安全选项保护数据;无时无刻的进行大数据分析,利用共享存储并支持像HDFS这样的协议,就地进行划算的分析,并更快形成结果。

  但是,好处和困难总是并列存在的,构建一个高效的数据湖解决方案并不容易而且具备一定复杂性。“对那些尝试部署数据湖的方案商而言,他们必须为每个分析用例部署并配置正确的分析平台,以及相对应的存储,从Hadoop(是一个能够对大量数据进行分布式处理的软件框架)到实时。一旦设置环境被创建,数据必须在所有正确的访问权限和管理应用到数据集的情况下加载。环境和数据集的部署是一个复杂且耗时的任务,但目前方案商很难满足业务使用者的需求。

  积极构建联合方案

  确实,存储企业虽然拥有很好的存储技术,但要做到全面应用处理数据确实有些难度。也正是基于此,在采访中,EMC透露,将同Pivotal和VMware合作,研发并推出一套完整的工程解决方案。

  “我们希望新的数据湖方案能够快速自动化配置,让客户能够及时从数据中把握业务需求。”据杨峰介绍,他们的联邦业务数据湖方案分析层是完全虚拟化的,通过运行在Vblocks上的VMware实现,带预定义的分析用例,以及自动化安装与配置。EMC Isilon为数据湖提供存储基础,实现容量和性能的理想平衡。

  “这一方案可在短至七天内实施 ,联邦业务数据湖可极大简化构建一个数据湖所需的大量复杂任务,是专为企业需要的速度、自服务和可扩展性而设计,让组织能够通过使用大数据分析,开始更好地进行业务决策。作为一个来自EMC联邦的融合解决方案, 联邦业务数据湖将重新定义基础设施,最大化部署混合云和数据湖的速度和敏捷性,加入企业混合云解决方案。” 杨峰如是说。

标签 (1)
标记 (1)
0 项奖励