在Isilon集群上部署Cloudera数据管理软件实现大数据分析(下)

Jeffey1
4 Germanium

在Isilon集群上部署Cloudera数据管理软件实现大数据分析(下)

Isilon集群上部署Cloudera数据管理软件实现大数据分析(下)

转载请在文首保留原文出处:EMC中文支持论坛https://community.emc.com/go/chinese weibo.png

介绍

本文将继续介绍在Isilon集群上部署Cloudera的基本步骤。

更多信息

支持环境

  • OneFS操作系统7.2版本
  • HDFS许可证
  • SmartConnect高级功能许可证
  • Cloudera CDH 5.1 / Cloudera Manager 5.2

创建Hadoop用户和组帐户

Isilon集群上的用户和组必须和Hadoop客户端上用户和组的信息匹配,这样方便访问时验证。你可以创建以下Hadoop用户账号:

  • hdfs
  • mapred
  • hive
  • oozie
  • flume
  • hue

OneFS操作系统通过名字必须能够查找到一个Hadoop用户和组。如果你使用服务目录(如Active DirectoryLDAP),那么Hadoop的用户帐号需要被添加到目录中。如果你没有使用服务目录,那么就必须在本地创建Hadoop的用户和组账号。服务目录账号和本地账号只能选择一种做为认证的方法。另外,Hadoop的用户和组账号必须被添加到支持HDFS数据的每个Access Zone,目录服务可以被添加到一个以上的Access Zone,本地的Hadoop账号也必须在每个Access Zone分开创建。

配置Kerberos

如果你使用Kerberos协议来认证HDFS的连接,就必须在Isilon集群配置Kerberos服务,然后将其指定验证每个Access Zone OneFS操作系统支持Active Directory KerberosMIT Kerberos二种认证。

如果你使用Active Directory,你必须使用域帐号加入到一个合格的Active Directory域名。如果您使用MIT Kerberos,你可以指定以下组件来创建一个Kerberos provider并加入域:

  • 一个FQDN域名
  • 一台密钥分发设备
  • 域名
  • SPN
  • 被授权的SPN用户名和密码

配置HDFS设置

默认HDFS的根目录为Access Zone根目录,如果你想为HDFS创建一个不同的根目录,需要指定Access ZoneOneFSHDFS支持简单认证和Kerberos身份认证,默认二种都支持。在Access Zone中如果你只想指定一种认证方法,则需要指定身份验证发发。如果是指定Kerberos认证,需要在Hadoop客户端对XML文件进行设定。通过上述方法,可以对Isilon集群上保存的HDFS数据进行HDFS属性修改。

创建代理用户

在高级安全模式中,您可以为运行的Hadoop作业创建代理用户,这些代理用户应用于每个子区域,只能在Kerberos环境下工作。你可以创建以下代理用户:

  • hdfs
  • mapred
  • hive
  • oozie
  • flume
  • hue

参考

应用于

Isilon集群上部署Cloudera数据管理软件实现大数据分析。

版本历史
修订号
1 / 1
上次更新时间:
‎12-31-2014 01:36 PM
更新依据: