未解決
1 Rookie
•
21 メッセージ
2
2089
IsilonianTech 第10回 Isilonとデータアナリティクス ~Isilon Ambari Management Pack~
過去EMC Community Networkで連載しておりました本ブログですが、引き続きDell CommunityでIsilonの様々な情報をお伝えしていこうと思います。
今回はIsilonとAmbariおよびHDP(Hortonworks Data Platform)連携についてご紹介します。昨年のCloudera社とHortonworks社の合併のニュースは、みなさまも驚かれたのではないでしょうか?データ資本を取り巻く環境は、めまぐるしい進化を続けておりプラットフォームにおいても革新と維持のバランスを保つのは容易ではありませんが、コンピューティングとデータを分離しデータレイクをIsilonで構築することにより既存システムを維持しつつ最新技術を組み込むことが容易になります。
昨年夏にリリースされましたOneFS 8.1.2とIsilon Ambari Management Packを利用することによりAmbari上でIsilonが認識されセットアップや運用がシンプルになります。本ブログではIsilon Ambari Management Packを用いたIsilon+HDPのインストール方法を中心に説明いたします。なお、Isilonをデータアナリティクスの基盤として利用するメリットは第7回のブログを参照ください。
以下のとおり、3台のLinux VMと、Isilon Simulator(OneFS 8.1.2)を用意しました。各コンポーネントのバージョンはHDP 3.0.1とAmbari 2.7.1、OneFS 8.1.2で構築します。IsilonとHDPのバージョンに関しては、Hadoop Distributions and Products Supported by OneFSを参照ください。
1. Isilonの設定
はじめにIsilonから準備していきます。Isilonの設定は概ね第7回で設定した内容と同じですが異なる点が幾つかあります。今回はHDPなのでIsilon Hadoop toolsを実行する際にHortonworks(hwx)を指定します。また、Isilon側にAmbari関連の設定が必要となります。なお、OneFS8.1.2ではwgetコマンドが廃止になりましたのでIsilon Hadoop toolsをIsilon上で実行する際に別のクライアントマシンでダウンロードを行いIsilonにコピーする必要があります。
1.1 ライセンスの確認
HDFSとSmartConnect Advancedのライセンスが入っているかを確認します。Isilon Simulatorでは全てのライセンスを有効にすることができます。
sim-1# isi license list OneFS License ID: - Valid Signature: No Module Licensed node count Actual node count Status Expiration date ----------------------------------------------------------------------------------------- SMARTQUOTAS 1 Nodes 1 Nodes Evaluation - SNAPSHOTIQ 1 Nodes 1 Nodes Evaluation - SMARTCONNECT_ADVANCED 1 Nodes 1 Nodes Evaluation - SYNCIQ 1 Nodes 1 Nodes Evaluation - SMARTPOOLS 1 Nodes 1 Nodes Evaluation - SMARTLOCK 1 Nodes 1 Nodes Evaluation - HDFS 1 Nodes 1 Nodes Evaluation - SMARTDEDUPE 1 Nodes 1 Nodes Evaluation - CLOUDPOOLS 1 Nodes 1 Nodes Evaluation - SWIFT 1 Nodes 1 Nodes Evaluation - HARDENING 1 Nodes 1 Nodes Evaluation - ONEFS 1 Nodes 1 Nodes Evaluation - ----------------------------------------------------------------------------------------- Total: 12
SimulatorでHDFSが有効になっていない場合は、前回(第9回)のブログの「2.1ライセンスの有効化」を参考に有効化してください。
1.2 Access Zoneの作成
zone1-hdpという名前のAccess Zoneを作成します。
sim-1# isi zone zones create --name=zone1-hdp --path=/ifs/zone1/hdp --create-path sim-1# isi zone zones modify --user-mapping-rules="hdfs=>root" --zone zone1-hdp sim-1# isi zone zones view zone1-hdp Name: zone1-hdp Path: /ifs/zone1/hdp Groupnet: groupnet0 Map Untrusted: - Auth Providers: lsa-local-provider:zone1-hdp NetBIOS Name: - User Mapping Rules: hdfs=>root Home Directory Umask: 0077 Skeleton Directory: /usr/share/skel Cache Entry Expiry: 4H Negative Cache Entry Expiry: 1m Zone ID: 2
1.3 SmartConnectの設定
SmartConnect Zone Nameをsc.isilonian.localという名前で作成します。あらかじめHDPのLinux VMとDNSで名前解決(正引き/逆引き)出来るようにしておきます。
sim-1# isi network pools create --id=groupnet0:subnet0:hadoop-pool-hdp--ranges= --access-zone=zone1-hdp --alloc-method=dynamic --ifaces=1:ext-1 --sc-subnet=subnet0 --sc-dns-zone=sc.isilonian.local --description=hadoop
作成したSmartConnectの確認をします。
sim-1# isi network pools view --id=groupnet0:subnet0:hadoop-pool-hdp ID: groupnet0.subnet0.hadoop-pool-hdp Groupnet: groupnet0 Subnet: subnet0 Name: hadoop-pool-hdp Rules: - Access Zone: zone1-hdp Allocation Method: dynamic Aggregation Mode: lacp SC Suspended Nodes: - Description: hadoop Ifaces: 1:ext-1 IP Ranges: Rebalance Policy: auto SC Auto Unsuspend Delay: 0 SC Connect Policy: round_robin SC Zone: sc.isilonian.local SC DNS Zone Aliases: - SC Failover Policy: round_robin SC Subnet: - SC TTL: 0 Static Routes: -
1.4 ACL設定の変更
sim-1# isi auth settings acls modify --group-owner-inheritance=parent
1.5 ユーザマッピングの作成
HDFSユーザをrootにマップするためのユーザマッピングルールを作成します。
sim-1# isi zone zones modify --user-mapping-rules="hdfs=>root" --zone=zone1-hdp
1.6 HDFSユーザとグループの作成
ADやLDAPがない環境では、IsilonおよびHDPのLinuxに同じUID、GIDを持つユーザとグループを作成する必要がありますが、ローカルユーザを簡単に作成するためにDellEMCではIsilon Hadoop toolsを用意しています。Isilon Hadoop toolsの詳細についてはGitHub(https://github.com/isilon/isilon_hadoop_tools/)を参照ください。先ずIsilonの任意のディレクトリにIsilon Hadoop toolsを配置します。
はじめに、ユーザの作成を実施します。HDPなのでdistはhwx、UIDとGIDの開始は501とし、zoneは作成したzone1-hdpとします。
sim-1# bash isilon_create_users.sh --dist hwx --startuid 501 --startgid 501 --zone zone1-hdp
次に、ディレクトリの作成を実施します。HDPなのでdistはhdp、zoneはzone1-hdpとします。
sim-1# bash isilon_create_directories.sh --dist hwx --zone zone1-hdp
上記実行したディレクトリ配下に作成された、zone1-hdp.passwdおよびzone1-hdp.groupのファイルの中身を各HDPホストの/etc/passwd、/etc/groupへ追記します。
1.8 Ambari Server、Metricなどの設定sim-1# isi hdfs settings modify --zone=zone1-hdp --ambari-namenode=sc.isilonian.local sim-1# isi hdfs settings modify -–zone=zone1-hdp --ambari-server=hdp1.isilonian.local sim-1# isi hdfs settings modify --zone=zone1-hdp --ambari-metrics-collector=hdp1.isilonian.local sim-1# isi hdfs settings modify --zone=zone1-hdp --odp-version=3.0.1.0-187
以上でIsilonのセットアップは終了です。なお今回はシミュレータなので省略していますが本番環境では必要に応じてパッチを適用してください。
2. AmbariおよびHDPクラスタのセットアップ
Linux VM上にAmbariをダウンロードします。
[root@hdp01 ~]# wget -nv http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.7.1.0/ambari.repo -O /etc/yum.repos.d/ambari.repo
Isilon Ambari Management Packは下記DellEMCのサポートサイトからダウンロードします。(https://support.emc.com/products/46414)
Isilon Ambari Management Pack ランディングページ
2.1 AmbariおよびIsilon Ambari Management Packのインストール
以下のコマンドを実行してAmbariとIsilon Ambari Management Packをインストールします。
[root@hdp01 ~]# yum -y install ambari-server [root@hdp01 ~]# ambari-server install-mpack --mpack=isilon-onefs-mpack-1.0.0.0.tar.gz Using python /usr/bin/python Installing management pack 2019-01-24 01:43:02,158 - Execute[('tar', '-xf', '/var/lib/ambari-server/data/tmp/isilon-onefs-mpack-1.0.0.0.tar.gz', '-C', '/var/lib/ambari-server/data/tmp/')] {'tries': 3, 'sudo': True, 'try_sleep': 1} Ambari Server 'install-mpack' completed successfully.
Linuxディストリビューションやバージョンによってセットアップが異なる点がありますのでAmbariのセットアップについての詳細はhttps://docs.hortonworks.com/index.htmlを参照ください。
2.2 HDPのセットアップ
Ambari(GUI)にアクセスします。http:// :8080、ユーザ名/パスワードはadmin/adminでログインします。
クラスタ作成用のウィザード(LAUNCH INSTALL WIZARD)を実行します。
クラスタ名を入力します。
バージョン選択画面でHDP-3.0.1が選択されていることを確認します。
Target Hostsに全てのホストのFQDNを入力します。なお、Isilonは別途設定しますのでTarget Hostsには含めません。
ホストの登録が開始されます。
ファイルシステムの選択画面が表示されますので「OneFS」を選択します。その後、クラスタに必要なサービスを選択します。
各ホストにコンポーネントを割り当てていきます。
全てのクライアントが選択されていることを確認します。
Required ConfigurationsにあるOneFSの項目を「Edit」します。
OneFS HostにSmartConnect Zone Name(今回はsc.isilonian.local)を入力します。
内容を確認して「DEPLOY」を選択します。
下記画面が表示されればインストールが完了です。
3 Isilon+HDPの動作確認
Ambariにログイン後、左側のペインに「OneFS」が表示されていることを確認します。OneFSのSummaryが取得できていることを確認します。
久しぶりの投稿なのとDell Communityに不慣れな点があり読み苦しい部分はご了承ください。。。今年度はソフトウェア/ハードウェアともに色々なものが出てきそうな予感がしますので引き続き本ブログで発信したいと思います!
参考情報
Isilon-hadoop-tools
OneFS-HDFS-Tools
Isilon/OneFS
The Isilon and Hadoop Cluster Install Guides
OneFS 8.1.2 Documentation - Isilon Info Hub
導入ガイド
DELL EMC ISILON ONEFS WITH HADOOP AND HORTONWORKS INSTALLATION GUIDE
DELL EMC ISILON ONEFS WITH HADOOP AND HORTONWORKS FOR KERBEROS INSTALLATION GUIDE
ISILON ONEFS WITH AMBARI MULTITENANT ACTIVE DIRECTORY
TROUBLESHOOT HDFS AND AMBARI
ベストプラクティスガイド
DELL EMC ISILON BEST PRACTICES GUIDE FOR HADOOP DATA STORAGE
その他
Using Hadoop with Isilon - Isilon Info Hub
Dell EMC Ready Solutions for AI
バックナンバー
IsilonianTech 第1回 Isilonとオープンソース ~REX-Ray編~
IsilonianTech 第2回 Isilonとオープンソース ~OpenStack Manila編~
IsilonianTech 第3回 Isilonとオープンソース ~Isilon Data Insights Connector~
IsilonianTech 第4回 Software Defined Storage ~IsilonSD Edge~
IsilonianTech 第5回 Isilonとオープンソース ~Isilon-POSH~
IsilonianTech 第6回 Isilonとオープンソース ~Elastic Stack編~
IsilonianTech 第7回 Isilonとデータアナリティクス ~Cloudera編~
IsilonianTech 第8回 Elastic Cloud Storage (ECS) ~ECS Community Edition~
IsilonianTech 第9回 ISILON + ECS = UNLIMITED ~Isilon CloudPools~
IsilonianTech-第10回-Isilonとデータアナリティクス-Isilon-Ambari-Management
IsilonianTech 第11回 OneFS 8.2リリース!
IsilonianTech-第12回-データファーストを支援するソフトウェア-DataIQ
IsilonianTech-第13回-vRealize-Orchestratorプラグイン
安井 謙治
Dell EMC │Unstructured Data Solutions
UDS事業本部 SE部
http://dell.to/2Gv9jT6