「OneFSでApache Hadoop YARNノード ラベル機能を使用しようとすると失敗する(英語)」
概要: 「OneFSでApache Hadoop YARNノード ラベル機能を使用しようとすると失敗する(英語)」
この記事は次に適用されます:
この記事は次には適用されません:
この記事は、特定の製品に関連付けられていません。
すべての製品パージョンがこの記事に記載されているわけではありません。
現象
課題 |
Apache Hadoop YARNノード ラベル機能を使用しようとすると、アクションは失敗し、OneFSはエラー メッセージを生成します。
OneFS 7.2.1.xおよびApache Hadoop 2.7でYARNノード ラベル機能を使用しようとすると、ユーザーは-appendToFileを受け取ることがあります。致命的な内部エラー メッセージです。 |
Environment |
| OneFS 7.2.1.xおよびHadoop 2.7 |
原因
原因
デフォルトでは、Hadoopはノード ラベル情報をHDFSクラスター上のディレクトリーに格納します。 Isilon OneFS 7.2.1.xは、Hadoop 2.7から送信されたappendtofileパラメーターを認識しないため、ユーザーがYARNノード ラベル機能を使用しようとするとエラーが生成される場合があります。解決方法
解決策
この問題を解決するには、次のいずれかの操作を行います。
-
OneFS 7.2.1.2
- 以下に示す回避策を実装します
-
OneFS 7.2.1.1
- 最初にパッチ-164059を適用してから、以下に示す回避策を実装します
対策
HDFSクラスターではなくOneFSクラスターに存在するYARNノード ラベル ディレクトリーを手動で作成して使用するには、次の回避策を実装します。 注:GitHub で isilon_hadoop_tools スクリプトを実行した場合は、スクリプトによって正しいディレクトリが自動的に作成され、アクセス許可が付与されるため、この回避策に従う必要はありません
ステップ1。ノード ラベル情報を保存するためにOneFSを準備します
OneFSクラスターで次の手順を実行します。
メモ:次の手順で、HDFS_ROOT_DIRはOneFSクラスター上のHDFSルート ディレクトリーを参照します。
- OneFSに新しいディレクトリーを作成して、ノード ラベル ストアをホストします。
- mkdir -p HDFS_ROOT_DIR/system/yarn/node-labels
- ユーザー yarn が存在することを確認します。メモ:yarn というユーザーをまだ作成していない場合は、ここで作成します。 ユーザーの作成の詳細については、Isilon OneFS CLI管理ガイドのローカル ユーザーとグループの管理セクションを参照してください。
- ISI認証ユーザー リスト
- ユーザー yarn を新しいディレクトリの所有者にします。
- chown yarn HDFS_ROOT_DIR/system/yarn/node-labels
- ディレクトリーの権限レベルを変更して、所有者に読み取り、書き込み、実行を許可します。
- chmod 700 HDFS_ROOT_DIR/system/yarn/node-labels
(オプション)ステップ2: OneFSにノード ラベル情報を保存するようにApache Hadoopに指示する
HDFSクラスターで次の手順を実行します。
- ブラウザーを使用して、HDFSクラスター上のAmbari Managerにログオンします。
- Ambariダッシュボードの上部バナーで、 Servicesをクリックします。
- 左側のパネルで、[ YARN]をクリックします。
- [Configs]タブをクリックします。
- [設定]タブをクリックします。
- [YARN 機能] で、ノード ラベルが [有効] であることを確認します。
- 「Save(保存)」をクリックします。
- [ 詳細 設定]タブをクリックします。
- Advanced yarn-siteセクションを展開します。
- yarn.node-labels.fs-store.root-dirフィールドに、デフォルトの/system/yarn/node-labelsが表示されていることを確認します。
- 「Save(保存)」をクリックします。
その他の情報
追加情報
Hadoop 2.7の問題に関するApacheの情報:
issues.apache.org/jira/browse/HDFS-9290
Yarnのノードラベル機能の使用方法に関するApacheのドキュメント:
hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/NodeLabel.html
Yarnのノード ラベル機能の使用方法に関するHortonworksのドキュメント:
docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.4.2/bk_yarn_resource_mgt/content/ch_node_labels.html
Hadoop 2.7の問題に関するApacheの情報:
issues.apache.org/jira/browse/HDFS-9290
Yarnのノードラベル機能の使用方法に関するApacheのドキュメント:
hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/NodeLabel.html
Yarnのノード ラベル機能の使用方法に関するHortonworksのドキュメント:
docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.4.2/bk_yarn_resource_mgt/content/ch_node_labels.html
対象製品
Isilon製品
Isilon文書のプロパティ
文書番号: 000052203
文書の種類: Solution
最終更新: 26 3月 2025
バージョン: 4
質問に対する他のDellユーザーからの回答を見つける
サポート サービス
お使いのデバイスがサポート サービスの対象かどうかを確認してください。