「OneFSでApache Hadoop YARNノード ラベル機能を使用しようとすると失敗する(英語)」

概要: 「OneFSでApache Hadoop YARNノード ラベル機能を使用しようとすると失敗する(英語)」

この記事は次に適用されます: この記事は次には適用されません: この記事は、特定の製品に関連付けられていません。 すべての製品パージョンがこの記事に記載されているわけではありません。

現象



課題

Apache Hadoop YARNノード ラベル機能を使用しようとすると、アクションは失敗し、OneFSはエラー メッセージを生成します。


現象

OneFS 7.2.1.xおよびApache Hadoop 2.7でYARNノード ラベル機能を使用しようとすると、ユーザーは-appendToFileを受け取ることがあります。致命的な内部エラー メッセージです。
 

Environment

OneFS 7.2.1.xおよびHadoop 2.7

原因

原因

デフォルトでは、Hadoopはノード ラベル情報をHDFSクラスター上のディレクトリーに格納します。  Isilon OneFS 7.2.1.xは、Hadoop 2.7から送信されたappendtofileパラメーターを認識しないため、ユーザーがYARNノード ラベル機能を使用しようとするとエラーが生成される場合があります。

解決方法


解決策

この問題を解決するには、次のいずれかの操作を行います。
  • OneFS 7.2.1.2

    • 以下に示す回避策を実装します
  • OneFS 7.2.1.1

    • 最初にパッチ-164059を適用してから、以下に示す回避策を実装します

対策

HDFSクラスターではなくOneFSクラスターに存在するYARNノード ラベル ディレクトリーを手動で作成して使用するには、次の回避策を実装します。  注:GitHub で isilon_hadoop_tools スクリプトを実行した場合は、スクリプトによって正しいディレクトリが自動的に作成され、アクセス許可が付与されるため、この回避策に従う必要はありません

ステップ1。ノード ラベル情報を保存するためにOneFSを準備します
OneFSクラスターで次の手順を実行します。
メモ:次の手順で、HDFS_ROOT_DIRはOneFSクラスター上のHDFSルート ディレクトリーを参照します。

  1. OneFSに新しいディレクトリーを作成して、ノード ラベル ストアをホストします。
    • mkdir -p HDFS_ROOT_DIR/system/yarn/node-labels
  2. ユーザー yarn が存在することを確認します。メモ:yarn というユーザーをまだ作成していない場合は、ここで作成します。  ユーザーの作成の詳細については、Isilon OneFS CLI管理ガイドのローカル ユーザーとグループの管理セクションを参照してください。
    • ISI認証ユーザー リスト
  3. ユーザー yarn を新しいディレクトリの所有者にします。
    • chown yarn HDFS_ROOT_DIR/system/yarn/node-labels
  4. ディレクトリーの権限レベルを変更して、所有者に読み取り、書き込み、実行を許可します。
    • chmod 700 HDFS_ROOT_DIR/system/yarn/node-labels
 
(オプション)ステップ2: OneFSにノード ラベル情報を保存するようにApache Hadoopに指示する
HDFSクラスターで次の手順を実行します。
  1. ブラウザーを使用して、HDFSクラスター上のAmbari Managerにログオンします。
  2. Ambariダッシュボードの上部バナーで、 Servicesをクリックします。
  3. 左側のパネルで、[ YARN]をクリックします。
  4. [Configs]タブをクリックします。
  5. [設定]タブをクリックします。
  6. [YARN 機能] で、ノード ラベルが [有効] であることを確認します。
  7. Save(保存)」をクリックします。
  8. [ 詳細 設定]タブをクリックします。
  9. Advanced yarn-siteセクションを展開します。
  10. yarn.node-labels.fs-store.root-dirフィールドに、デフォルトの/system/yarn/node-labelsが表示されていることを確認します。
  11. Save(保存)」をクリックします。

その他の情報

追加情報

Hadoop 2.7の問題に関するApacheの情報:
issues.apache.org/jira/browse/HDFS-9290

Yarnのノードラベル機能の使用方法に関するApacheのドキュメント:
hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/NodeLabel.html

Yarnのノード ラベル機能の使用方法に関するHortonworksのドキュメント:
docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.4.2/bk_yarn_resource_mgt/content/ch_node_labels.html  

対象製品

Isilon

製品

Isilon
文書のプロパティ
文書番号: 000052203
文書の種類: Solution
最終更新: 26 3月 2025
バージョン:  4
質問に対する他のDellユーザーからの回答を見つける
サポート サービス
お使いのデバイスがサポート サービスの対象かどうかを確認してください。