Versuche von OneFS, die Apache Hadoop YARN-Node-Kennzeichnungsfunktion zu verwenden, schlagen fehl

Zusammenfassung: Versuche von OneFS, die Apache Hadoop YARN-Node-Kennzeichnungsfunktion zu verwenden, schlagen fehl

Dieser Artikel gilt für Dieser Artikel gilt nicht für Dieser Artikel ist nicht an ein bestimmtes Produkt gebunden. In diesem Artikel werden nicht alle Produktversionen aufgeführt.
Andere Ressourcen ansehen

Symptome



Problem
Beim Versuch, die Apache Hadoop YARN-Node-Kennzeichnungsfunktion zu verwenden, schlägt die Aktion fehl und OneFS erzeugt eine Fehlermeldung.


Problem

Beim Versuch, die YARN-Node-Bezeichnungsfunktion mit OneFS 7.2.1.x und Apache Hadoop 2.7 zu verwenden, erhalten die Nutzer möglicherweise -appendToFile: Schwerwiegende interne Fehlermeldung.
 

Umgebung
OneFS 7.2.1.x und Hadoop 2.7

Ursache

Ursache

Standardmäßig speichert Hadoop Node-Bezeichnungsinformationen in einem Verzeichnis auf dem HDFS-Cluster.  Isilon OneFS 7.2.1.x erkennt den von Hadoop 2.7 gesendeten appendtofile-Parameter nicht und generiert möglicherweise Fehler, wenn Nutzer versuchen, die YARN-Node-Etikettierungsfunktion zu verwenden.

Lösung


Auflösung

Führen Sie einen der folgenden Schritte aus, um dieses Problem zu beheben:

  • OneFS 7.2.1.2

    • Implementieren Sie die unten bereitgestellte Problemumgehung.

  • OneFS 7.2.1.1

    • Wenden Sie zuerst Patch-164059 an und implementieren Sie dann den unten angegebenen Workaround

Problemumgehung

Implementieren Sie die folgende Problemumgehung, um manuell ein YARN-Node-Bezeichnungsverzeichnis zu erstellen und zu verwenden, das sich auf dem OneFS-Cluster und nicht auf dem HDFS-Cluster befindet.  Hinweis: Wenn Sie das isilon_hadoop_tools Skript auf GitHub ausgeführt haben, müssen Sie diese Problemumgehung nicht befolgen, da das Skript automatisch das richtige Verzeichnis erstellt und autorisiert.

Schritt 1. Vorbereiten von OneFS zum Speichern von Node-Etikettierungsinformationen
Führen Sie die folgenden Schritte auf dem OneFS-Cluster aus.
Hinweis: Im folgenden Verfahren bezieht sich HDFS_ROOT_DIR auf Ihr HDFS-Stammverzeichnis auf dem OneFS-Cluster.

  1. Erstellen Sie das neue Verzeichnis in OneFS, um den Node-Etikettenspeicher zu hosten.
    • mkdir -p HDFS_ROOT_DIR/system/yarn/node-labels
  2. Vergewissern Sie sich, dass der Nutzer-Garn vorhanden ist. Hinweis: Wenn Sie noch keinen Benutzer mit dem Namen yarn erstellt haben, erstellen Sie jetzt einen.  Weitere Informationen zum Erstellen von Nutzern finden Sie im Abschnitt Verwalten lokaler Nutzer und Gruppen im Isilon OneFS CLI-Administrationshandbuch.
    • Liste der isi auth Users
  3. Machen Sie den Benutzer yarn zum Eigentümer des neuen Verzeichnisses.
    • Chown-Garn HDFS_ROOT_DIR/System/Garn/Knoten-Etiketten
  4. Ändern Sie die Berechtigungsstufe des Verzeichnisses, sodass der Eigentümer Lese-, Schreib- und Ausführungsberechtigungen hat.
    • CHMOD 700 HDFS_ROOT_DIR/System/Garn/Knoten-Etiketten
 
(Optional) Schritt 2: Weisen Sie Apache Hadoop an, Node-Etikettierungsinformationen in OneFS zu speichern.
Führen Sie die folgenden Schritte auf dem HDFS-Cluster aus.
  1. Melden Sie sich über einen Browser bei Ambari Manager auf Ihrem HDFS-Cluster an.
  2. Klicken Sie im oberen Banner des Ambari-Dashboards auf Services.
  3. Klicken Sie im linken Bereich auf YARN.
  4. Klicken Sie auf die Registerkarte Configs .
  5. Klicken Sie auf die Registerkarte Einstellungen .
  6. Vergewissern Sie sich unter YARN Features, dass die Node-Bezeichnungen aktiviert sind.
  7. Klicken Sie auf Save.
  8. Klicken Sie auf die Registerkarte Erweitert .
  9. Erweitern Sie den Abschnitt Advanced yarn-site.
  10. Vergewissern Sie sich, dass im Feld yarn.node-labels.fs-store.root-dir /system/yarn/node-labels aufgeführt ist.
  11. Klicken Sie auf Save.

Weitere Informationen

Zusätzliche Informationen

Apache-Informationen zum Hadoop 2.7-Problem:


issues.apache.org/jira/browse/HDFS-9290Apache-Dokumentation zur Verwendung der Node-Label-Funktion
von Yarn:

hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/NodeLabel.htmlHortonworks-Dokumentation zur Verwendung der Node-Label-Funktion
von Yarn:docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.4.2/bk_yarn_resource_mgt/content/ch_node_labels.html  

Betroffene Produkte

Isilon

Produkte

Isilon
Artikeleigenschaften
Artikelnummer: 000052203
Artikeltyp: Solution
Zuletzt geändert: 26 März 2025
Version:  4
Antworten auf Ihre Fragen erhalten Sie von anderen Dell NutzerInnen
Support Services
Prüfen Sie, ob Ihr Gerät durch Support Services abgedeckt ist.