OneFS Försök att använda Apache Hadoop YARN-nodetikettfunktionen misslyckas

Sammanfattning: OneFS Försök att använda Apache Hadoop YARN-nodetikettfunktionen misslyckas

Den här artikeln gäller för Den här artikeln gäller inte för Den här artikeln är inte kopplad till någon specifik produkt. Alla produktversioner identifieras inte i den här artikeln.

Symptom



Problem

När du försöker använda Apache Hadoop YARN-nodetikettfunktionen misslyckas åtgärden och OneFS genererar ett felmeddelande.


Symptom

När du försöker använda YARN-nodetikettfunktionen med OneFS 7.2.1.x och Apache Hadoop 2.7 kan användarna få en -appendToFile: Allvarligt internt felmeddelande.
 

Miljö

OneFS 7.2.1.x och Hadoop 2.7

Orsak

Orsak

Som standard lagrar Hadoop nodetikettinformation i en katalog i HDFS-klustret.  Isilon OneFS 7.2.1.x känner inte igen parametern appendtofile som skickas från Hadoop 2.7 och kan generera fel när användare försöker använda YARN-nodetikettfunktionen.

Upplösning


Upplösning

Lös problemet genom att göra något av följande:
  • OneFS 7.2.1.2

    • Implementera den tillfälliga lösningen nedan
  • OneFS 7.2.1.1

    • Tillämpa patch-164059 först och implementera sedan lösningen nedan

Alternativ lösning

Implementera följande lösning för att manuellt skapa och använda en YARN-nodetikettkatalog som finns i OneFS-klustret i stället för HDFS-klustret.  Obs! Om du har kört isilon_hadoop_tools skriptet på GitHub behöver du inte följa den här lösningen, eftersom skriptet automatiskt skapar och ger behörighet till rätt katalog.

Steg 1. Förbered OneFS för att lagra nodetikettinformation
Utför följande steg på OneFS-klustret.
Observera: I följande procedur refererar HDFS_ROOT_DIR till HDFS-rotkatalogen i OneFS-klustret.

  1. Skapa den nya katalogen på OneFS som värd för nodetikettarkivet.
    • mkdir -p HDFS_ROOT_DIR/system/garn/nod-etiketter
  2. Bekräfta att användargarnet finns. Observera: Om du inte redan har skapat en användare som heter yarn skapar du en nu.  Information om hur du skapar användare finns i avsnittet Hantera lokala användare och grupper i administrationsguiden för Isilon OneFS CLI.
    • Lista över ISI-autentiseringsanvändare
  3. Gör användaryarn till ägare till den nya katalogen.
    • chown garn HDFS_ROOT_DIR/system/garn/nod-etiketter
  4. Ändra behörighetsnivån för katalogen så att ägaren kan läsa, skriva och köra.
    • chmod 700 HDFS_ROOT_DIR/system/garn/nod-etiketter
 
(Valfritt) Steg 2: Direkt Apache Hadoop för att lagra nodetikettinformation på OneFS
Utför följande steg på HDFS-klustret.
  1. Använd en webbläsare och logga in på Ambari Manager i HDFS-klustret.
  2. Från den övre banderollen på Ambari-instrumentpanelen klickar du på Tjänster.
  3. I den vänstra panelen klickar du på YARN.
  4. Klicka på fliken Konfigurationer .
  5. Klicka på fliken Inställningar.
  6. Under YARN-funktioner bekräftar du att nodetiketterna är aktiverade.
  7. Klicka på Save.
  8. Klicka på fliken Avancerat .
  9. Expandera avsnittet Avancerad yarn-site.
  10. I fältet yarn.node-labels.fs-store.root-dir bekräftar du att standardvärdet /system/yarn/node-labels visas.
  11. Klicka på Save.

Ytterligare information

Ytterligare information

Apache-information om Hadoop 2.7-problemet:


issues.apache.org/jira/browse/HDFS-9290Apache-dokumentation om hur du använder Yarns nodetikettfunktion:


hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/NodeLabel.htmlHortonworks-dokumentation om hur du använder Yarns nodetikettfunktion:
docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.4.2/bk_yarn_resource_mgt/content/ch_node_labels.html  

Berörda produkter

Isilon

Produkter

Isilon
Artikelegenskaper
Artikelnummer: 000052203
Artikeltyp: Solution
Senast ändrad: 26 mars 2025
Version:  4
Få svar på dina frågor från andra Dell-användare
Supporttjänster
Kontrollera om din enhet omfattas av supporttjänster.