OneFS Försök att använda Apache Hadoop YARN-nodetikettfunktionen misslyckas
Sammanfattning: OneFS Försök att använda Apache Hadoop YARN-nodetikettfunktionen misslyckas
Den här artikeln gäller för
Den här artikeln gäller inte för
Den här artikeln är inte kopplad till någon specifik produkt.
Alla produktversioner identifieras inte i den här artikeln.
Symptom
Problem |
När du försöker använda Apache Hadoop YARN-nodetikettfunktionen misslyckas åtgärden och OneFS genererar ett felmeddelande.
När du försöker använda YARN-nodetikettfunktionen med OneFS 7.2.1.x och Apache Hadoop 2.7 kan användarna få en -appendToFile: Allvarligt internt felmeddelande. |
Miljö |
| OneFS 7.2.1.x och Hadoop 2.7 |
Orsak
Orsak
Som standard lagrar Hadoop nodetikettinformation i en katalog i HDFS-klustret. Isilon OneFS 7.2.1.x känner inte igen parametern appendtofile som skickas från Hadoop 2.7 och kan generera fel när användare försöker använda YARN-nodetikettfunktionen.Upplösning
Upplösning
Lös problemet genom att göra något av följande:
-
OneFS 7.2.1.2
- Implementera den tillfälliga lösningen nedan
-
OneFS 7.2.1.1
- Tillämpa patch-164059 först och implementera sedan lösningen nedan
Alternativ lösning
Implementera följande lösning för att manuellt skapa och använda en YARN-nodetikettkatalog som finns i OneFS-klustret i stället för HDFS-klustret. Obs! Om du har kört isilon_hadoop_tools skriptet på GitHub behöver du inte följa den här lösningen, eftersom skriptet automatiskt skapar och ger behörighet till rätt katalog.
Steg 1. Förbered OneFS för att lagra nodetikettinformation
Utför följande steg på OneFS-klustret.
Observera: I följande procedur refererar HDFS_ROOT_DIR till HDFS-rotkatalogen i OneFS-klustret.
- Skapa den nya katalogen på OneFS som värd för nodetikettarkivet.
- mkdir -p HDFS_ROOT_DIR/system/garn/nod-etiketter
- Bekräfta att användargarnet finns. Observera: Om du inte redan har skapat en användare som heter yarn skapar du en nu. Information om hur du skapar användare finns i avsnittet Hantera lokala användare och grupper i administrationsguiden för Isilon OneFS CLI.
- Lista över ISI-autentiseringsanvändare
- Gör användaryarn till ägare till den nya katalogen.
- chown garn HDFS_ROOT_DIR/system/garn/nod-etiketter
- Ändra behörighetsnivån för katalogen så att ägaren kan läsa, skriva och köra.
- chmod 700 HDFS_ROOT_DIR/system/garn/nod-etiketter
(Valfritt) Steg 2: Direkt Apache Hadoop för att lagra nodetikettinformation på OneFS
Utför följande steg på HDFS-klustret.
- Använd en webbläsare och logga in på Ambari Manager i HDFS-klustret.
- Från den övre banderollen på Ambari-instrumentpanelen klickar du på Tjänster.
- I den vänstra panelen klickar du på YARN.
- Klicka på fliken Konfigurationer .
- Klicka på fliken Inställningar.
- Under YARN-funktioner bekräftar du att nodetiketterna är aktiverade.
- Klicka på Save.
- Klicka på fliken Avancerat .
- Expandera avsnittet Avancerad yarn-site.
- I fältet yarn.node-labels.fs-store.root-dir bekräftar du att standardvärdet /system/yarn/node-labels visas.
- Klicka på Save.
Ytterligare information
Ytterligare information
Apache-information om Hadoop 2.7-problemet:
issues.apache.org/jira/browse/HDFS-9290Apache-dokumentation om hur du använder Yarns nodetikettfunktion:
hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/NodeLabel.htmlHortonworks-dokumentation om hur du använder Yarns nodetikettfunktion:
docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.4.2/bk_yarn_resource_mgt/content/ch_node_labels.html
Apache-information om Hadoop 2.7-problemet:
issues.apache.org/jira/browse/HDFS-9290Apache-dokumentation om hur du använder Yarns nodetikettfunktion:
hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/NodeLabel.htmlHortonworks-dokumentation om hur du använder Yarns nodetikettfunktion:
docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.4.2/bk_yarn_resource_mgt/content/ch_node_labels.html
Berörda produkter
IsilonProdukter
IsilonArtikelegenskaper
Artikelnummer: 000052203
Artikeltyp: Solution
Senast ändrad: 26 mars 2025
Version: 4
Få svar på dina frågor från andra Dell-användare
Supporttjänster
Kontrollera om din enhet omfattas av supporttjänster.