OneFS pogingen om de functie Apache Hadoop YARN-knooppuntlabel te gebruiken mislukken

Samenvatting: OneFS pogingen om de functie Apache Hadoop YARN-knooppuntlabel te gebruiken mislukken

Dit artikel is van toepassing op Dit artikel is niet van toepassing op Dit artikel is niet gebonden aan een specifiek product. Niet alle productversies worden in dit artikel vermeld.
Bekijk andere hulpbronnen

Symptomen



Probleem
Wanneer u de labelfunctie voor het Apache Hadoop YARN-knooppunt probeert te gebruiken, mislukt de actie en genereert OneFS een foutmelding.


Symptomen

Bij een poging om de YARN node label-functie te gebruiken met OneFS 7.2.1.x en Apache Hadoop 2.7, ontvangen de gebruikers mogelijk een -appendToFile: Fatale interne foutmelding.
 

Milieu
OneFS 7.2.1.x en Hadoop 2.7

Oorzaak

Oorzaak

Hadoop slaat standaard knooppuntlabelinformatie op in een map op het HDFS-cluster.  Isilon OneFS 7.2.1.x herkent de parameter appendtofile die wordt verzonden vanuit Hadoop 2.7 niet en kan fouten genereren wanneer gebruikers de labelfunctie voor het YARN-knooppunt proberen te gebruiken.

Oplossing


Resolutie

Voer een van de volgende handelingen uit om dit probleem op te lossen:

  • OneFS 7.2.1.2

    • Implementeer de onderstaande tijdelijke oplossing

  • OneFS 7.2.1.1

    • Pas eerst patch-164059 toe en implementeer vervolgens de onderstaande tijdelijke oplossing

Tijdelijke oplossing

Implementeer de volgende tijdelijke oplossing om handmatig een YARN-knooppuntlabelmap te maken en te gebruiken die zich op het OneFS-cluster bevindt in plaats van op het HDFS-cluster.  Opmerking: Als u het isilon_hadoop_tools script op GitHub hebt uitgevoerd, hoeft u deze tijdelijke oplossing niet te volgen, omdat het script automatisch de juiste map maakt en machtigt.

Stap 1. OneFS voorbereiden om knooppuntlabelinformatie
op te slaanVoer de volgende stappen uit op het OneFS cluster.
Opmerking: In de volgende procedure verwijst HDFS_ROOT_DIR naar uw HDFS-hoofdmap op het OneFS-cluster.

  1. Maak de nieuwe directory op OneFS om het labelarchief van het knooppunt te hosten.
    • mkdir -p HDFS_ROOT_DIR/system/yarn/node-labels
  2. Controleer of de gebruikersgaren bestaan. Opmerking: Als je nog geen gebruiker met de naam yarn hebt gemaakt, maak er dan nu een.  Zie voor informatie over het maken van gebruikers het gedeelte Lokale gebruikers en groepen beheren van de Isilon OneFS CLI-beheerdershandleiding.
    • Lijst met ISI Auth-gebruikers
  3. Maak van de gebruiker yarn de eigenaar van de nieuwe map.
    • chown garen HDFS_ROOT_DIR/systeem/garen/knooppunt-labels
  4. Wijzig het machtigingsniveau van de directory zodat de eigenaar kan lezen, schrijven en uitvoeren.
    • chmod 700 HDFS_ROOT_DIR/system/yarn/node-labels
 
(Optioneel) Stap 2: Directe Apache Hadoop om knooppuntlabelinformatie op te slaan op OneFS
Voer de volgende stappen uit op het HDFS-cluster.
  1. Gebruik een browser om u aan te melden bij Ambari Manager op uw HDFS-cluster.
  2. Klik in de bovenste banner van het Ambari-dashboard op Services.
  3. Klik in het linkerdeelvenster op YARN.
  4. Klik op het tabblad Configuraties .
  5. Klik op het tabblad Instellingen .
  6. Controleer onder YARN Features of node labels Enabled zijn.
  7. Klik op Opslaan.
  8. Klik op het tabblad Geavanceerd .
  9. Vouw de sectie Advanced yarn-site uit.
  10. Controleer in het veld yarn.node-labels.fs-store.root-dir of de standaard /system/yarn/node-labels wordt vermeld.
  11. Klik op Opslaan.

Extra informatie

Aanvullende informatie

Apache-informatie over de Hadoop 2.7-kwestie:


issues.apache.org/jira/browse/HDFS-9290Apache documentatie over het gebruik van de node label feature van Yarn:


hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/NodeLabel.htmlHortonworks documentatie over het gebruik van de knooppuntlabelfunctie van Yarn:
docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.4.2/bk_yarn_resource_mgt/content/ch_node_labels.html  

Getroffen producten

Isilon

Producten

Isilon
Artikeleigenschappen
Artikelnummer: 000052203
Artikeltype: Solution
Laatst aangepast: 26 mrt. 2025
Versie:  4
Vind antwoorden op uw vragen via andere Dell gebruikers
Support Services
Controleer of uw apparaat wordt gedekt door Support Services.