OneFS Forsøg på at bruge Apache Hadoop YARN-nodeetiketfunktionen mislykkes

Oversigt: OneFS Forsøg på at bruge Apache Hadoop YARN-nodeetiketfunktionen mislykkes

Denne artikel gælder for Denne artikel gælder ikke for Denne artikel er ikke knyttet til et bestemt produkt. Det er ikke alle produktversioner, der er identificeret i denne artikel.
Udforsk andre ressourcer

Symptomer



Problem
Når du forsøger at bruge Apache Hadoop YARN-nodeetiketfunktionen, mislykkes handlingen, og OneFS genererer en fejlmeddelelse.


Symptomer

Når du forsøger at bruge funktionen YARN-nodeetiket med OneFS 7.2.1.x og Apache Hadoop 2.7, modtager brugerne muligvis en -appendToFile: Alvorlig intern fejlmeddelelse.
 

Miljø
OneFS 7.2.1.x og Hadoop 2.7

Årsag

Årsag

Hadoop gemmer som standard oplysninger om nodemærkater i en mappe på HDFS-klyngen.  Isilon OneFS 7.2.1.x genkender ikke den appendtofile-parameter, der sendes fra Hadoop 2.7, og kan generere fejl, når brugere forsøger at bruge YARN-nodeetiketfunktionen.

Løsning


Opløsning

Du kan løse dette problem ved at gøre et af følgende:

  • OneFS 7.2.1.2

    • Implementer den løsning, der er angivet nedenfor

  • OneFS 7.2.1.1

    • Anvend først patch-164059, og implementer derefter nedenstående løsning

Løsning

Implementer følgende løsning for manuelt at oprette og bruge en YARN-nodeetiketmappe, der findes på OneFS-klyngen i stedet for HDFS-klyngen.  Bemærk: Hvis du har kørt isilon_hadoop_tools scriptet på GitHub, behøver du ikke at følge denne løsning, da scriptet automatisk opretter og tillader den korrekte mappe.

Trin 1. Forbered OneFS til at gemme oplysninger om nodemærkater
Udfør følgende trin på OneFS-klyngen.
Bemærk: I følgende fremgangsmåde henviser HDFS_ROOT_DIR til HDFS-rodmappen på OneFS-klyngen.

  1. Opret det nye bibliotek på OneFS for at hoste nodeetiketlageret.
    • mkdir -p HDFS_ROOT_DIR/system/garn/node-etiketter
  2. Bekræft, at brugergarnet findes. Bemærk: Hvis du ikke allerede har oprettet en bruger kaldet garn, skal du oprette en nu.  Du kan finde oplysninger om oprettelse af brugere i afsnittet Administration af lokale brugere og grupper i Isilon OneFS CLI-administrationsvejledningen.
    • ISI Auth-brugerliste
  3. Gør brugergarnet til ejer af den nye mappe.
    • chown garn HDFS_ROOT_DIR/system/garn/node-labels
  4. Skift tilladelsesniveauet for biblioteket, så ejeren kan læse, skrive og udføre.
    • chmod 700 HDFS_ROOT_DIR/system/garn/nodeetiketter
 
(Valgfrit) Trin 2: Bed Apache Hadoop om at gemme oplysninger om nodemærkater i OneFS
Udfør følgende trin på HDFS-klyngen.
  1. Brug en browser til at logge på Ambari Manager på din HDFS-klynge.
  2. Fra det øverste banner på Ambari Dashboard skal du klikke på Services.
  3. Fra venstre panel skal du klikke på GARN.
  4. Klik på fanen Konfigurationer .
  5. Klik på fanen Indstillinger.
  6. Under YARN-funktioner skal du bekræfte, at nodeetiketter er aktiveret.
  7. Klik på Gem.
  8. Klik på fanen Avanceret .
  9. Udvid sektionen Avanceret garnwebsted.
  10. I feltet yarn.node-labels.fs-store.root-dir skal du bekræfte, at standardetiketten /system/yarn/node-labels er angivet.
  11. Klik på Gem.

Flere oplysninger

Yderligere Information

Apache-oplysninger om Hadoop 2.7-problemet:


issues.apache.org/jira/browse/HDFS-9290Apache-dokumentation om, hvordan du bruger Yarns nodeetiketfunktion:


hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/NodeLabel.htmlHortonworks-dokumentation om, hvordan du bruger Yarns nodeetiketfunktion:
docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.4.2/bk_yarn_resource_mgt/content/ch_node_labels.html  

Berørte produkter

Isilon

Produkter

Isilon
Artikelegenskaber
Artikelnummer: 000052203
Artikeltype: Solution
Senest ændret: 26 mar. 2025
Version:  4
Find svar på dine spørgsmål fra andre Dell-brugere
Supportservices
Kontrollér, om din enhed er dækket af supportservices.