OneFS: Forsøk på å bruke funksjonen for etikett for Apache Hadoop YARN-noden mislykkes

Sammendrag: OneFS: Forsøk på å bruke funksjonen for etikett for Apache Hadoop YARN-noden mislykkes

Denne artikkelen gjelder for Denne artikkelen gjelder ikke for Denne artikkelen er ikke knyttet til noe bestemt produkt. Det er ikke produktversjonene som identifiseres i denne artikkelen.
Ta en titt på andre ressurser

Symptomer



Problem
Når du prøver å bruke etikettfunksjonen for Apache Hadoop YARN-noden, mislykkes handlingen, og OneFS genererer en feilmelding.


Symptomer

Når brukerne prøver å bruke etikettfunksjonen for YARN-node med OneFS 7.2.1.x og Apache Hadoop 2.7, kan de få en -appendToFile: Kritisk intern feilmelding.
 

Miljø
OneFS 7.2.1.x og Hadoop 2.7

Årsak

Årsak

Som standard lagrer Hadoop nodeetikettinformasjon i en katalog på HDFS-klyngen.  Isilon OneFS 7.2.1.x gjenkjenner ikke appendtofile-parameteren som sendes fra Hadoop 2.7, og kan generere feil når brukere prøver å bruke etikettfunksjonen for YARN-noden.

Oppløsning


Resolution (oppløsning)

Gjør ett av følgende for å løse dette problemet:

  • OneFS 7.2.1.2

    • Implementer løsningen nedenfor

  • OneFS 7.2.1.1

    • Bruk patch-164059 først, og implementer deretter løsningen nedenfor

Omgåelse av problemet

Implementer følgende midlertidige løsning for å opprette og bruke en etikettkatalog for YARN-node manuelt som ligger på OneFS-klyngen i stedet for HDFS-klyngen.  Merk: Hvis du har kjørt isilon_hadoop_tools-skriptet på GitHub, trenger du ikke å følge denne løsningen, siden skriptet automatisk oppretter og gir tillatelse til riktig katalog.

Trinn 1. Klargjøre OneFS for å lagre nodeetikettinformasjon
Utfør følgende trinn på OneFS-klyngen.
Merk: I fremgangsmåten nedenfor refererer HDFS_ROOT_DIR til HDFS-rotkatalogen på OneFS-klyngen.

  1. Opprett den nye katalogen på OneFS for å være vert for nodeetikettlageret.
    • mkdir -p HDFS_ROOT_DIR/system/garn/node-labels
  2. Bekreft at brukergarnet eksisterer. Merk: Hvis du ikke allerede har opprettet en bruker som heter garn , opprett en nå.  Hvis du vil ha informasjon om hvordan du oppretter brukere, kan du se delen Administrere lokale brukere og grupper i administrasjonsveiledningen for Isilon OneFS CLI.
    • ISI Auth-brukerliste
  3. Gjør brukergarnet til eier av den nye katalogen.
    • chown garn HDFS_ROOT_DIR/system/garn/node-etiketter
  4. Endre tillatelsesnivået for katalogen slik at eieren kan lese, skrive og kjøre.
    • chmod 700 HDFS_ROOT_DIR/system/garn/node-etiketter
 
(Valgfritt) Trinn 2: Direkte Apache Hadoop til å lagre informasjon om nodeetikett på OneFS
Utfør følgende trinn på HDFS-klyngen.
  1. Bruk en nettleser for å logge på Ambari Manager på HDFS-klyngen.
  2. Fra det øverste banneret på Ambari-dashbordet klikker du på Tjenester.
  3. Klikk på GARN fra panelet til venstre.
  4. Klikk på fanen Configs .
  5. Klikk på kategorien Innstillinger.
  6. Under YARN-funksjoner bekrefter du at nodeetiketter er aktivert.
  7. Klikk på Save (Lagre).
  8. Klikk på kategorien Avansert .
  9. Utvid delen Avansert garn-site.
  10. I feltet yarn.node-labels.fs-store.root-dir bekrefter du at standard /system/yarn/node-labels er oppført.
  11. Klikk på Save (Lagre).

Tilleggsinformasjon

Tilleggsinformasjon

Apache-informasjon om Hadoop 2.7-problemet:


issues.apache.org/jira/browse/HDFS-9290Apache-dokumentasjon om hvordan du bruker Garns nodeetikettfunksjon:


hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/NodeLabel.htmlHortonworks dokumentasjon om hvordan du bruker Garns nodeetikettfunksjon:
docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.4.2/bk_yarn_resource_mgt/content/ch_node_labels.html  

Berørte produkter

Isilon

Produkter

Isilon
Artikkelegenskaper
Artikkelnummer: 000052203
Artikkeltype: Solution
Sist endret: 26 mar. 2025
Versjon:  4
Få svar på spørsmålene dine fra andre Dell-brukere
Støttetjenester
Sjekk om enheten din er dekket av støttetjenestene.