OneFS Yritykset käyttää Apache Hadoop YARN node label -ominaisuutta epäonnistuvat

Yhteenveto: OneFS Yritykset käyttää Apache Hadoop YARN node label -ominaisuutta epäonnistuvat

Tämä artikkeli koskee tuotetta Tämä artikkeli ei koske tuotetta Tämä artikkeli ei liity tiettyyn tuotteeseen. Tässä artikkelissa ei yksilöidä kaikkia tuoteversioita.
Tutustu muihin resursseihin

Oireet



Ongelma
Kun Apache Hadoop YARN -solmun otsikkoominaisuutta yritetään käyttää, toiminto epäonnistuu ja OneFS luo virhesanoman.


Oireet

Kun yrität käyttää YARN node label -ominaisuutta OneFS 7.2.1.x:n ja Apache Hadoop 2.7:n kanssa, käyttäjät saattavat saada komennon -appendToFile: Vakava sisäinen virheilmoitus.
 

Ympäristö
OneFS 7.2.1.x ja Hadoop 2.7

Syy

Syy

Hadoop tallentaa solmun nimiötiedot oletusarvoisesti HDFS-klusterin hakemistoon.  Isilon OneFS 7.2.1.x ei tunnista Hadoop 2.7:stä lähetettyä appendtofile-parametria ja saattaa aiheuttaa virheitä, kun käyttäjät yrittävät käyttää YARN node label -ominaisuutta.

Tarkkuus


Resolution (tarkkuus)

Voit ratkaista ongelman jollakin seuraavista tavoista:

  • OneFS 7.2.1.2

    • Ota käyttöön alla oleva kiertotapa

  • OneFS 7.2.1.1

    • Asenna ensin korjaustiedosto 164059 ja käytä sitten alla olevaa kiertotapaa

Kiertotapa

Seuraavalla kiertotavalla voit luoda manuaalisesti YARN-solmun tarrahakemiston, joka sijaitsee OneFS-klusterissa HDFS-klusterin sijaan, ja käyttää sitä.  Huomautus: Jos olet suorittanut isilon_hadoop_tools komentosarjan GitHubissa, sinun ei tarvitse noudattaa tätä kiertotapaa, koska komentosarja luo automaattisesti oikean hakemiston ja käyttää sitä.

Vaihe 1. OneFS:n valmisteleminen solmun otsikkotietojen
tallentamista vartenToimi OneFS-klusterissa seuraavasti.
Huomautus: Seuraavassa menettelyssä HDFS_ROOT_DIR viittaa OneFS-klusterissa olevaan HDFS-juurihakemistoon.

  1. Luo OneFS:ään uusi hakemisto, joka isännöi solmun nimiökauppaa.
    • mkdir -p HDFS_ROOT_DIR/järjestelmä/lanka/solmutarrat
  2. Varmista, että käyttäjän lanka on olemassa. Huomautus: Jos et ole vielä luonut käyttäjää nimeltä lanka , luo sellainen nyt.  Lisätietoja käyttäjien luomisesta on Isilon OneFS CLI Administration Guide -oppaan kohdassa Paikallisten käyttäjien ja ryhmien hallinta.
    • ISI Todennuksen käyttäjäluettelo
  3. Tee käyttäjän langasta uuden hakemiston omistaja.
    • Chown lanka HDFS_ROOT_DIR/järjestelmä/lanka/solmutarrat
  4. Muuta hakemiston käyttöoikeustasoa, jotta omistaja voi lukea, kirjoittaa ja suorittaa.
    • Chmod 700 HDFS_ROOT_DIR/järjestelmä/lanka/solmutarrat
 
(Valinnainen) Vaihe 2: Ohjaa Apache Hadoop tallentamaan solmun nimiötiedot OneFS:ään
Tee seuraavat toimet HDFS-klusterille.
  1. Kirjaudu selaimella Ambari Manageriin HDFS-klusterissa.
  2. Valitse Ambari-koontinäytön yläbannerista Palvelut.
  3. Valitse vasemmasta ruudusta YARN.
  4. Valitse Configs-välilehti .
  5. Valitse Asetukset-välilehti.
  6. Varmista YARN Features -kohdassa, että solmun otsikot ovat käytössä.
  7. Valitse Save.
  8. Valitse Lisäasetukset-välilehti .
  9. Laajenna Advanced yarn-site -osio.
  10. Varmista yarn.node-labels.fs-store.root-dir-kentässä , että oletusarvoinen /system/yarn/node-labels on luettelossa.
  11. Valitse Save.

Lisätietoja

Lisätietoja

Apache-tiedot Hadoop 2.7 -ongelmasta:


issues.apache.org/jira/browse/HDFS-9290Apache-dokumentaatio Yarn s node label -ominaisuuden käytöstä:


hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/NodeLabel.htmlHortonworksin dokumentaatio langan solmun etikettiominaisuuden käytöstä:
docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.4.2/bk_yarn_resource_mgt/content/ch_node_labels.html  

Tuotteet, joihin vaikutus kohdistuu

Isilon

Tuotteet

Isilon
Artikkelin ominaisuudet
Artikkelin numero: 000052203
Artikkelin tyyppi: Solution
Viimeksi muutettu: 26 maalisk. 2025
Versio:  4
Etsi vastauksia kysymyksiisi muilta Dell-käyttäjiltä
Tukipalvelut
Tarkista, kuuluuko laitteesi tukipalveluiden piiriin.