Dochází k selhání pokusů systému OneFS o použití funkce označování uzlů Apache Hadoop YARN

Shrnutí: Dochází k selhání pokusů systému OneFS o použití funkce označování uzlů Apache Hadoop YARN

Tento článek se vztahuje na Tento článek se nevztahuje na Tento článek není vázán na žádný konkrétní produkt. V tomto článku nejsou uvedeny všechny verze produktu.
Podívejte se na další zdroje

Příznaky



Problém
Při pokusu o použití funkce označení uzlu Apache Hadoop YARN se akce nezdaří a systém OneFS vygeneruje chybovou zprávu.


Příznaky

Při pokusu o použití funkce označení uzlu YARN se systémem OneFS 7.2.1.x a Apache Hadoop 2.7 se uživatelům může zobrazit -appendToFile: Závažná interní chybová zpráva.
 

Prostředí
OneFS 7.2.1.x a Hadoop 2.7

Příčina

Příčina

Ve výchozím nastavení Hadoop ukládá informace o popiscích uzlů do adresáře v clusteru HDFS.  Systém Isilon OneFS 7.2.1.x nerozpozná parametr appendtofile odeslaný z platformy Hadoop 2.7 a může generovat chyby, když se uživatelé pokusí použít funkci označení uzlu YARN.

Řešení


Rozlišení

Při řešení tohoto problému použijte jeden z následujících postupů:

  • OneFS 7.2.1.2

    • Implementujte níže uvedené zástupné řešení.

  • OneFS 7.2.1.1

    • Nejprve použijte opravu 164059 a poté implementujte níže uvedené zástupné řešení

Zástupné řešení

Implementujte následující alternativní řešení pro ruční vytvoření a použití adresáře s popisky uzlu PŘÍZe, který se nachází v clusteru OneFS, nikoli v clusteru HDFS.  Poznámka: Pokud jste isilon_hadoop_tools skript spustili na GitHubu, nemusíte postupovat podle tohoto alternativního řešení, protože skript automaticky vytvoří a autorizova správný adresář.

Krok 1. Příprava systému OneFS na ukládání informací
o štítcích uzlůV clusteru OneFS proveďte následující kroky.
Poznámka: V následujícím postupu odkazuje HDFS_ROOT_DIR na kořenový adresář HDFS v clusteru OneFS.

  1. Vytvořte nový adresář v systému OneFS, který bude hostovat úložiště štítků uzlu.
    • mkdir -p HDFS_ROOT_DIR/systém/příze/štítky-uzlů
  2. Ověřte, že uživatelská příze existuje. Poznámka: Pokud jste ještě nevytvořili uživatele s názvem příze , vytvořte jej nyní.  Informace o vytváření uživatelů naleznete v části Správa místních uživatelů a skupin v Příručce pro správu Isilon OneFS CLI.
    • Seznam uživatelů ověřování ISI
  3. Nastavte uživatelskou přízi jako vlastníka nového adresáře.
    • chown příze HDFS_ROOT_DIR/system/příze/node-labels
  4. Změňte úroveň oprávnění adresáře tak, aby vlastník mohl číst, zapisovat a spouštět.
    • CHMOD 700 HDFS_ROOT_DIR/systém/příze/štítky-na-uzel
 
(Volitelné) 2. krok: Nasměrování Apache Hadoop k ukládání informací o štítku uzlu v systému OneFS
V clusteru HDFS proveďte následující kroky.
  1. Pomocí prohlížeče se přihlaste k nástroji Ambari Manager v clusteru HDFS.
  2. Na horním banneru řídicího panelu Ambari klikněte na Služby.
  3. Na levém panelu klikněte na PŘÍZ.
  4. Klikněte na kartu Configs .
  5. Klepněte na kartu Nastavení.
  6. V části Funkce PŘÍZe potvrďte, že jsou popisky uzlů povoleny.
  7. Klikněte na tlačítko Uložit.
  8. Klikněte na kartu Upřesnit .
  9. Rozbalte část Advanced yarn-site.
  10. V poli yarn.node-labels.fs-store.root-dir ověřte, že je uveden výchozí název /system/yarn/node-labels.
  11. Klikněte na tlačítko Uložit.

Další informace

Další informace

Informace Apache o problému s platformou Hadoop 2.7:


issues.apache.org/jira/browse/HDFS-9290Dokumentace Apache o tom, jak používat funkci
označování uzlů Yarn:

hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/NodeLabel.htmlDokumentace Hortonworks o tom, jak používat funkci
označování uzlů Yarn:docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.4.2/bk_yarn_resource_mgt/content/ch_node_labels.html  

Dotčené produkty

Isilon

Produkty

Isilon
Vlastnosti článku
Číslo článku: 000052203
Typ článku: Solution
Poslední úprava: 26 bře 2025
Verze:  4
Najděte odpovědi na své otázky od ostatních uživatelů společnosti Dell
Služby podpory
Zkontrolujte, zda se na vaše zařízení vztahují služby podpory.