OneFS — próba użycia funkcji etykiety węzła Apache Hadoop YARN kończy się niepowodzeniem

Podsumowanie: OneFS — próba użycia funkcji etykiety węzła Apache Hadoop YARN kończy się niepowodzeniem

Ten artykuł dotyczy Ten artykuł nie dotyczy Ten artykuł nie jest powiązany z żadnym konkretnym produktem. Nie wszystkie wersje produktu zostały zidentyfikowane w tym artykule.

Objawy



Problem

Podczas próby użycia funkcji etykiety węzła Apache Hadoop YARN akcja kończy się niepowodzeniem, a OneFS generuje komunikat o błędzie.


Objawy

Podczas próby użycia funkcji etykiety węzła YARN z OneFS 7.2.1.x i Apache Hadoop 2.7 użytkownicy mogą otrzymać -appendToFile: Wewnętrzny komunikat o błędzie krytycznym.
 

Środowisko

OneFS 7.2.1.x i Hadoop 2.7

Przyczyna

Powód

Domyślnie Hadoop przechowuje informacje o etykiecie węzła w katalogu w klastrze HDFS.  Isilon OneFS 7.2.1.x nie rozpoznaje parametru appendtofile wysłanego z Hadoop 2.7 i może generować błędy podczas próby użycia funkcji etykiety węzła YARN.

Rozwiązanie


Rozwiązanie

Aby rozwiązać ten problem, wykonaj jedną z następujących czynności:
  • OneFS 7.2.1.2

    • Zaimplementuj obejście podane poniżej
  • OneFS 7.2.1.1

    • Najpierw zastosuj poprawkę-164059, a następnie zaimplementuj obejście podane poniżej

Obejście problemu

Zaimplementuj następujące obejście, aby ręcznie utworzyć i użyć katalogu etykiet węzła usługi YARN, który znajduje się w klastrze OneFS, a nie w klastrze HDFS.  Uwaga: Jeśli skrypt isilon_hadoop_tools został uruchomiony w usłudze GitHub, nie trzeba postępować zgodnie z tym obejściem, ponieważ skrypt automatycznie tworzy i zezwala na prawidłowy katalog.

Krok 1. Przygotowywanie systemu OneFS do przechowywania informacji
o etykietach węzłówWykonaj następujące czynności w klastrze OneFS.
Uwaga: W poniższej procedurze HDFS_ROOT_DIR odwołuje się do katalogu głównego HDFS w klastrze OneFS.

  1. Utwórz nowy katalog w OneFS, aby hostować magazyn etykiet węzłów.
    • mkdir -p HDFS_ROOT_DIR/system/yarn/node-labels
  2. Upewnij się, że przędza użytkownika istnieje. Uwaga: Jeśli jeszcze nie utworzyłeś użytkownika o nazwie yarn , utwórz go teraz.  Aby uzyskać informacje na temat tworzenia użytkowników, zapoznaj się z sekcją Zarządzanie użytkownikami i grupami lokalnymi w podręczniku administracyjnym interfejsu CLI Isilon OneFS.
    • Lista użytkowników uwierzytelniania isi
  3. Ustaw użytkownika jako właściciela nowego katalogu.
    • CHOWN Yarn HDFS_ROOT_DIR/System/Yarn/Node-Labels
  4. Zmień poziom uprawnień katalogu, aby umożliwić właścicielowi odczyt, zapis i wykonywanie.
    • chmod 700 HDFS_ROOT_DIR/system/przędza/etykiety-węzłów
 
(Opcjonalnie) Krok 2: Bezpośrednie przechowywanie informacji o etykietach węzłów przez platformę Apache Hadoop w OneFS
Wykonaj następujące czynności w klastrze HDFS.
  1. Za pomocą przeglądarki zaloguj się do menedżera Ambari w klastrze HDFS.
  2. Na górnym banerze pulpitu nawigacyjnego Ambari kliknij pozycję Usługi.
  3. W lewym panelu kliknij pozycję YARN.
  4. Kliknij kartę Konfiguracje .
  5. Kliknij kartę Ustawienia.
  6. W obszarze Funkcje usługi YARN upewnij się, że etykiety węzłów są włączone.
  7. Wybierz przycisk Save.
  8. Kliknij kartę Zaawansowane .
  9. Rozwiń sekcję Zaawansowane miejsce przędzy.
  10. W polu yarn.node-labels.fs-store.root-dir upewnij się, że na liście znajduje się domyślny katalog /system/yarn/node-labels.
  11. Wybierz przycisk Save.

Dodatkowe informacje

Dodatkowe informacje

Informacje o problemie z Hadoop 2.7 w środowisku Apache:


issues.apache.org/jira/browse/HDFS-9290Dokumentacja Apache dotycząca korzystania z funkcji etykiety węzła Yarn:


hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/NodeLabel.htmlDokumentacja Hortonworks dotycząca korzystania z funkcji etykiety węzła Yarn:
docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.4.2/bk_yarn_resource_mgt/content/ch_node_labels.html  

Produkty, których dotyczy problem

Isilon

Produkty

Isilon
Właściwości artykułu
Numer artykułu: 000052203
Typ artykułu: Solution
Ostatnia modyfikacja: 26 mar 2025
Wersja:  4
Znajdź odpowiedzi na swoje pytania u innych użytkowników produktów Dell
Usługi pomocy technicznej
Sprawdź, czy Twoje urządzenie jest objęte usługą pomocy technicznej.