OneFS — próba użycia funkcji etykiety węzła Apache Hadoop YARN kończy się niepowodzeniem
Podsumowanie: OneFS — próba użycia funkcji etykiety węzła Apache Hadoop YARN kończy się niepowodzeniem
Ten artykuł dotyczy
Ten artykuł nie dotyczy
Ten artykuł nie jest powiązany z żadnym konkretnym produktem.
Nie wszystkie wersje produktu zostały zidentyfikowane w tym artykule.
Objawy
Problem |
Podczas próby użycia funkcji etykiety węzła Apache Hadoop YARN akcja kończy się niepowodzeniem, a OneFS generuje komunikat o błędzie.
Podczas próby użycia funkcji etykiety węzła YARN z OneFS 7.2.1.x i Apache Hadoop 2.7 użytkownicy mogą otrzymać -appendToFile: Wewnętrzny komunikat o błędzie krytycznym. |
Środowisko |
| OneFS 7.2.1.x i Hadoop 2.7 |
Przyczyna
Powód
Domyślnie Hadoop przechowuje informacje o etykiecie węzła w katalogu w klastrze HDFS. Isilon OneFS 7.2.1.x nie rozpoznaje parametru appendtofile wysłanego z Hadoop 2.7 i może generować błędy podczas próby użycia funkcji etykiety węzła YARN.Rozwiązanie
Rozwiązanie
Aby rozwiązać ten problem, wykonaj jedną z następujących czynności:
-
OneFS 7.2.1.2
- Zaimplementuj obejście podane poniżej
-
OneFS 7.2.1.1
- Najpierw zastosuj poprawkę-164059, a następnie zaimplementuj obejście podane poniżej
Obejście problemu
Zaimplementuj następujące obejście, aby ręcznie utworzyć i użyć katalogu etykiet węzła usługi YARN, który znajduje się w klastrze OneFS, a nie w klastrze HDFS. Uwaga: Jeśli skrypt isilon_hadoop_tools został uruchomiony w usłudze GitHub, nie trzeba postępować zgodnie z tym obejściem, ponieważ skrypt automatycznie tworzy i zezwala na prawidłowy katalog.
Krok 1. Przygotowywanie systemu OneFS do przechowywania informacji
o etykietach węzłówWykonaj następujące czynności w klastrze OneFS.
Uwaga: W poniższej procedurze HDFS_ROOT_DIR odwołuje się do katalogu głównego HDFS w klastrze OneFS.
- Utwórz nowy katalog w OneFS, aby hostować magazyn etykiet węzłów.
- mkdir -p HDFS_ROOT_DIR/system/yarn/node-labels
- Upewnij się, że przędza użytkownika istnieje. Uwaga: Jeśli jeszcze nie utworzyłeś użytkownika o nazwie yarn , utwórz go teraz. Aby uzyskać informacje na temat tworzenia użytkowników, zapoznaj się z sekcją Zarządzanie użytkownikami i grupami lokalnymi w podręczniku administracyjnym interfejsu CLI Isilon OneFS.
- Lista użytkowników uwierzytelniania isi
- Ustaw użytkownika jako właściciela nowego katalogu.
- CHOWN Yarn HDFS_ROOT_DIR/System/Yarn/Node-Labels
- Zmień poziom uprawnień katalogu, aby umożliwić właścicielowi odczyt, zapis i wykonywanie.
- chmod 700 HDFS_ROOT_DIR/system/przędza/etykiety-węzłów
(Opcjonalnie) Krok 2: Bezpośrednie przechowywanie informacji o etykietach węzłów przez platformę Apache Hadoop w OneFS
Wykonaj następujące czynności w klastrze HDFS.
- Za pomocą przeglądarki zaloguj się do menedżera Ambari w klastrze HDFS.
- Na górnym banerze pulpitu nawigacyjnego Ambari kliknij pozycję Usługi.
- W lewym panelu kliknij pozycję YARN.
- Kliknij kartę Konfiguracje .
- Kliknij kartę Ustawienia.
- W obszarze Funkcje usługi YARN upewnij się, że etykiety węzłów są włączone.
- Wybierz przycisk Save.
- Kliknij kartę Zaawansowane .
- Rozwiń sekcję Zaawansowane miejsce przędzy.
- W polu yarn.node-labels.fs-store.root-dir upewnij się, że na liście znajduje się domyślny katalog /system/yarn/node-labels.
- Wybierz przycisk Save.
Dodatkowe informacje
Dodatkowe informacje
Informacje o problemie z Hadoop 2.7 w środowisku Apache:
issues.apache.org/jira/browse/HDFS-9290Dokumentacja Apache dotycząca korzystania z funkcji etykiety węzła Yarn:
hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/NodeLabel.htmlDokumentacja Hortonworks dotycząca korzystania z funkcji etykiety węzła Yarn:
docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.4.2/bk_yarn_resource_mgt/content/ch_node_labels.html
Informacje o problemie z Hadoop 2.7 w środowisku Apache:
issues.apache.org/jira/browse/HDFS-9290Dokumentacja Apache dotycząca korzystania z funkcji etykiety węzła Yarn:
hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/NodeLabel.htmlDokumentacja Hortonworks dotycząca korzystania z funkcji etykiety węzła Yarn:
docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.4.2/bk_yarn_resource_mgt/content/ch_node_labels.html
Produkty, których dotyczy problem
IsilonProdukty
IsilonWłaściwości artykułu
Numer artykułu: 000052203
Typ artykułu: Solution
Ostatnia modyfikacja: 26 mar 2025
Wersja: 4
Znajdź odpowiedzi na swoje pytania u innych użytkowników produktów Dell
Usługi pomocy technicznej
Sprawdź, czy Twoje urządzenie jest objęte usługą pomocy technicznej.