OneFS Спроби використати функцію позначки вузла Apache Hadoop YARN зазнали невдачі

Summary: OneFS Спроби використати функцію позначки вузла Apache Hadoop YARN зазнали невдачі

Ця стаття стосується Ця стаття не стосується Ця стаття не стосується якогось конкретного продукту. У цій статті зазначено не всі версії продукту.
Ознайомтеся з іншими ресурсами

Symptoms



Діти
При спробі використати функцію позначки вузла Apache Hadoop YARN дія не вдається, і OneFS генерує повідомлення про помилку.


Симптоми

При спробі використати функцію позначки вузла YARN з OneFS 7.2.1.x та Apache Hadoop 2.7 користувачі можуть отримати -appendToFile: Фатальне внутрішнє повідомлення про помилку.
 

Навколишнє середовище
OneFS 7.2.1.x та Hadoop 2.7

Cause

Причина

За замовчуванням Hadoop зберігає інформацію про мітки вузлів у каталозі кластера HDFS.  Isilon OneFS 7.2.1.x не розпізнає параметр appendtofile, надісланий Hadoop 2.7, і може створювати помилки, коли користувачі намагаються використати функцію YARN node label.

Resolution


Розв'язка

Щоб вирішити цю проблему, зробіть одне з наступного:

  • OneFS 7.2.1.2

    • Впровадьте обхідний шлях, наведений нижче

  • OneFS 7.2.1.1

    • Спочатку застосуйте патч-164059, а потім реалізуйте обхідний шлях, наведений нижче

Обхідний шлях

Реалізуйте наступний обхідний шлях — вручну створити та використовувати каталог міток вузлів YARN, який знаходиться в кластері OneFS замість кластера HDFS.  Примітка: Якщо ви запускали скрипт isilon_hadoop_tools на GitHub, вам не потрібно слідувати цьому обхідному способу, оскільки скрипт автоматично створює та надає дозвіл правильному каталогу.

Крок 1. Підготувати OneFS до зберігання інформації
про мітки вузлаВиконайте наступні кроки на кластері OneFS.
Примітка: У наступній процедурі HDFS_ROOT_DIR стосується вашого кореневого каталогу HDFS у кластері OneFS.

  1. Створіть новий каталог на OneFS для зберігання сховища міток вузлів.
    • mkdir -p HDFS_ROOT_DIR/system/yarn/node-labels
  2. Переконайтеся, що існування користувацької пряжі. Примітка: Якщо ви ще не створили користувача під назвою yarn, створіть його зараз.  Для інформації про створення користувачів дивіться розділ «Управління локальними користувачами та групами» в Керівництві адміністрування CLI Isilon OneFS.
    • Список користувачів автортифікації ISI
  3. Зробіть користувацьку пряжу власником нового каталогу.
    • Пряжа чоун HDFS_ROOT_DIR/system/yarn/node-label
  4. Змініть рівень дозволу каталогу, щоб власник міг читати, писати та виконувати файли.
    • CHMOD 700 HDFS_ROOT_DIR/system/yarn/node-labels
 
(За бажанням) Крок 2: Направте Apache Hadoop для зберігання інформації про мітки вузлів у OneFS
Виконайте наступні кроки на кластері HDFS.
  1. Використовуючи браузер, увійдіть у Ambari Manager на вашому кластері HDFS.
  2. З верхнього банера панелі Ambari натисніть «Послуги».
  3. З лівої панелі натисніть YARN.
  4. Натисніть вкладку Configs .
  5. Натисніть вкладку «Налаштування ».
  6. У розділі YARN Features переконайтеся, що позначки вузлів увімкнені.
  7. Натисніть «Зберегти».
  8. Натисніть на вкладку «Розширено ».
  9. Розширте розділ «Розширений сайт пряжі».
  10. У полі yarn.node-labels.fs-store.root-dir переконайтеся, що за замовчуванням вказано /system/yarn/node-labels.
  11. Натисніть «Зберегти».

Additional Information

Додаткова інформація

Інформація про Apache щодо випуску Hadoop 2.7:
issues.apache.org/jira/browse/HDFS-9290
 
Документація Apache про використання функції позначки вузла Yarn:
hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/NodeLabel.html
 
Документація Hortonworks щодо використання функції позначки вузла Yarn:
docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.4.2/bk_yarn_resource_mgt/content/ch_node_labels.html

Продукти, яких це стосується

Isilon

Продукти

Isilon
Властивості статті
Article Number: 000052203
Article Type: Solution
Востаннє змінено: 26 бер. 2025
Version:  4
Отримайте відповіді на свої запитання від інших користувачів Dell
Служба підтримки
Перевірте, чи послуги служби підтримки поширюються на ваш пристрій.