Échec des tentatives d’utilisation de l’étiquette du nœud Apache Hadoop YARN par OneFS (en anglais)

Résumé: Échec des tentatives d’utilisation de l’étiquette du nœud Apache Hadoop YARN par OneFS (en anglais)

Cet article concerne Cet article ne concerne pas Cet article n’est associé à aucun produit spécifique. Toutes les versions du produit ne sont pas identifiées dans cet article.
Consulter d’autres ressources

Symptômes



Problème
Lorsque vous tentez d’utiliser la fonctionnalité de libellé de nœud Apache Hadoop YARN, l’action échoue et OneFS génère un message d’erreur.


Symptômes

Lorsque vous tentez d’utiliser la fonctionnalité d’étiquetage des nœuds YARN avec OneFS 7.2.1.x et Apache Hadoop 2.7, les utilisateurs peuvent recevoir un message -appendToFile : Message d’erreur interne fatal.
 

Environnement :
OneFS 7.2.1.x et Hadoop 2.7

Cause

Cause

Par défaut, Hadoop stocke les informations relatives aux libellés des nœuds dans un répertoire du cluster HDFS.  Isilon OneFS 7.2.1.x ne reconnaît pas le paramètre appendtofile envoyé à partir de Hadoop 2.7 et peut générer des erreurs lorsque les utilisateurs tentent d’utiliser la fonctionnalité d’étiquette de nœud YARN.

Résolution


Résolution

Pour résoudre ce problème, effectuez l’une des opérations suivantes :

  • OneFS 7.2.1.2

    • Mettez en œuvre la solution de contournement ci-dessous

  • OneFS 7.2.1.1

    • Commencez par appliquer le correctif 164059, puis appliquez la solution de contournement ci-dessous

Solution

Mettez en œuvre la solution de contournement suivante pour créer et utiliser manuellement un répertoire d’étiquettes de nœud YARN qui réside sur le cluster OneFS plutôt que sur le cluster HDFS.  Remarque : Si vous avez exécuté le script isilon_hadoop_tools sur GitHub, vous n’avez pas besoin de suivre cette solution de contournement, car le script crée automatiquement le répertoire approprié et accorde les autorisations nécessaires.

Étape 1. Préparation de OneFS au stockage des informations
relatives aux libellés des nœudsProcédez comme suit sur le cluster OneFS.
Note: Dans la procédure suivante, HDFS_ROOT_DIR fait référence à votre répertoire racine HDFS sur le cluster OneFS.

  1. Créez le nouveau répertoire sur OneFS pour héberger le magasin d’étiquettes de nœud.
    • mkdir -p HDFS_ROOT_DIR/system/yarn/node-labels
  2. Vérifiez que le fil utilisateur existe. Note: Si vous n’avez pas encore créé d’utilisateur appelé yarn, créez-en un maintenant.  Pour plus d’informations sur la création d’utilisateurs, reportez-vous à la section Gestion des utilisateurs et groupes locaux du Guide d’administration CLI Isilon OneFS.
    • Liste des utilisateurs d’authentification ISI
  3. Faites du fil de l’utilisateur le propriétaire du nouveau répertoire.
    • chown yarn HDFS_ROOT_DIR/system/yarn/node-labels
  4. Modifiez le niveau d’autorisation du répertoire pour permettre au propriétaire de lire, d’écrire et d’exécuter.
    • chmod 700 HDFS_ROOT_DIR/system/yarn/node-labels
 
(Facultatif) Étape 2 : Demande à Apache Hadoop de stocker les informations relatives aux libellés de nœuds sur OneFS
Effectuez les étapes suivantes sur le cluster HDFS.
  1. À l’aide d’un navigateur, connectez-vous à Ambari Manager sur votre cluster HDFS.
  2. Dans la bannière supérieure du tableau de bord Ambari, cliquez sur Services.
  3. Dans le panneau de gauche, cliquez sur YARN.
  4. Cliquez sur l’onglet Configs .
  5. Cliquez dans l'onglet Paramètres.
  6. Sous YARN Features, vérifiez que les étiquettes de nœud sont Enabled.
  7. Cliquez sur Save (Enregistrer).
  8. Cliquez sur l’onglet Avancé .
  9. Développez la section Advanced yarn-site.
  10. Dans le champ yarn.node-labels.fs-store.root-dir , vérifiez que le /system/yarn/node-labels par défaut est répertorié.
  11. Cliquez sur Save (Enregistrer).

Informations supplémentaires

Informations

complémentairesInformations Apache sur le problème Hadoop 2.7 :


issues.apache.org/jira/browse/HDFS-9290Documentation Apache sur l’utilisation de la fonctionnalité d’étiquette de nœud de Yarn :


hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/NodeLabel.htmlDocumentation Hortonworks sur la façon d’utiliser la fonction d’étiquette de nœud de Yarn :
docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.4.2/bk_yarn_resource_mgt/content/ch_node_labels.html  

Produits concernés

Isilon

Produits

Isilon
Propriétés de l’article
Numéro d’article: 000052203
Type d’article: Solution
Dernière modification: 26 mars 2025
Version:  4
Trouvez des réponses à vos questions auprès d’autres utilisateurs Dell
Services de support
Vérifiez si votre appareil est couvert par les services de support.