I tentativi da parte di OneFS di utilizzare la funzione delle etichette dei nodi YARN Apache Hadoop hanno esito negativo (in inglese)

Riepilogo: I tentativi da parte di OneFS di utilizzare la funzione delle etichette dei nodi YARN Apache Hadoop hanno esito negativo (in inglese)

Questo articolo si applica a Questo articolo non si applica a Questo articolo non è legato a un prodotto specifico. Non tutte le versioni del prodotto sono identificate in questo articolo.
Scopri le altre risorse

Sintomi



Problema
Quando si tenta di utilizzare la funzionalità di etichettatura del nodo Apache Hadoop YARN, l'azione ha esito negativo e OneFS genera un messaggio di errore.


Sintomi

Quando si tenta di utilizzare la funzionalità di etichettatura dei nodi YARN con OneFS 7.2.1.x e Apache Hadoop 2.7, gli utenti possono ricevere un -appendToFile: Messaggio di errore irreversibile interno.
 

Ambiente
OneFS 7.2.1.x e Hadoop 2.7

Causa

Causa

Per impostazione predefinita, Hadoop archivia le informazioni sull'etichetta dei nodi in una directory del cluster HDFS.  Isilon OneFS 7.2.1.x non riconosce il parametro appendtofile inviato da Hadoop 2.7 e potrebbe generare errori quando gli utenti tentano di utilizzare la funzionalità di etichettatura del nodo YARN.

Risoluzione


Risoluzione

Per risolvere questo problema, effettuare una delle seguenti operazioni:

  • OneFS 7.2.1.2

    • Implementare la soluzione alternativa fornita di seguito

  • OneFS 7.2.1.1

    • Applicare prima la patch-164059, quindi implementare la soluzione alternativa fornita di seguito

Soluzione alternativa

Implementare la seguente soluzione alternativa per creare manualmente e utilizzare una directory con etichetta del nodo YARN che risiede nel cluster OneFS anziché nel cluster HDFS.  Nota: Se è stato eseguito lo script isilon_hadoop_tools su GitHub, non è necessario seguire questa soluzione alternativa, in quanto lo script crea automaticamente e autorizza la directory corretta.

Passaggio 1. Preparazione di OneFS per l'archiviazione delle informazioni sulle etichette dei
nodiAttenersi alla seguente procedura nel cluster OneFS.
Nota: Nella procedura seguente, HDFS_ROOT_DIR fa riferimento alla directory principale HDFS nel cluster OneFS.

  1. Creare la nuova directory in OneFS per ospitare l'archivio delle etichette dei nodi.
    • mkdir -p HDFS_ROOT_DIR/sistema/filato/etichette dei nodi
  2. Verificare l'esistenza del filato dell'utente. Nota: Se non hai già creato un utente chiamato yarn , creane uno ora.  Per informazioni sulla creazione di utenti, consultare la sezione Gestione di utenti e gruppi locali della Guida all'amministrazione di Isilon OneFS CLI.
    • Elenco utenti di autenticazione ISI
  3. Fare in modo che l'utente yarn sia il proprietario della nuova directory.
    • Filato chown HDFS_ROOT_DIR/sistema/filato/etichette dei nodi
  4. Modificare il livello di autorizzazione della directory per consentire al proprietario di leggere, scrivere ed eseguire.
    • chmod 700 HDFS_ROOT_DIR/sistema/filato/etichette dei nodi
 
(Facoltativo) Passo 2: Indirizzare Apache Hadoop per archiviare le informazioni sull'etichetta dei nodi in OneFS
Attenersi alla seguente procedura sul cluster HDFS.
  1. Utilizzando un browser, accedere ad Ambari Manager sul cluster HDFS.
  2. Dal banner superiore del dashboard di Ambari, cliccare su Services.
  3. Nel pannello a sinistra, fate clic su YARN.
  4. Cliccare sulla scheda Configs.
  5. Fare clic sulla scheda Impostazioni.
  6. In Funzionalità YARN verificare che le etichette dei nodi siano abilitate.
  7. Cliccare su Save.
  8. Cliccare sulla scheda Avanzate .
  9. Espandi la sezione Advanced yarn-site.
  10. Nel campo yarn.node-labels.fs-store.root-dir verificare che sia elencato il valore /system/yarn/node-labels predefinito.
  11. Cliccare su Save.

Informazioni aggiuntive

Informazioni

aggiuntiveInformazioni su Apache sul problema di Hadoop 2.7:


issues.apache.org/jira/browse/HDFS-9290Documentazione di Apache su come utilizzare la funzione dell'etichetta dei nodi di Yarn:


hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/NodeLabel.htmlDocumentazione Hortonworks su come utilizzare la funzione di etichetta dei nodi di Yarn:
docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.4.2/bk_yarn_resource_mgt/content/ch_node_labels.html  

Prodotti interessati

Isilon

Prodotti

Isilon
Proprietà dell'articolo
Numero articolo: 000052203
Tipo di articolo: Solution
Ultima modifica: 26 mar 2025
Versione:  4
Trova risposta alle tue domande dagli altri utenti Dell
Support Services
Verifica che il dispositivo sia coperto dai Servizi di supporto.