Falha nas tentativas do OneFS de usar o recurso de etiqueta de nós do Apache Hadoop YARN

Resumo: Falha nas tentativas do OneFS de usar o recurso de etiqueta de nós do Apache Hadoop YARN

Este artigo aplica-se a Este artigo não se aplica a Este artigo não está vinculado a nenhum produto específico. Nem todas as versões do produto estão identificadas neste artigo.

Sintomas



Problema

Ao tentar usar o recurso de etiqueta de nós do Apache Hadoop YARN, a ação falha, e o OneFS gera uma mensagem de erro.


Sintomas

Ao tentar usar o recurso de rótulo de nó YARN com o OneFS 7.2.1.x e o Apache Hadoop 2.7, os usuários podem receber um -appendToFile: Mensagem de erro interno fatal.
 

Ambiente

OneFS 7.2.1.x e Hadoop 2.7

Causa

Causa

Por padrão, o Hadoop armazena informações de rótulos de nós em um diretório no cluster do HDFS.  O Isilon OneFS 7.2.1.x não reconhece o parâmetro appendtofile enviado do Hadoop 2.7 e pode gerar erros quando os usuários tentarem usar o recurso de etiqueta de nó do YARN.

Resolução


Resolução

Para resolver esse problema, siga um destes procedimentos:
  • OneFS 7.2.1.2

    • Implemente a solução temporária fornecida abaixo
  • OneFS 7.2.1.1

    • Aplique primeiro o patch-164059 e, em seguida, implemente a solução temporária fornecida abaixo

Solução temporária

Implemente a seguinte solução temporária para criar e usar manualmente um diretório de etiquetas de nós do YARN que reside no cluster do OneFS em vez do cluster do HDFS.  Nota: Se você executou o script isilon_hadoop_tools no GitHub, não é necessário seguir essa solução alternativa, pois o script cria automaticamente e permite o diretório correto.

Passo 1. Preparar o OneFS para armazenar informações
da etiqueta do nóExecute as etapas a seguir no cluster do OneFS.
Nota: No procedimento a seguir, HDFS_ROOT_DIR se refere ao diretório raiz do HDFS no cluster do OneFS.

  1. Crie o novo diretório no OneFS para hospedar o armazenamento de etiquetas de nó.
    • mkdir -p HDFS_ROOT_DIR/system/yarn/node-labels
  2. Confirme se o fio do usuário existe. Nota: Se você ainda não criou um usuário chamado yarn , crie um agora.  Para obter informações sobre a criação de usuários, consulte a seção Gerenciando usuários e grupos locais do Guia de administração da CLI do Isilon OneFS.
    • Lista de usuários do isi auth
  3. Torne o usuário o proprietário do novo diretório.
    • HDFS_ROOT_DIR/sistema/fios/etiquetas de nó do chown yarn
  4. Altere o nível de permissão do diretório para permitir que o proprietário leia, grave e execute.
    • CHMOD 700 HDFS_ROOT_DIR/sistema/fio/etiquetas de nó
 
(Opcional) Passo 2: Direcionar o Apache Hadoop para armazenar informações de rótulos de nós no OneFS
Execute as seguintes etapas no cluster do HDFS.
  1. Usando um navegador, faça log-in no Ambari Manager em seu cluster HDFS.
  2. Na faixa superior do Ambari Dashboard, clique em Services.
  3. No painel esquerdo, clique em YARN.
  4. Clique na guia Configs .
  5. Clique na guia Configurações.
  6. Em Recursos do YARN, confirme se os rótulos dos nós estão Ativados.
  7. Clique em Save.
  8. Clique na guia Avançado .
  9. Expanda a seção Advanced yarn-site.
  10. No campo yarn.node-labels.fs-store.root-dir , confirme se o /system/yarn/node-labels padrão está listado.
  11. Clique em Save.

Mais informações

Informações

adicionaisInformações do Apache sobre o problema do Hadoop 2.7:


issues.apache.org/jira/browse/HDFS-9290Documentação do Apache sobre como usar o recurso de etiqueta de nó do YARN:


hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/NodeLabel.htmlDocumentação do Hortonworks sobre como usar o recurso de etiqueta de nó do Yarn:
docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.4.2/bk_yarn_resource_mgt/content/ch_node_labels.html  

Produtos afetados

Isilon

Produtos

Isilon
Propriedades do artigo
Número do artigo: 000052203
Tipo de artigo: Solution
Último modificado: 26 mar. 2025
Versão:  4
Encontre as respostas de outros usuários da Dell para suas perguntas.
Serviços de suporte
Verifique se o dispositivo está coberto pelos serviços de suporte.