Falha nas tentativas do OneFS de usar o recurso de etiqueta de nós do Apache Hadoop YARN
Resumo: Falha nas tentativas do OneFS de usar o recurso de etiqueta de nós do Apache Hadoop YARN
Este artigo aplica-se a
Este artigo não se aplica a
Este artigo não está vinculado a nenhum produto específico.
Nem todas as versões do produto estão identificadas neste artigo.
Sintomas
Problema |
Ao tentar usar o recurso de etiqueta de nós do Apache Hadoop YARN, a ação falha, e o OneFS gera uma mensagem de erro.
Ao tentar usar o recurso de rótulo de nó YARN com o OneFS 7.2.1.x e o Apache Hadoop 2.7, os usuários podem receber um -appendToFile: Mensagem de erro interno fatal. |
Ambiente |
| OneFS 7.2.1.x e Hadoop 2.7 |
Causa
Causa
Por padrão, o Hadoop armazena informações de rótulos de nós em um diretório no cluster do HDFS. O Isilon OneFS 7.2.1.x não reconhece o parâmetro appendtofile enviado do Hadoop 2.7 e pode gerar erros quando os usuários tentarem usar o recurso de etiqueta de nó do YARN.Resolução
Resolução
Para resolver esse problema, siga um destes procedimentos:
-
OneFS 7.2.1.2
- Implemente a solução temporária fornecida abaixo
-
OneFS 7.2.1.1
- Aplique primeiro o patch-164059 e, em seguida, implemente a solução temporária fornecida abaixo
Solução temporária
Implemente a seguinte solução temporária para criar e usar manualmente um diretório de etiquetas de nós do YARN que reside no cluster do OneFS em vez do cluster do HDFS. Nota: Se você executou o script isilon_hadoop_tools no GitHub, não é necessário seguir essa solução alternativa, pois o script cria automaticamente e permite o diretório correto.
Passo 1. Preparar o OneFS para armazenar informações
da etiqueta do nóExecute as etapas a seguir no cluster do OneFS.
Nota: No procedimento a seguir, HDFS_ROOT_DIR se refere ao diretório raiz do HDFS no cluster do OneFS.
- Crie o novo diretório no OneFS para hospedar o armazenamento de etiquetas de nó.
- mkdir -p HDFS_ROOT_DIR/system/yarn/node-labels
- Confirme se o fio do usuário existe. Nota: Se você ainda não criou um usuário chamado yarn , crie um agora. Para obter informações sobre a criação de usuários, consulte a seção Gerenciando usuários e grupos locais do Guia de administração da CLI do Isilon OneFS.
- Lista de usuários do isi auth
- Torne o usuário o proprietário do novo diretório.
- HDFS_ROOT_DIR/sistema/fios/etiquetas de nó do chown yarn
- Altere o nível de permissão do diretório para permitir que o proprietário leia, grave e execute.
- CHMOD 700 HDFS_ROOT_DIR/sistema/fio/etiquetas de nó
(Opcional) Passo 2: Direcionar o Apache Hadoop para armazenar informações de rótulos de nós no OneFS
Execute as seguintes etapas no cluster do HDFS.
- Usando um navegador, faça log-in no Ambari Manager em seu cluster HDFS.
- Na faixa superior do Ambari Dashboard, clique em Services.
- No painel esquerdo, clique em YARN.
- Clique na guia Configs .
- Clique na guia Configurações.
- Em Recursos do YARN, confirme se os rótulos dos nós estão Ativados.
- Clique em Save.
- Clique na guia Avançado .
- Expanda a seção Advanced yarn-site.
- No campo yarn.node-labels.fs-store.root-dir , confirme se o /system/yarn/node-labels padrão está listado.
- Clique em Save.
Mais informações
Informações
adicionaisInformações do Apache sobre o problema do Hadoop 2.7:
issues.apache.org/jira/browse/HDFS-9290Documentação do Apache sobre como usar o recurso de etiqueta de nó do YARN:
hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/NodeLabel.htmlDocumentação do Hortonworks sobre como usar o recurso de etiqueta de nó do Yarn:
docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.4.2/bk_yarn_resource_mgt/content/ch_node_labels.html
adicionaisInformações do Apache sobre o problema do Hadoop 2.7:
issues.apache.org/jira/browse/HDFS-9290Documentação do Apache sobre como usar o recurso de etiqueta de nó do YARN:
hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/NodeLabel.htmlDocumentação do Hortonworks sobre como usar o recurso de etiqueta de nó do Yarn:
docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.4.2/bk_yarn_resource_mgt/content/ch_node_labels.html
Produtos afetados
IsilonProdutos
IsilonPropriedades do artigo
Número do artigo: 000052203
Tipo de artigo: Solution
Último modificado: 26 mar. 2025
Versão: 4
Encontre as respostas de outros usuários da Dell para suas perguntas.
Serviços de suporte
Verifique se o dispositivo está coberto pelos serviços de suporte.