PowerScale OneFS: Solução de problemas de desempenho

Os computadores client estão lentos. Determinados trabalhos, especialmente aqueles executados no cluster, falham ou levam mais tempo do que o esperado para serem concluídos.

Geralmente, os problemas de desempenho são causados por tráfego de rede, problemas de configuração de rede, carga de processamento de client ou cluster ou uma combinação deles. Este artigo descreve várias maneiras eficazes de solucionar problemas de desempenho.

Solução de problemas com o InsightIQ

Sumário:

• Usando o Isilon InsightIQ
• Solução de problemas sem o InsightIQ
• Network throughput
• Distribuição de conexões de client
• Throughput de cluster
• Processamento de cluster
• Operações em fila
• CPU

Usando o Isilon InsightIQ

Usar o Isilon InsightIQ é a melhor maneira de monitorar e solucionar problemas de desempenho.

O equipamento virtual Isilon InsightIQ permite monitorar e analisar a atividade do cluster do Isilon por meio de visualizações de gráficos flexíveis e personalizáveis no aplicativo baseado na Web do InsightIQ. Esses gráficos apresentam informações detalhadas sobre hardware, software e operações de protocolo e file system do cluster. O InsightIQ transforma dados em informações visuais que enfatizam quaisquer outliers de desempenho, permitindo o diagnóstico rápido de gargalos ou a otimização de fluxos de trabalho.

Para obter detalhes sobre como usar o InsightIQ, consulte o PowerScale InsightIQ - Hub de informações. 

Solução de problemas sem o InsightIQ

Se você não estiver usando o InsightIQ, poderá executar uma variedade de comandos para investigar problemas de desempenho. Primeiro, solucione problemas de desempenho examinando o throughput da rede e do cluster, em seguida, examinando o processamento do cluster e, por fim, examinando as taxas de CPU de nós individuais.

Network throughput

Use uma ferramenta de teste de rede, como Iperf ou Iperf3 para determinar os recursos de throughput do cluster e dos computadores cliente em sua rede.

Usando IperfUsando o Iperf, execute os seguintes comandos no cluster e no client. Esses comandos definem um tamanho de janela grande o suficiente para revelar se o link de rede é uma possível causa de problemas de latência.

• Cluster:

   iperf -s -w 262144

• Cliente: 

  iperf -c <cluster IP> -w 262144

Usar Iperf3Usando o Iperf, execute os seguintes comandos no cluster e no client. Esses comandos definem um tamanho de janela grande o suficiente para revelar se o link de rede é uma possível causa de problemas de latência.

• Cluster: 

  iperf3 -s -w 262144

• Cliente: 

  iperf3 -c <cluster IP> -w 262144

Distribuição de conexões de client

Verifique quantos clients NFS e SMB estão conectados ao cluster para garantir que não estejam favorecendo um nó.

1. Abra uma conexão SSH com algum nó do cluster e faça login usando a conta "root". root Account.
2. Execute o

   isi statistics query current list --nodes=all --keys=node.clientstats.connected.nfs,node.clientstats.active.nfs -d

    para verificar clients NFS. 
   isi statistics query - nodes=all --stats=node.clientstats.connected.nfs,node.clientstats.active.nfs O resultado exibe a quantidade de clients conectados por nó e quantos desses clients estão ativos em cada nó.
3. Execute o

    isi statistics query current list --keys=node.clientstats.connected.smb,node.clientstats.active.smb1,node.clientstats.active.smb2 -n all -d 

   isi statistics query - nodes=all --stats=node.clientstats.connected.nfs,node.clientstats.active.nfs
   O resultado exibe a quantidade de clients conectados por nó e quantos desses clients estão ativos em cada nó.

Throughput de cluster

Avalie o throughput do cluster realizando alguns testes que determinam o tempo necessário para ler e gravar em um arquivo. Realize pelo menos um teste de gravação e um teste de leitura, da seguinte forma.

1. Abra uma conexão SSH com algum nó do cluster e faça login usando a conta "root". root Account.
2. Altere para a opção /ifs no diretório: cd /ifs
3. Na interface de linha de comando (CLI) do cluster ou de um computador client UNIX ou Linux, use o comando dd para gravar um novo arquivo no cluster.
   Execute o seguinte comando: dd if=/dev/zero of=1GBfile bs=1024k count=1024
   Esse comando cria um arquivo de amostra de 1 GB e informa o tempo que levou para gravá-lo no disco.
4. A partir da saída desse comando, extrapole quantos MB por segundo podem ser gravados no disco em fluxos de trabalho de fluxo único.
5. Se você tiver um client Mac e quiser realizar análises adicionais:
   1. Inicie o Monitor de atividade.
   2. Execute o cat /dev/zero > /pathToFile , em que pathToFile é o caminho do arquivo de destino.
      Esse comando ajuda a medir o throughput das operações de gravação no cluster do Isilon. (Embora seja possível executar o comando dd de um client Mac, os resultados podem ser inconsistentes.)
   3. Monitore os resultados do comando na guia Rede do Monitor de atividade.

Ao medir o throughput das operações de leitura, certifique-se de não realizar testes de leitura no arquivo que você criou durante o teste de gravação. Como esse arquivo foi armazenado em cache, os resultados de seus testes de leitura seriam imprecisos. Em vez disso, teste uma operação de leitura de um arquivo que não foi armazenado em cache. Localize um arquivo no cluster maior que 1 GB e faça referência a esse arquivo no teste de leitura.

1. Abra uma conexão SSH com algum nó do cluster e faça login usando a conta "root". root Account.
2. Na CLI do cluster ou em um computador client UNIX ou Linux, use o comando dd para ler um arquivo no cluster.
   Execute o dd if=/pathToLargeFile of=/dev/null bs=1024k , em que pathToFile é o caminho do arquivo de destino.
   Esse comando lê o arquivo de destino e relata o tempo que levou para lê-lo.
3. Se você tiver um client Mac e quiser realizar análises adicionais:
   1. Inicie o Monitor de atividade.
   2. Execute o time cp /pathToLargeFile > /dev/null , em que pathToFile é o caminho do arquivo de destino.
      Esse comando ajuda a medir o throughput das operações de leitura no cluster do Isilon. (Embora seja possível executar o comando dd de um client Mac, os resultados podem ser inconsistentes.)
   3. Monitore os resultados do comando na guia Rede do Monitor de atividade.

Processamento de cluster

Antes de examinar as operações de entrada/saída (E/S) (IOPS) do cluster:

• Determine quais trabalhos estão em execução no cluster. Se trabalhos de redistribuição, como AutoBalance, Collect ou MultiScan, estiverem em execução, considere por que esses trabalhos estão em execução e se eles devem continuar sendo executados.
  • Esses trabalhos podem produzir um evento de cluster: Event 400100008: "As operações de arquivo demoraram mais do que o esperado".
• Considere o tipo de dados que está sendo consumido. Se os computadores client estiverem trabalhando com grandes arquivos de vídeo ou máquinas virtuais (VMs), o trabalho de redistribuição exigirá uma quantidade maior de IOPS de disco do que o normal.
• Considere pausar temporariamente um trabalho de redistribuição. Isso pode melhorar significativamente o desempenho e pode ser uma solução viável de curto prazo para um problema de desempenho.

Trabalhos do SmartPools.

O desempenho dos clients NFS e SMB pode degradar durante a execução do trabalho:

• Determinar a prioridade do trabalho SmartPools

 isi job status

• •  Reduza o impacto da política

isi job types modify SmartPools --policy LOW

• • Ajustar prioridade

isi job types modify SmartPools --priority 7

• • Agende a política para fora do horário comercial

isi job types modify SmartPools --policy OFF_HOURS

• • Analise a configuração do nível, mantendo o número de níveis abaixo de 5

E/S
do discoExaminar a E/S do disco pode ajudar a determinar se determinados discos estão sendo superutilizados.

Por cluster

1. Abra uma conexão SSH com algum nó do cluster e faça login usando a conta "root".
2. Execute o

   isi statistics pstat

    para verificar a E/S do disco.
3. Na saída desse comando, divida a IOPS do disco pelo número total de discos no cluster. Por exemplo, para um cluster de 8 nós que usa nós IQ 12000x do Isilon, que hospeda 12 unidades por nó, você divide a IOPS do disco em 96.
   Para nós da Série X e da Série NL, você deve esperar ver IOPS de disco de 70 ou menos para 100% de fluxos de trabalho aleatórios ou IOPS de disco de 140 ou menos para 100% de fluxos de trabalho sequenciais. Como os nós da Série NL têm menos RAM e velocidades de CPU menores do que os nós da Série X, esses últimos podem lidar com IOPS de disco mais alto.

Por nó e por disco

1. Abra uma conexão SSH com algum nó do cluster e faça login usando a conta "root".
2. Execute o

   isi statistics query current --nodes=all --stats=node.disk.xfers.rate.sum --format=top

    comando para determinar a IOPS do disco por nó, o que pode ajudar a detectar discos que são superutilizados.
3. Execute o

   isi_stats_tool -a get_key_info|grep node.disk.xfer

    para determinar como consultar estatísticas por disco.

Operações em fila

Outra maneira de determinar se os discos estão sendo utilizados em excesso é determinar quantas operações são enfileiradas para cada disco no cluster. Para um fluxo de trabalho baseado em SMB de fluxo único, uma fila de quatro pode indicar um problema, enquanto para operações de namespace NFS de alta simultaneidade, a fila pode ser muito maior.

1. Abra uma conexão SSH com algum nó do cluster e faça login usando a conta "root". root Account.
2. Execute o

   isi statistics drive list --nodes=all --sort=queued -d

    Comando para determinar quantas operações são enfileiradas para cada disco no cluster.
3. Determine quanto tempo a operação ficou na fila: 

   isi statistics drive list --nodes=all --sort=queued -d 

CPU

Problemas de CPU são rastreados com frequência para as operações que os clients estão executando no cluster. Usando a opção isi statistics você pode determinar as operações que estão sendo executadas no cluster, catalogadas pelo protocolo de rede ou pelo computador client.

1. Abra uma conexão SSH com algum nó do cluster e faça login usando a conta "root". root Account.
2. Execute o

   isi statistics protocol list --long --totalby Op,proto -d --sort TimeAvg --format top

    Determine quais operações estão sendo executadas em toda a rede e avalie qual dessas operações está levando mais tempo, executando o seguinte comando:
   Esse resultado de comando fornece estatísticas detalhadas para todos os protocolos de rede, organizadas por quanto tempo o cluster leva para responder aos clients. Embora os resultados desse comando possam não identificar qual operação é a mais lenta, ele pode lhe indicar a direção certa.
3. Execute o

    isi statistics system --nodes all --format top 

   para obter mais informações sobre o processamento da CPU, como quais CPUs dos nós são as mais usadas.
4. Execute o

   isi_for_array -sX 'top -u -n |grep PID -A4'

    Para obter os quatro processos de cada nó que estão consumindo a maioria dos recursos da CPU, execute o seguinte comando:

• Hubs de informações do PowerScale OneFS
• Patches atuais do PowerScale OneFS