Avamar: Solução de problemas de baixo desempenho de backup

  
Sintomas típicos do desempenho lento de backup:

• O backup não é concluído dentro da janela programada. O monitor de atividades relata o erro "Client time out - end"
• O backup não tem a chance de ser iniciado antes do término da janela programada. O monitor de atividades relata o erro "Client time out - start"
• A coleta de lixo falha regularmente com o erro MSG_ERR_BACKUPSINPROGRESS ou MSG_ERR_TRYAGAINLATER 

Coletar informações:
Reúna informações detalhadas sobre o problema: 

• Informações exigidas pelo suporte ao investigar problemas de desempenho de backup do Avamar Client.

Determinar qual parte da cadeia de backup tem o gargalo mais grave:
O diagrama abaixo mostra os principais componentes de um sistema de backup.  


Gargalos SEMPRE existem, mas devemos trabalhar para entender onde eles estão.
Se pudermos fazer isso e reduzir o gargalo, o desempenho deve melhorar. 
Depois que um gargalo é mitigado, outro gargalo pode se tornar aparente. Nosso objetivo final é chegar a uma situação em que a duração do backup seja aceitável. 


Gargalos no Avamar Server:
Se TODOS os backups em um Avamar Server estiverem lentos, considere a possibilidade de um problema no servidor.  
Se TODOS os backups em um Avamar Server estiverem lentos em determinadas horas do dia, pode haver um conflito no servidor ou um gargalo de rede.
Se houver um problema de desempenho em um ou em alguns clients de backup, concentre-se em cada client isoladamente.


Integridade do servidor:
É improvável que um Avamar Server íntegro seja um gargalo para backups. 

Verifique a integridade do servidor de backup.  

• Avamar: Como executar o script de verificação de integridade proactive_check.pl em um Avamar Server
• Se os backups estiverem sendo enviados para o Data Domain, verifique as informações do DD Autosupport ou envolva o suporte do Data Domain para verificar a integridade

O Avamar restringe as conexões do client para preservar níveis aceitáveis de desempenho.


Conflito no servidor:

Se houver momentos do dia em que o desempenho do backup esteja fraco, isso pode indicar conflito.

• O script sched.sh pode oferecer uma representação visual das atividades que estavam sendo executadas em paralelo com o backup lento.
• Consulte Avamar: Como usar o script sched.sh para verificar o histórico de atividades de backup, replicação e manutenção em um Avamar Server.
• Verifique tarefas de manutenção em andamento executando status.dpn
• Verifique quantas sessões de client estão ativas

  • admin@utilitynode:~/>: avmaint session | grep path | wc -l

• Organize programações de manutenção e backup para que elas não se sobreponham.
• Analise a saída dos comandos status.dpn e top para verificar a carga nos nós de dados
• Execute mapall 'iostat -x' nos nós de dados. Confira %iowait, %idle e %util para ver se a largura de banda de E/S de algum disco está saturada.
• Para isolar o desempenho de um client específico, teste o backup quando o Avamar Server não estiver realizando tarefas de manutenção, outros backups ou replicações.

Desempenho de ingestão de backup do Data Domain:
Faça log-in no portal do Suporte Dell e analise:

• Data Domain: DDPCONNCHK Como solucionar problemas de conectividade e desempenho do Data Domain DDBoost

Gargalos na rede:
A rede poderá ser um gargalo se o backup de um client for feito por meio de uma WAN.

Latência de rede:
Isso afeta a taxa na qual os clients podem verificar se hashes estão presentes no Avamar Server.  

• Execute o ping do client para o Avamar Server e verifique a perda e a latência de pacotes da rede

2014-11-20 04:45:30 avtar Info <5156>: Backup #1180 timestamp 2014-11-20 04:45:28, 23 files, 5 folders, 291.7 GB (23 files, 4.316 GB, 1.48% new) 

Se o client e o servidor estiverem separados por uma WAN, o link poderá transmitir os dados necessários dentro da janela de backup?
Nesse caso, os dados que precisam ser transmitidos têm 4,316 GB.

Os valores estão todos correlacionados:

• Quantidade de novos dados de backup
• Tempo disponível para backup
• Largura de banda da rede efetiva

Maiores quantidades de novos dados exigem mais largura de banda da rede ou um tempo de backup mais longo.
Esses fatores têm limites práticos, mas podem ser controlados até certo ponto pelo usuário.
Considere se algum deles pode ser manipulado para acomodar um backup em tempo hábil.


Se houver suspeita de um problema de gargalo de rede ou de comunicação de servidor:
Confirme o throughput de rede entre o dispositivo client e o dispositivo de backup. 

• Avamar – Como executar o iperf entre dois sistemas Avamar para testar o desempenho do throughput da rede

Ative o log avtar comstats para facilitar a solução de problemas.

• Avamar: Como ativar e interpretar o log avtar COMSTATS para diagnosticar problemas de comunicação

Gargalos no client:

• O backup do Avamar falhou com o erro "Time Out - End" porque ainda está executando um backup inicial

Verifique se o backup não foi cancelado prematuramente:
Pesquise "canceled" no log de backup. Veja abaixo um exemplo em que um usuário impaciente cancelou o backup L1.
 

2013-11-05 12:15:29 avtar Info <5157>: PARTIAL Backup #14 timestamp 2011-11-05 12:13:36, 2,030 files, 562 folders, 397.3 MB (691 files, 17.44 MB, 4.39% new)
2013-11-05 12:15:29 avtar Info <7539>: Label "MOD-xxxxxxxxxx", scheduled to expire 11/12/11, none backup
2013-11-05 12:15:29 avtar Info <6083>: Backed-up 397.3 MB in 1.36 minutes: 17 GB/hour (89,593 files/hour)
2013-11-05 12:15:29 avtar Info <7883>: Finished at 2011-11-05 12:15:29 GMT Standard Time, Elapsed time: 0000h:01m:21s
2013-11-05 12:15:29 avtar Info <8468>: Sending wrapup message to parent
2013-11-05 12:15:29 avtar Info <5314>: Command failed (exit code 10013: Externally canceled)

Em casos como esse, em que um backup é encerrado corretamente, os dados são armazenados como um backup "PARCIAL".

• Avamar: Funcionalidade de backup parcial e práticas recomendadas para backups iniciais

Embora os logs de backup parcial indiquem o desempenho do backup, uma análise apropriada requer o log de um backup completo.


Verifique no log se há problemas de dimensionamento de cache de hash ou cache de arquivo:

• Consulte Avamar — Como verificar no log do Avamar Client se há problemas de dimensionamento de cache de hash ou cache de arquivo

Verifique se os indicadores de aceleração foram transmitidos para o avtar:
A aceleração da CPU ou da rede do avtar reduz significativamente o desempenho do backup. 
Consulte Avamar: Como acelerar o consumo de recursos do sistema (CPU, rede, E/S e memória) de um Avamar Client.

Isso pode ser detectado no log de backup.

2013-09-06 14:22:13 avtar Info <6557>: Network bandwidth throttling is enabled, limiting to approx. 0.512 Mbps (62.50 KB/sec)
2013-09-06 14:22:13 avtar Info <6558>: CPU throttling is enabled, limiting CPU usage to approx. 70%

Há um gargalo de CPU ou memória no Avamar Client?
Um backup do Avamar é executado com a maior rapidez que o hardware permite e compete por recursos com outros serviços e usuários. Lembre-se do "trabalho diário" do client e quando ele está ocupado. 

Monitore o client usando o Gerenciador de tarefas ou o Gerenciador de processos (no Windows) ou o executando comando "top" (UNIX ou Linux). Isso pode revelar se a saturação da CPU ocorre durante o backup. 

A Dell tem a ferramenta interna "LogAnalyzer" que traça o consumo de recursos e o desempenho ao longo do tempo. Trabalhe com o Suporte para usá-la.

Os arquivos de cache são carregados na memória durante o backup. Verifique o uso da memória do client para observar falhas de página ou indícios de que o client está com memória RAM insuficiente.

Esse é um problema menor, em que os Avamar Clients v7.x para Data Domain usam o "cache de paginação" (f_cache2.dat).
O cache de paginação pode reduzir o espaço ocupado pela memória em um client, em relação aos caches "monolíticos" tradicionais do avtar.


Verifique se há um gargalo de E/S no client:
Após o dimensionamento de cache do client, o próximo fator para determinar o desempenho do backup é o sistema de armazenamento que hospeda os dados de backup e alimenta os dados para o avtar.


Certifique-se de que o armazenamento de destino esteja íntegro:
Garanta que não haja problemas no dispositivo de armazenamento de destino que impeçam o desempenho ideal. 
 

Verifique se o software de terceiros não está competindo com o avtar por E/S:
Algum aplicativo no client está competindo com o Avamar Client por E/S de armazenamento?
A varredura em tempo real ou durante o acesso do software antivírus afeta substancialmente o desempenho do Avamar Client.  

• Desempenho de backup do Avamar Client é bastante afetado pela varredura em tempo real do software antivírus nos arquivos

• Usando o paralelismo de volume para melhorar o desempenho de backups do Avamar

Certifique-se de que o client não esteja fazendo backup dos dados que usam CIFS ou NFS:
O backup de dados de CIFS ou NFS só é permitido por meio de um acelerador NDMP. 

• Avamar e capacidade de suporte para compartilhamentos de rede mapeados por CIFS (SMB) e NFS. 

Verifique se a compactação ou a criptografia de armazenamento está em uso
O desempenho do backup poderá ficar mais lento do que o esperado se os dados de destino estiverem no armazenamento de destino, onde os dados estejam compactados ou criptografados no nível do sistema de arquivos.  


Analisando gargalos de recursos do client Windows com o Perfmon:
O artigo a seguir ajuda a criar gráficos de desempenho para entender se o client está aguardando em algum recurso específico em um determinado momento. Considere usar esse recurso com os gráficos produzidos pela ferramenta LogAnalyzer.

• Avamar – Usando o Perfmon do Microsoft Windows para monitoramento de desempenho de Avamar Clients 

Backup de arquivos .pst de arquivamento do Outlook
Um backup com muitos ou grandes arquivos .pst pode ter o desempenho lento. 

• Considerações de desempenho ao usar o Avamar para fazer backup de arquivos .pst de arquivamento do Outlook

Análises comparativas de desempenho do armazenamento 
Verifique o desempenho do dispositivo de armazenamento onde os dados de destino estão hospedados.

• Testes de desempenho de disco para Avamar Linux Clients 

Baixo desempenho de backup devido aos dados de backup:
Uma causa comum de backups lentos é a característica dos dados de backup.


Verifique se há muitos dados novos ou alterados:

• Avamar – Um backup fica lento ou apresenta a falha com "Time out - end" devido a muitos dados novos ou alterados  

Alguns arquivos grandes, sejam novos ou modificados, podem fazer com que um backup que, de outra forma, teria uma execução rápida seja executado além da janela de backup. Para identificar esses arquivos, consulte:

• Avamar: Como usar os logs de client para identificar quais arquivos são novos ou foram alterados desde o backup anterior   
• Como identificar quais arquivos tiveram o processamento demorado durante um backup do Avamar 

Clients Windows

• O backup do conjunto de dados do Avamar que contém muitos links simbólicos está muito lento  
• Desempenho do Avamar Client e compactação NTFS do Windows 

Clients Linux e UNIX: verifique se o conjunto de dados do client contém grandes arquivos fragmentados. 

• Avamar e arquivos fragmentados 
• O tamanho do backup de um Avamar Linux Client pode ser enganoso devido ao comportamento de manipulação de arquivos fragmentados "/var/log/lastlog" e do Avamar 

Verifique as linhas de resumo de backup para entender o escopo do backup e identificar valores atípicos:
Pesquise pelas strings "Backup #" ou "Backed-up" no log de backup.

2017-06-07 20:21:38 avtar Info <5156>: Backup #441 timestamp 2017-06-07 20:21:38, 2,653,523 files, 255,181 folders, 1,566 GB (10,777 files, 668.4 MB, 0.04% new)
2017-06-07 20:21:38 avtar Info <6083>: Backed-up 1,566 GB in 1281.60 minutes: 73 GB/hour (124,228 files/hour)

Com esse processo, você pode economizar bastante tempo quando estiver investigando o desempenho do backup.
Para a saída acima, considere:

1. Se o backup é inicial ou de nível 1. (Improvável, visto que o rótulo "Backup" é #441)
2. Se o número de arquivos no backup é razoável. (2,6 milhões de arquivos são razoáveis)
3. Qual a proporção de arquivos por pasta? (É 10:1, isso é típico)
4. A quantidade total de dados no conjunto de dados. (~1,5 TB)
5. O número de arquivos que serão processados e a proporção do número total de arquivos. (~11 K de 2,5 M de arquivos são razoáveis)
6. O tamanho total de todos os arquivos que serão processados. (só pode ser uma estimativa)
7. O volume de dados alterados que serão enviados ao Avamar Server. (668 MB)
8. Se a taxa de alteração é razoável. Taxas de alteração mais altas podem ser toleradas para conjuntos de dados menores (0,04% é razoável)
9. Se o desempenho por hora, considerando o tamanho geral e o escopo do backup, é razoável. (o desempenho de 124 mil arquivos/hora pode ser considerado lento, tendo em conta outros números)

Normalmente, esses detalhes disponibilizam dados suficientes para compreender a causa do desempenho insatisfatório do backup.
Se necessário, analise as mensagens das linhas de status que são geradas ao longo do backup.

Verifique se há valores atípicos nestas duas linhas de log. Em outras palavras, eles são maiores ou menores do que o normal?
Se você tiver familiaridade com o comportamento de backups, será mais fácil detectar anomalias.


Proporção de arquivos por pasta
A maioria dos conjuntos de dados de clientes têm uma proporção de arquivos por pasta de aproximadamente 10:1, e o avtar é ajustado para refletir isso.
Se um conjunto de dados tiver uma proporção baixa de arquivos por pasta, como no exemplo abaixo, o backup poderá não ser executado com a mesma eficiência sem que você precise fazer pequenos ajustes.  

2015-11-18 00:34:32 avtar Info <5156>: Backup #75 timestamp 2015-11-18 00:24:43, 4,007,032 files, 1,974,043 folders, 1,589 GB (2,680 files, 419.4 MB, 0.03% new)

Consulte Ajuste de desempenho de backup do Avamar Client para conjuntos de dados com baixa proporção de arquivos por pasta.

Análise de desempenho usando mensagens de informação de status do log avtar:
Usando o Notepad++ ou alguma ferramenta semelhante, filtre o log pelas linhas avtar Info que contenham mensagens de Status. Essas linhas podem ser filtradas pelas entradas de código que contenham <5100> ou <8688> dependendo da versão do Avamar Client. Essas linhas são mensagens de status periódicas, reportadas pelo avtar.

• Avamar — Como interpretar as linhas de status do log de backup do avtar.  

• O backup do Avamar está lento porque o software de terceiros modifica os metadados de arquivos que, de outra forma, não seriam alterados 

Analise o uso dos indicadores de inclusão e exclusão. Evite afirmações "include":
O guia de práticas recomendadas operacionais discute as listas de "Include" e "Exclude". 

O Avamar precisa comparar todos os arquivos do conjunto de dados de backup com as duas listas para determinar se fará o backup do arquivo ou não. Esse processo de comparação adiciona sobrecarga e pode aumentar o tempo de execução do backup.

Verifique no diretório avsar se há a presença de um arquivo avtar.cmd.
Verifique se o arquivo contém quaisquer afirmações --exclude ou --exclude-from-file.
Se um diretório ou sistema de arquivos for excluído, mas forem usados indicadores "include", o avtar verificará em todo o diretório se há itens que ele tenha sido instruído a incluir.

Verifique se o conjunto de dados contém pontos de nova análise ou arquivos stub:
Desconfie se um conjunto de dados contiver arquivos stub ou indicadores para dados armazenados em outro dispositivo.
O desempenho do backup sofrerá se o avtar precisar aguardar até que o arquivo remoto seja recuperado.
Exemplos de tais softwares são: Enterprise Vault Archiver, Moonwalk e DiskXtender.

• Baixo desempenho no backup do plug-in winclusterfs depois do upgrade da versão 7.0 para a 7.2 do Avamar.

Backups de clients virtuais com uma instalação guest do Avamar

• O backup guest de máquina virtual do Avamar fica lento e atinge o tempo limite devido a um gargalo de recursos de hardware  
• Backup guest de VM do Avamar Client com desempenho lento devido ao Trend Micro Deep Security do VMware vShield Endpoint  

• Avamar: Baixo desempenho no backup do plug-in winclusterfs depois do upgrade da versão 7.0 para a 7.2 

Outras notas

• Certifique-se de que os clients de máquina virtual não tenham recursos limitados nem estejam aderindo a limitações de hardware rígidas que afetam a capacidade de o backup do Avamar ser concluído rapidamente.  Em máquinas ocupadas, o sistema operacional pode estar sobrecarregado ou lidando com muitos threads, o que causa uma mudança de contexto grave.
• Leia o Guia de práticas recomendadas operacionais do Avamar para otimizar o sistema Avamar, programar backups e ajustar caches de client.

Outras referências

• Desempenho do Avamar Client e compactação NTFS do Windows