Data Domain: Solução de problemas de desempenho do Data Domain Virtual Edition

Sistema de rede e conectividade do equipamento de hospedagem de VMs:

E/S de Ethernet:

Ao usar agregados de Ethernet para conexões de transferência de dados com o equipamento host, não se pode presumir que a existência de uma configuração de agregados de Ethernet balanceia a carga corretamente. Deve haver largura de banda e técnicas adequadas de balanceamento de carga em vigor para garantir E/S irrestrita para o equipamento de hospedagem de VMs.

Conectividade do equipamento de hospedagem de VMs ao armazenamento em disco:

O tipo e o protocolo de conectividade causam um grande impacto sobre os recursos de desempenho de uma VM do DDVE. Aqui, estão listados os tipos de conectividade mais usados entre o equipamento de hospedagem de VMs e o armazenamento em disco. A opção 1 oferece o melhor nível de desempenho, e a opção 5 é a pior opção de conectividade. As configurações de cache de gravação do HBA também podem afetar drasticamente a capacidade de desempenho entre o equipamento host e o armazenamento em disco. É recomendável que o cache de gravação seja ativado no HBA para garantir o melhor desempenho do equipamento host para o armazenamento em disco.

1. Armazenamento de conexão direta — discos SAS/SSD em RAID 5 ou RAID 6 + cache de gravação do HBA ativado (Preferencial para melhor desempenho)
2. Armazenamento de conexão direta — JBOD sem RAID + cache de gravação de HBA ativado (Desempenho aceitável, mas sem proteção RAID recomendada)
3. Armazenamento RAID externo conectado ao FC (ativo/ativo de 16 GB ou mais rápido) (Desempenho aceitável, mas pode ser limitado pelos recursos de desempenho do FC)
4. iSCSI 10G (armazenamento em disco externo) (Não recomendado)
5. NFS 10G (armazenamento em disco externo) (Não recomendado)

Verificando storage arrays físicos, estatísticas e desempenho:

Comparação entre qualidade do disco, tamanho do disco e quantidade de discos:

As unidades de maior densidade, por exemplo, com mais de 4 TB, têm menos IOPS por TB do que as unidades menores. Por isso, um DDVE implementado em uma quantidade maior de unidades com menos TB oferece desempenho mais rápido do que um DDVE implementado em poucas unidades com mais TB. Isso se deve à alta dependência do DDVE de desempenho de leitura aleatória. A carga de trabalho normal do DDVE pode intensificar ainda mais essa batalha entre o tamanho do disco físico e a quantidade de discos físicos. Portanto, tente garantir que seu sistema de armazenamento tenha um balanceamento adequado e atenda às expectativas estabelecidas no Guia de práticas recomendadas do DDVE apropriado. Neste artigo, nós não nos concentraremos nos tipos individuais de SSDs e discos rígidos físicos e seus recursos de desempenho. É possível obter essas informações com o fabricante do disco. É suficiente dizer que, quanto melhor o desempenho dos discos físicos, melhor será o desempenho das VMs do DDVE.

Solução de problemas de armazenamento:

Verifique a latência dos discos físicos associados à VM do DDVE.

Na VMware, é possível fazer isso selecionando a VM, selecionando a guia Performance e, em seguida, selecionando Datastore na lista suspensa. A seção exibirá todos os datastores relevantes para a VM específica do DDVE. Por fim, clique no botão Advanced para obter uma exibição gráfica e granular da latência dos datastores associados à VM do DDVE.

Figura 1: Desempenho do datastore

Para determinar a carga de E/S de um datastore, calcule as IOPS processadas por ele.

Comece com o mesmo gráfico de antes, mas selecione Chart Options, desmarque Write latency and Read latency e, em seguida, selecione os dois valores Average read requests per second e Average write requests per second. O gráfico resultante exibe quantas IOPS o datastore está realizando e pode apresentar uma ideia da carga geral que o dispositivo, ou "dev", de armazenamento do DDVE está colocando em um datastore. Esse resultado também pode ser útil para distinguir se o datastore está sendo compartilhado com cargas de trabalho de um aplicativo não relacionado ao DDVE.

Figura 2: Opções de gráfico

Para obter uma exibição mais granular das IOPS, verifique as taxas de leitura/gravação.

Por padrão, o DDVE geralmente faz duas a quatro vezes mais leituras do armazenamento em disco do que gravações. A exceção a isso ocorre durante a geração 0 (criação inicial) de backups, quando dados totalmente novos estão sendo gravados e não podem ser desduplicados. Pelos motivos mencionados anteriormente, o armazenamento físico usado pelo DDVE deve conseguir lidar com eficiência com as cargas de trabalho aleatórias e predominantemente centradas em leitura, mas mistas, do file system do Data Domain.

Os storage arrays de disco físico (SSD, disco magnético etc.) podem apresentar uma capacidade de processamento de leituras com eficiência muito diferente da capacidade de processamento de gravações. A capacidade de um sistema de armazenamento em disco físico de oferecer um desempenho excepcional de IOPS de leitura aleatória, além de latências baixas (menos de 40 milissegundos), são os fatores mais essenciais para determinar se um datastore atende às características de desempenho aceitáveis para uma VM do DDVE.

Se for necessário investigar mais a fundo o desempenho dos storage arrays ou do datastore, seria utilizada uma ferramenta de linha de comando chamada vscsiStats. Consulte o suporte da VMware para obter mais detalhes sobre como é possível usar a vscisistats para obter tamanhos de bloco, latências e estatísticas mais detalhadas de desempenho de leitura/gravação.

Verificando se o provisionamento de recursos atende aos requisitos do DDVE:

Com frequência, é possível atribuir a causa de um problema de desempenho da VM do DDVE a alguma definição configurada que limita os recursos disponíveis à VM do DDVE. Em geral, os pools de recursos com limitações servirão apenas para limitar o desempenho geral de uma VM do DDVE e, sendo assim, não são recomendados. Por outro lado, há algumas reservas de recursos que melhoram o desempenho geral de uma VM do DDVE. Sempre consulte os guias de administração e práticas recomendadas do DDVE de sua configuração ao implementar, solucionar problemas ou ajustar a VM de um DDVE para obter desempenho.

Inicie a verificação da alocação de recursos selecionando a guia Resource Allocation. Em seguida, selecione no pool de VMs a VM do DDVE cujos problemas você está solucionando. Na seção View, selecione CPU e marque todas as VMs desse pool (presumindo que a VM problemática também esteja lá). Certifique-se de definir a opção "Limit MHz" como Unlimited. Além de a limitação de recursos de CPU de uma VM do DDVE não ser recomendada, ela resulta em desempenho reduzido.

Figura 3: Alocação de recursos

Avance para a verificação dos recursos de memória alocados à VM do DDVE. Verifique se os recursos de memória estão devidamente "reservados" e definidos como Unlimited para garantir o melhor desempenho. Além de a configuração de limites sobre a alocação de memória de um DDVE não ser recomendada, ela resulta em desempenho reduzido.

Figura 4: Recursos de memória

Na guia "Storage", verifique se não há limitações impostas às IOPS de armazenamento. Clique no botão Storage e visualize os discos/datastores. É necessário definir o valor "Limit-IOPS" de cada disco associado a uma VM do DDVE como Unlimited.

Figura 5: Recursos de armazenamento

Para as três categorias de recursos já mencionadas, anote os valores de % shares. Esses valores indicam qual porcentagem de compartilhamentos essa VM específica está extraindo de todo o pool de recursos. Os "valores de compartilhamento" são relativos, não absolutos. No entanto, certifique-se de que não haja uma grande variação entre os valores de todos os dispositivos do pool. Por exemplo, 1.000, 2.000 ou 3.000 seriam valores esperados; no entanto, valores como 10, 5 e 4.000 indicariam uma disparidade anormal e um compartilhamento desigual de recursos. Se alguma VM tiver um valor muito diferente, você deverá considerar fazer uma modificação nas configurações dos "valores de compartilhamento".

Verificando as estatísticas de desempenho da VM do DDVE:

Uma VM do DDVE em execução com eficiência precisa de acesso irrestrito aos recursos para garantir o melhor desempenho. O DDVE faz uso extensivo de memória e CPU e não pode ser limitado sem problemas. Depois que uma VM do DDVE estiver em produção, nós poderemos aproveitar os gráficos e as tabelas da guia Performance para avaliar o uso de recursos dela. Poderemos usá-los para determinar em algum nível a eficiência do funcionamento dela.

CPU

Selecione a VM do DDVE na qual deseja realizar a solução de problemas. Em seguida, selecione a guia Performance. Na seção Switch to, selecione CPU na lista suspensa. Nessa exibição, é possível avaliar a quantidade e a porcentagem da CPU que a VM do DDVE está consumindo. Se a porcentagem da CPU usada pela VM do DDVE equivaler a uma grande quantidade dos recursos gerais, nós poderemos presumir que o equipamento de hospedagem pode não ser adequado para executar a VM do DDVE em todo o seu potencial.

Figura 6: Desempenho da CPU

Memória

Se parecer que a VM está apresentando uma resposta lenta, a CPU pode ter um problema de programação. Para avaliar a eficiência da CPU, comece com o gráfico anterior e selecione novamente a opção Chart Options. Desmarque todos os contadores e selecione Ready. Isso exibirá o tempo de prontidão das CPUs virtuais. O valor de milissegundos indica a hora em que uma VM estará pronta para iniciar, mas o hypervisor não pode atribuir uma CPU à tarefa em tempo hábil. Para obter o desempenho ideal da VM do DDVE, seria ideal que esse valor estivesse abaixo de 8 milissegundos. 

Figura 7: Tempo de prontidão da CPU

O desempenho e a disponibilidade da memória também podem ser fatores limitantes no desempenho geral da VM do DDVE. Se uma VM do DDVE não estiver configurada com a quantidade necessária de memória física reservada, um alerta ativo será gerado. Verifique os alertas ativos executando # alerts show current na CLI do DDVE e os resolva conforme necessário.

Se uma VM do DDVE não tiver recursos de memória suficientes disponíveis, ela responderá trocando as páginas de memória para o disco. Essa é uma condição indesejável e resulta em grave degradação do desempenho. Para avaliar o uso de memória ativa de uma VM do DDVE, comece selecionando a guia Performance e, em seguida, selecione Memory na caixa Switch to.

Por padrão, o gráfico exibe os valores "Active", "Granted", "Balloon" e "Consumed" de memória, que representam a memória ativa, concedida, de balão e consumida, respectivamente. Para obter o desempenho ideal, certifique-se de que a memória ativa seja aproximadamente 35–50% do valor de memória "Granted". Sempre que o valor da memória ativa se aproximar de 60% da memória "Granted", você poderá entrar em um cenário em que a troca ocorre dentro da VM do DDVE.

Figura 8: Desempenho da memória

Verificando se uma VM do DDVE atende às "práticas recomendadas" e às configurações recomendadas:

Ao solucionar problemas de desempenho, há muitas coisas a verificar e logs a coletar da própria VM do DDVE. Antes de abrir um caso de suporte do DDVE, comece verificando se a configuração do DDVE atende às práticas recomendadas e às configurações recomendadas. Consulte a documentação no site de suporte referente à versão do DDVE e à plataforma de hospedagem que você está executando.

Coletando estatísticas de desempenho:

1. Colete resultados dos seguintes comandos e ferramentas da CLI para avaliar o armazenamento em disco subjacente e garantir que a configuração atenda ao nível de desempenho necessário para oferecer suporte à capacidade escolhida do DDVE.

• Realize um Disk Assessment Test (DAT) para cada dispositivo de disco conectado ao DDVE. A seção Monitoramento de desempenho do guia de administração do DDVE apresenta instruções detalhadas sobre quando e como usar a ferramenta de DAT.
• Realize o teste DAT com base no tipo de E/S ingerida. O comando with-vnvram deve ser usado se você estiver usando principalmente CIFS/NFS para gravar backups. Alguns usuários usam o Boost para realizar backups e, em seguida, usam o NFS para obter acesso de leitura. Nesse caso, o uso do indicador with-vnvram não é obrigatório.
• O uso da ferramenta DAT não é compatível com um DDVE implementado na nuvem (Microsoft Azure, Amazon AWS).

2. Comandos da CLI do DDVE para coletar informações para a solução de problemas de desempenho:

• #alerts show current
• #system vresource show required
• #system vresource show current
• #storage show all (verifique se as atribuições de grupo de eixos atendem às práticas recomendadas)
• #cd /ddr/var/log/debug/kern.info/disk_perf/perf.log (analise a latência e as IOPS por dispositivo)
• #system show performance (use a melhor sintaxe para restringir a exibição do resultado da CLI durante a carga normal de E/S do DDVE)
  • #system show perf custom-view protocol-latency duration 1 hr interval 3 min
  • #system show perf custom-view utilization duration 1 hr interval 3 min
  • #system show perf custom-view iops duration 1 hr interval 3 min
  • #system show perf custom-view streams duration 1 hr interval 3 min
• #disk show performance <dev2> (é possível inserir vários dispositivos para obter uma exibição completa)

 Disk                            Read                                                   Write                                             Read+Write
            KiB/sec IOPs    Resp(ms)  Ops >1s   KiB/sec     IOPs  Resp(ms)   Ops >1s   MiB/sec   IOPs   Resp(ms)    Random     Busy
----   ------------------------------   ------------------------------   ----------------------------------------  ----------------------------------------  ----------------------------------------
dev2   0             0       3.63               0               0           0     7172.87         4801       0.000       0        2486.26           81.64%    0.01%
----   ------------------------------   ------------------------------   ----------------------------------------  ----------------------------------------   ----------------------------------------

3. Coletando informações de desempenho do DDVE usando a CLI # vserver Gathering DDVE performance information using # vserver CLI

• #se # vserver durante a carga de E/S. (O resultado fará parte do carregamento do pacote se o VServer estiver configurado e for iniciado antes da criação do pacote.)

                                SE@localhost## vserver config set host 12x.xxx.90.xx 
                                The SHA1 fingerprint for the vServer's CA certificate is
                                D1:71:7C:57:3F:3D:3D:3xxxxxxxxxxxxxxxx

                                 Do you want to trust this certificate? (yes|no) [yes]: yes

                                    Enter vServer username: xxxxxxxx
                                    Enter vServer password:xxxxxxxxxxxx

                                 vServer configuration saved.
                                 Started periodic collection of DDVE performance information at/ddvar/log/debug/vserver/ddveperf.log 

4. Crie e carregue um pacote de suporte atual, incluindo vserver e disk_perf logs.

Vídeos úteis:

Modelo para abrir um chamado com o suporte do DD para solucionar problemas de desempenho de VMs do DDVE

Configuração do host de VM

Fabricante do host, modelo, versão e nome de host do sistema operacional?
Fornecedor de hypervisor (VMware, Hyper-V, outros)?
Número de versão e build do servidor ESXi/Hyper-V?
Número de versão e build do vSphere Client ou do Hyper-V Manager?
Esta é uma configuração em cluster ou uma configuração de HA?
Alguma alteração recente nas configurações de host ou VM?
O equipamento host tem cache com bateria reserva, NVRAM ou outro tipo de mecanismo para preservar dados em caso de desligamento não programado?

Armazenamento do host de VM

Configuração de RAID de armazenamento e tamanho, velocidade e tipo de disco (por exemplo, RAID 6 — 3 TB — 7.200 RPM — SATA)?
Tipo de conectividade do sistema de armazenamento (NFS, FCP, iSCSI, SAS)?
Os volumes de armazenamento e os datastores usados pelo DDVE são compartilhados com cargas de trabalho que não são do Data Domain?
O armazenamento em cache de gravação está ativado ou desativado no armazenamento em uso pelo DDVE?
Alguma alteração recente na configuração de armazenamento?
Você está usando provisionamento estático ou dinâmico para dispositivos de disco do DDVE?

Configuração do Data Domain Virtual Edition

Versão e tamanho do sistema operacional do DDVE (por exemplo, DDVE 3.0 — 6.0.1.10 — 64 TB)?
Protocolo de transferência de dados do DDVE (por exemplo, Boost, NFS, CIFS, NDMP, FCP)?
Cargas de trabalho do DDVE (por exemplo, nuvem, replicação, backup, VTL)?
Versões de aplicativos e plug-ins de backup?

Descrição detalhada do problema

Sistema de rede:
Desempenho:
Instalação e configuração:
File system do DD:
Dados indisponíveis ou perda de dados?
Você tem um caso aberto com algum outro fornecedor em relação a esse DDVE?

Logs necessários

Pacote de suporte — #support bundle create default Data Domain: Como coletar/carregar um pacote de suporte (SUB) de um Data Domain Restorer (DDR)

vserver perf-stats - #support bundle create files-only /ddvar/log/debug/platform/disk_perf/perf.log
disk_perf/perf.log - #support bundle create files-only /ddvar/log/debug/vserver/ddveperf.log
Pacote de logs "opcional" da VMware — consulte o site de autoatendimento da VMware para obter o artigo