Data Domain: alta utilização da CPU causada por operações READDIR excessivas do BoostFS

A utilização da CPU permanece consistentemente alta, muitas vezes excedendo 80%, mesmo durante períodos de baixo throughput e fluxos ativos mínimos.
Uso elevado de CPU do sistema (%system) observado nas estatísticas SAR.
Médias altas de carga do sistema que não se correlacionam com a carga de trabalho de backup ou replicação.
Os processos de DDFS consomem substancialmente mais recursos da CPU do que o esperado.
A análise de desempenho mostra atividade significativa nos caminhos de código relacionados ao READDIRPLUS.
Um grande número de OSTREADDIRPLUS ou ddp_readdir operações observadas nos dados do Autosupport.
As operações de backup, restauração ou acesso a arquivos podem se tornar mais lentas do que o esperado.
Aumento do número de conexões TCP ativas e possíveis alertas de rejeição de conexão.
Frequentes "5006-end of directory" mensagens podem ser observadas nos registros do BoostFS ou do DDFS.
Um dd_guts O thread do agendador pode parecer muito utilizado, enquanto outros threads do agendador permanecem comparativamente ociosos.
As estatísticas da camada RPC do NFS podem mostrar níveis elevados data_wait e svc_func Valores

A análise indicou que o excesso READDIR e READDIRPLUS as operações originadas de sistemas de arquivos montados no BoostFS estavam contribuindo para a utilização elevada da CPU.

Investigações históricas mostraram que a indexação automatizada, a verificação de segurança, os utilitários de monitoramento e os processos de travessia do sistema de arquivos podem gerar grandes volumes de solicitações de enumeração de diretório, resultando em maior uso de CPU do kernel e DDFS, mesmo quando as cargas de trabalho de backup permanecem relativamente baixas.

Fontes comuns de excesso READDIR As atividades incluem:

mlocate/updatedb processos de indexação que examinam os pontos de montagem do BoostFS.
Aplicativos de verificação de segurança e antivírus.
Ferramentas de monitoramento e verificação de integridade para consultar file systems montados.
Atividades frequentes de enumeração do file system, como listagens de diretórios recursivos e operações stat.
Aplicativos que usam interfaces BoostFS ou SDK que atravessam repetidamente grandes estruturas de diretório.
Scripts automatizados que executam detecção contínua do file system ou coleta de inventário.

Essas atividades podem gerar milhões de READDIR operações por dia, criando uma sobrecarga significativa de processamento no DDFS e no file system subjacente.

Analise os sistemas com montagens BoostFS para aplicativos que realizam atividades frequentes de enumeração de diretório, indexação, monitoramento ou varredura.

As ações recomendadas incluem:

Identifique aplicativos que geram excesso READDIR atividade em sistemas de arquivos montados no BoostFS.
Excluir pontos de montagem do BoostFS de mlocate/updatedb indexação atualizando a configuração do PRUNEFS.
Analisar e limitar verificações antivírus desnecessárias, verificações de segurança, ferramentas de monitoramento, processos de verificação de integridade e atividades de pesquisa do file system destinadas a montagens BoostFS.
Reduza ou elimine as operações frequentes de travessia de diretório recursivo sempre que possível.
Monitor OSTREADDIRPLUS, ddp_readdir, utilização da CPU e médias de carga após a implementação de alterações.
Siga as práticas recomendadas do Data Domain e do BoostFS para evitar que aplicativos de scanner e indexação atravessem continuamente file systems de backup montados.

Investigações históricas mostraram uma redução substancial na utilização da CPU depois que os pontos de montagem do BoostFS foram excluídos da automação cron trabalhos que executam atividades de indexação e digitalização.

Esse comportamento indica que o excesso de READDIR a atividade gerada por esses processos pode contribuir significativamente para a elevada utilização da CPU do DDFS.

Além disso, frequência "5006-end of directory" As mensagens podem indicar operações repetidas de leitura de diretório. O volume dessas mensagens pode ser usado como um indicador da quantidade de READDIR atividade que ocorre no sistema Data Domain. As operações de leitura em file systems montados no BoostFS geralmente são mais caras do que as operações de gravação, o que torna importante evitar varredura ou percurso desnecessários de namespaces de backup montados.

Confira cron Trabalhos em clientes BoostFS:

ls -l /etc/cron.daily

Data Domain: Problemas do BoostFS com o software ou aplicativos de scanner de segurança

Data Domain: Solução de problemas de conectividade, montagem e problemas de desempenho do BoostFS