Data Domain: alta utilización de CPU causada por operaciones excesivas de BoostFS READDIR

La utilización de CPU permanece constantemente alta, a menudo superior al 80 %, incluso durante períodos de bajo rendimiento y flujos activos mínimos.
Se observó un uso elevado de la CPU del sistema (%system) en las estadísticas de SAR.
Promedios altos de carga del sistema que no se correlacionan con la carga de trabajo de respaldo o replicación.
Los procesos de DDFS consumen considerablemente más recursos de CPU de lo esperado.
El análisis de rendimiento muestra una actividad significativa en las rutas de código relacionadas con READDIRPLUS.
Un gran número de OSTREADDIRPLUS o ddp_readdir operaciones observadas en los datos de soporte automático.
Las operaciones de respaldo, restauración o acceso a archivos pueden volverse más lentas de lo esperado.
Aumento de conteos de conexiones TCP activas y posibles alertas de rechazo de conexión.
Frecuentes "5006-end of directory" Es posible que se observen mensajes en los registros de BoostFS o DDFS.
Uno dd_guts El subproceso del programador puede parecer muy utilizado, mientras que otros subprocesos del programador permanecen comparativamente inactivos.
Las estadísticas de la capa RPC de NFS pueden mostrarse elevadas data_wait y svc_func valores.

Los análisis indicaron que el exceso de READDIR y READDIRPLUS las operaciones que se originaban en los sistemas de archivos montados en BoostFS contribuían a una utilización elevada de la CPU.

Las investigaciones históricas han demostrado que la indexación automatizada, el escaneo de seguridad, las utilidades de monitoreo y los procesos de recorrido del sistema de archivos pueden generar grandes volúmenes de solicitudes de enumeración de directorios, lo que da como resultado un mayor uso de CPU de kernel y DDFS, incluso cuando las cargas de trabajo de respaldo permanecen relativamente bajas.

Fuentes comunes de exceso de READDIR Entre las actividades, se incluyen las siguientes:

mlocate/updatedb procesos de indexación que escanean los puntos de montaje de BoostFS.
Aplicaciones de escaneo de seguridad y antivirus.
Herramientas de monitoreo y evaluación del estado para el sondeo de sistemas de archivos montados.
Actividades frecuentes de enumeración del sistema de archivos, como listas de directorios recursivas y operaciones de estadísticas.
Aplicaciones que utilizan interfaces de BoostFS o SDK que recorren repetidamente estructuras de directorios grandes.
Scripts automatizados que realizan la detección continua del sistema de archivos o la recopilación del inventario.

Estas actividades pueden generar millones de READDIR operaciones por día, lo que crea una sobrecarga de procesamiento significativa dentro de DDFS y el sistema de archivos subyacente.

Revise los sistemas con montajes de BoostFS para las aplicaciones que realizan actividades frecuentes de enumeración, indexación, monitoreo o escaneo de directorios.

Las acciones recomendadas incluyen:

Identificar las aplicaciones que generan READDIR contra sistemas de archivos montados en BoostFS.
Excluir puntos de montaje de BoostFS de mlocate/updatedb indexación mediante la actualización de la configuración de PRUNEFS.
Revise y limite los análisis antivirus, los análisis de seguridad, las herramientas de monitoreo, los procesos de evaluación del estado y las actividades de sondeo del sistema de archivos innecesarios destinados a montajes de BoostFS.
Reduzca o elimine las operaciones de cruce de directorios recursivas frecuentes cuando sea posible.
Monitorizar OSTREADDIRPLUS, ddp_readdir, la utilización de CPU y los promedios de carga después de implementar los cambios.
Siga las prácticas recomendadas de Data Domain y BoostFS para evitar que las aplicaciones de escáner e indexación recorran continuamente los sistemas de archivos de respaldo montados.

Las investigaciones históricas han demostrado una reducción sustancial en la utilización de CPU después de que los puntos de montaje de BoostFS se excluyeron de la automatización cron Trabajos que realizan actividades de indexación y detección.

Este comportamiento indica un exceso de READDIR La actividad generada por estos procesos puede contribuir significativamente a una mayor utilización de CPU de DDFS.

Además, los frecuentes "5006-end of directory" Los mensajes pueden indicar operaciones de lectura de directorio repetidas. El volumen de estos mensajes se puede utilizar como un indicador de la cantidad de READDIR actividad que se produce en el sistema Data Domain. Por lo general, las operaciones de lectura en sistemas de archivos montados en BoostFS son más costosas que las operaciones de escritura, por lo que es importante evitar el escaneo o el recorrido innecesarios de espacios de nombres de respaldo montados.

Compruébalo cron Trabajos en clientes de BoostFS:

ls -l /etc/cron.daily

Data Domain: Problemas de BoostFS con el software o las aplicaciones de escáner de seguridad

Data Domain: Solución de problemas de conectividad, montaje y rendimiento de BoostFS