Avamar: Solución de problemas de rendimiento de respaldo lento

  
Síntomas típicos de un rendimiento de respaldo lento:

• Un respaldo no se puede completar dentro de la ventana programada. El monitor de actividad informa “Client time out - end”
• Un respaldo no tiene la oportunidad de iniciarse antes de que finalice la ventana programada. El monitor de actividad informa “Client time out - start”
• Se producen errores frecuentes en la recolección de elementos no utilizados de tipo MSG_ERR_BACKUPSINPROGRESS o MSG_ERR_TRYAGAINLATER 

Recopile datos:
Recopile información detallada sobre el problema: 

• Información que requiere el soporte cuando se investigan problemas de rendimiento de respaldo de Avamar Client.

Determine qué parte de la cadena de respaldo presenta el cuello de botella más grave:
En el siguiente esquema, se muestran los componentes principales de una cadena de respaldo.  


Los cuellos de botella SIEMPRE existen, pero debemos trabajar para comprender dónde están.
Si podemos hacerlo y mitigar el cuello de botella, el rendimiento debería mejorar. 
Una vez que se mitiga un cuello de botella, puede aparecer otro. Nuestro objetivo final es llegar a una situación en la que la duración del respaldo sea aceptable. 


Cuellos de botella del lado de Avamar Server:
Si TODOS los respaldos de un Avamar Server son lentos, considere la posibilidad de un problema en el servidor.  
Si TODOS los respaldos de un Avamar Server son lentos durante determinadas horas del día, considere la contención del lado del servidor o un cuello de botella de red.
Si hay un problema de rendimiento con uno o varios clientes de respaldo, enfóquese en cada cliente por sí mismo.


Estado del servidor:
Es poco probable que un servidor de Avamar Server en buen estado sea un cuello de botella para los respaldos. 

Compruebe el estado del servidor de respaldo.  

• Avamar: Cómo ejecutar el script de evaluación del estado proactive_check.pl en un Avamar Server
• Si se envían respaldos a Data Domain, compruebe la información de soporte automático de DD o comuníquese con el soporte de Data Domain para verificar que el estado sea bueno

Avamar restringe las conexiones de clientes para preservar niveles aceptables de rendimiento.


Contención del servidor:

Si hay momentos del día en los que el rendimiento del respaldo es deficiente, esto podría indicar contención.

• El script sched.sh puede proporcionar una representación visual de las actividades que se ejecutaban en paralelo con el respaldo lento.
• Consulte Avamar: Cómo utilizar el script sched.sh para comprobar la actividad histórica de respaldo, replicación y mantenimiento en un Avamar Server.
• Compruebe si existen tareas de mantenimiento en curso al ejecutar status.dpn
• Compruebe cuántas sesiones de cliente se encuentran activas

  • admin@utilitynode:~/>: avmaint session | grep path | wc -l

• Organice los programas de mantenimiento y respaldo para que no se superpongan.
• Revise el resultado de los comandos status.dpn y top para comprobar la carga en los nodos de datos
• Ejecute mapall 'iostat -x' en los nodos de datos. Compruebe %iowait, %idle y %util para ver si el ancho de banda de I/O de algún disco está saturado.
• Para aislar el rendimiento de un cliente en particular, pruebe el respaldo cuando el Avamar Server no esté realizando tareas de mantenimiento u otros respaldos o replicación.

Rendimiento de la ingesta del respaldo de Data Domain:
Inicie sesión en el portal de soporte de Dell y revise lo siguiente:

• Data Domain: DDPCONNCHK Cómo solucionar problemas de conectividad y rendimiento de Data Domain DD Boost

Cuellos de botella en la red:
la red puede presentar un cuello de botella si se respalda un cliente a través de WAN.

Latencia de red:
esto afecta la velocidad a la que los clientes pueden comprobar si existen hashes presentes en Avamar Server.  

• Ejecute un ping del cliente a Avamar Server, y compruebe la latencia y la pérdida de paquetes de la red

2014-11-20 04:45:30 avtar Info <5156>: Backup #1180 timestamp 2014-11-20 04:45:28, 23 files, 5 folders, 291.7 GB (23 files, 4.316 GB, 1.48% new) 

Si el cliente y el servidor están separados por una WAN, ¿el enlace puede transmitir los datos necesarios dentro de la ventana de respaldo?
En este caso, los datos que se deben transmitir son 4,316 GB.

Estos valores están todos interrelacionados:

• Cantidad de datos de respaldo nuevos
• Tiempo disponible para el respaldo
• Ancho de banda de red efectivo

Una mayor cantidad de datos nuevos requiere más ancho de banda de red o un tiempo de respaldo más prolongado.
Estos factores tienen límites prácticos, pero el usuario los puede controlar hasta cierto punto.
Analice si alguno de ellos puede manipularse para acomodar un respaldo oportuno.


Si sospecha que hay un cuello de botella en la red o un problema de comunicación del servidor:
Confirme el rendimiento de red entre el cliente y el dispositivo de respaldo. 

• Avamar: Cómo ejecutar iperf entre dos sistemas Avamar para probar el rendimiento de red

Habilite el registro comstats de avtar para facilitar la solución de problemas.

• Avamar: Cómo habilitar e interpretar el registro COMSTATS de avtar para diagnosticar problemas de comunicación

Cuellos de botella del lado del cliente:

• Error en el respaldo de Avamar con el mensaje “Time Out - End” debido a que todavía se está realizando un respaldo inicial

Asegúrese de que el respaldo no se canceló prematuramente:
Busque “canceled” en el registro de respaldo. A continuación, se muestra un ejemplo en el que un usuario impaciente canceló un respaldo L1.
 

2013-11-05 12:15:29 avtar Info <5157>: PARTIAL Backup #14 timestamp 2011-11-05 12:13:36, 2,030 files, 562 folders, 397.3 MB (691 files, 17.44 MB, 4.39% new)
2013-11-05 12:15:29 avtar Info <7539>: Label "MOD-xxxxxxxxxx", scheduled to expire 11/12/11, none backup
2013-11-05 12:15:29 avtar Info <6083>: Backed-up 397.3 MB in 1.36 minutes: 17 GB/hour (89,593 files/hour)
2013-11-05 12:15:29 avtar Info <7883>: Finished at 2011-11-05 12:15:29 GMT Standard Time, Elapsed time: 0000h:01m:21s
2013-11-05 12:15:29 avtar Info <8468>: Sending wrapup message to parent
2013-11-05 12:15:29 avtar Info <5314>: Command failed (exit code 10013: Externally canceled)

En casos como este, en los que un respaldo finaliza correctamente, los datos se conservan como un respaldo “PARCIAL”.

• Avamar: Funcionalidad de respaldo parcial y prácticas recomendadas para los respaldos iniciales

Si bien los registros de respaldos parciales indican el rendimiento del respaldo, un análisis exhaustivo requiere un registro de un respaldo completo.


Compruebe el registro para ver si hay problemas de dimensionamiento de la caché de archivos o la caché de hashes:

• Consulte Avamar: Cómo comprobar el registro de Avamar Client en busca de problemas de dimensionamiento de la caché de archivos o la caché de hashes

Compruebe si los parámetros de regulación se transfieren a avtar:
La regulación de la red o la CPU de avtar reducen en gran medida el rendimiento del respaldo. 
Consulte Avamar: Cómo regular el consumo de recursos del sistema (CPU, red, I/O y memoria) de Avamar Client.

Esto se puede detectar en el registro de respaldo.

2013-09-06 14:22:13 avtar Info <6557>: Network bandwidth throttling is enabled, limiting to approx. 0.512 Mbps (62.50 KB/sec)
2013-09-06 14:22:13 avtar Info <6558>: CPU throttling is enabled, limiting CPU usage to approx. 70%

¿Existe algún cuello de botella de memoria o CPU de Avamar Client?
Un respaldo de Avamar se ejecuta tan rápido como lo permita el hardware y compite con otros servicios por los recursos. Tenga en cuenta el “trabajo diario” del cliente y cuándo está ocupado. 

Monitoree el cliente mediante el Administrador de tareas o el Explorador de procesos (en Windows) o el comando “top” (UNIX o Linux). Estos pueden revelar si se produce una saturación de CPU durante el respaldo. 

Dell tiene una herramienta interna llamada “LogAnalyzer” que muestra el consumo de recursos y el rendimiento a lo largo del tiempo. Trabaje con el soporte para utilizarla.

Los archivos de caché se cargan en la memoria durante el respaldo. Compruebe el uso de la memoria del cliente para observar si hay fallas de página o indicios de que al cliente le falta RAM.

Esto no supone un problema menor, ya que los clientes de Avamar v7.x para Data Domain aprovechan la “caché de paginación” (f_cache2.dat).
La caché de paginación reduce el espacio físico de memoria en un cliente en comparación con la caché de avtar “monolítica” tradicional.


Compruebe si hay un cuello de botella de I/O en el cliente:
Después del dimensionamiento de la caché del cliente, el siguiente factor que determina el rendimiento del respaldo es el sistema de almacenamiento que aloja los datos de respaldo y los suministra a avtar.


Asegúrese de que el almacenamiento de destino esté en buen estado:
Asegúrese de que no haya problemas con el dispositivo de almacenamiento de destino que impidan un rendimiento óptimo. 
 

Asegúrese de que el software de otros fabricantes no compita con avtar para las I/O:
¿Hay alguna aplicación en el cliente que compita con Avamar Client por las I/O de almacenamiento?
El escaneo en el acceso o el software antivirus en tiempo real afectan considerablemente el rendimiento de Avamar Client.  

• El rendimiento de la copia de seguridad de Avamar Client se ve afectado en gran medida por el escaneo de archivos en tiempo real del software antivirus

• Uso del paralelismo de volúmenes para mejorar el rendimiento del respaldo de Avamar

Asegúrese de que el cliente no respalde datos mediante CIFS o NFS:
El respaldo de datos de CIFS o NFS solo se soporta a través de un acelerador NDMP. 

• Avamar y la compatibilidad con recursos compartidos de red asignados de CIFS (SMB) y NFS. 

Compruebe si la compresión o el cifrado de almacenamiento están en uso:
El rendimiento de respaldo puede ser menor de lo esperado si los datos de destino residen en un almacenamiento de destino donde los datos se comprimen o se cifran a nivel del sistema de archivos.  


Análisis de cuellos de botella de recursos de clientes de Windows con Perfmon:
En el siguiente artículo, se brinda información para crear gráficos de rendimiento a fin de comprender si el cliente está esperando un recurso en particular en un momento determinado. Considere el uso con los gráficos producidos por la herramienta LogAnalyzer.

• Avamar: Uso de Perfmon de Microsoft Windows para monitorear el rendimiento de Avamar Client 

Respaldo de archivos .pst de Outlook
Un respaldo con archivos .pst múltiples o de gran tamaño puede funcionar con lentitud. 

• Consideraciones de rendimiento cuando se utiliza Avamar para respaldar archivos .pst de Outlook

Análisis comparativo del rendimiento de almacenamiento
Compruebe el rendimiento del dispositivo de almacenamiento donde se alojan los datos de destino.

• Pruebas de rendimiento de disco para clientes Linux de Avamar 

Rendimiento de respaldo deficiente debido a los datos que se respaldan:
Una causa común de los respaldos lentos es la característica de los datos que se respaldan.


Compruebe si existen muchos datos nuevos o modificados:

• Avamar: Un respaldo es lento o genera errores “Time out - end” debido a una gran cantidad de datos nuevos o modificados  

Algunos archivos nuevos o modificados grandes pueden provocar que una copia de respaldo habitualmente rápida supere la ventana de respaldo. Para identificar esos archivos, consulte lo siguiente:

• Avamar: Cómo utilizar los registros del cliente para identificar qué archivos son nuevos o se modificaron desde el respaldo anterior   
• Cómo identificar los archivos que tardaron mucho tiempo en procesarse durante un respaldo de Avamar 

Clientes Windows

• El respaldo de Avamar de un conjunto de datos con muchos enlaces simbólicos se ejecuta muy lentamente  
• Rendimiento de Avamar Client y compresión de Windows NTFS 

Clientes Linux y UNIX: Compruebe si el conjunto de datos del cliente contiene archivos dispersos grandes. 

• Avamar y archivos dispersos 
• El tamaño de respaldo de un cliente Linux de Avamar puede ser confuso debido a “/var/log/lastlog” y al comportamiento de manejo de archivos dispersos de Avamar 

Revise las líneas de resumen del respaldo para comprender el alcance del respaldo e identificar los valores atípicos:
Busque las cadenas “Backup #” o “Backed-up” en el registro de respaldo.

2017-06-07 20:21:38 avtar Info <5156>: Backup #441 timestamp 2017-06-07 20:21:38, 2,653,523 files, 255,181 folders, 1,566 GB (10,777 files, 668.4 MB, 0.04% new)
2017-06-07 20:21:38 avtar Info <6083>: Backed-up 1,566 GB in 1281.60 minutes: 73 GB/hour (124,228 files/hour)

Estos pueden ahorrarle mucho tiempo a la hora de investigar el rendimiento de las copias de seguridad.
Para el resultado anterior, considere lo siguiente:

1. Si se trata de un respaldo inicial o de nivel 1. (Poco probable, ya que la etiqueta de respaldo es #441)
2. Si la cantidad de archivos en el respaldo es razonable. (2,6 millones de archivos es un número razonable)
3. La relación archivo-carpeta. (Es 10:1; esto es típico)
4. La cantidad total de datos en el conjunto de datos. (~1,5 TB)
5. La cantidad de archivos que se procesarán y la proporción de la cantidad total de archivos. (~11 000 de 2,5 millones de archivos es razonable)
6. El tamaño total de todos los archivos que se procesarán. (Esto solo puede ser una estimación)
7. La cantidad de datos modificados que se enviarán a Avamar Server. (668 MB)
8. Si la tasa de cambio es razonable. Se pueden tolerar tasas de cambio más altas para conjuntos de datos más pequeños (0,04 % es razonable)
9. Si el rendimiento por hora, dado el tamaño y el alcance generales del respaldo, es razonable. (124 000 archivos/hora se consideraría un rendimiento lento dadas las otras cifras)

Con frecuencia, estos detalles proporcionan suficientes datos para comprender la causa del rendimiento de respaldo deficiente.
De ser necesario, revise los mensajes de líneas de estado que se generan durante la ejecución del respaldo.

Determine si alguno de los valores de estas dos líneas de registro es atípico. En otras palabras, ¿son más grandes o más pequeños de lo habitual?
Si está familiarizado con el comportamiento del respaldo, es más fácil detectar anomalías.


Relación de archivo a carpeta
La mayoría de los conjuntos de datos del cliente tienen una relación de archivo a carpeta de aproximadamente 10:1 y avtar está optimizado para reflejar esto.
Si un conjunto de datos tiene una relación de archivo a carpeta baja, como en el ejemplo que aparece a continuación, es posible que el respaldo no se ejecute de manera tan eficiente sin ajustes menores.  

2015-11-18 00:34:32 avtar Info <5156>: Backup #75 timestamp 2015-11-18 00:24:43, 4,007,032 files, 1,974,043 folders, 1,589 GB (2,680 files, 419.4 MB, 0.03% new)

Consulte Ajuste del rendimiento de respaldo de Avamar Client para conjuntos de datos con una relación archivo-carpeta baja.

Análisis de rendimiento mediante el registro de Mensajes de información de estado de avtar:
Mediante el editor de texto Notepad++ u otro similar, filtre el registro para ver las líneas de información de avtar que incluyen los mensajes de estado. Se pueden filtrar mediante las entradas de código con <5100> u <8688> según la versión de Avamar Client. Estas líneas son mensajes de estado periódicos que informa avtar.

• Avamar: Cómo interpretar las líneas de estado del registro de respaldo de avtar.  

• El respaldo de Avamar se ejecuta lento debido a que un software de otro fabricante modifica los metadatos de archivos que de otra forma no se modifican 

Revise el uso de los parámetros include y exclude. Evite las instrucciones “include”:
En la Guía de prácticas operativas recomendadas, se analizan las listas de include y exclude. 

Avamar debe comparar cada archivo en el conjunto de datos de respaldo con ambas listas para determinar si se debe respaldar el archivo. Este proceso de comparación agrega sobrecarga y puede aumentar el tiempo de ejecución del respaldo.

Compruebe el directorio de avsar del cliente para ver si hay un avtar.cmd.
Compruebe si ese archivo incluye instrucciones --exclude o --exclude-from-file activas.
Si se excluye un directorio o sistema de archivos, pero se utilizan marcas de include, avtar lo escanea en busca de elementos que se le indicó como “include”.

Compruebe si el conjunto de datos contiene puntos de repetición de análisis o archivos stub:
Tenga cuidado si un conjunto de datos incluye archivos stub o punteros a datos almacenados en otro dispositivo.
El rendimiento del respaldo se ve afectado si avtar tiene que esperar a que se recupere el archivo remoto.
Algunos ejemplos de este tipo de software son: Enterprise Vault Archiver, Moonwalk y DiskXtender.

• El rendimiento de respaldo de Avamar del respaldo del plug-in winclusterfs es deficiente después de la actualización de 7.0 a 7.2.

Respaldos de clientes virtuales con una instalación de invitado de Avamar

• El respaldo de invitado de Avamar en la máquina virtual se ejecuta lentamente y se agota el tiempo de espera debido a un cuello de botella de recursos de hardware  
• El respaldo de invitado de cliente en la máquina virtual de Avamar experimenta un rendimiento lento debido a la seguridad profunda de Trend Micro para VMware vShield Endpoint  

• Avamar: Rendimiento de respaldo deficiente en el respaldo del plug-in winclusterfs después de actualizar de 7.0 a 7.2 

Otras notas

• Asegúrese de que los clientes de máquinas virtuales no tengan límites de recursos ni que cumplan con estrictas limitaciones de hardware que afecten la capacidad de que se complete rápidamente el respaldo de Avamar.  En máquinas ocupadas, el sistema operativo puede estar sobrecargado o manejar demasiados subprocesos, lo que provoca cambios de contexto graves.
• Use la Guía de prácticas operativas recomendadas de Avamar para optimizar el sistema Avamar, la programación de respaldos y el ajuste de las cachés de cliente.

Otras referencias

• Rendimiento de Avamar Client y compresión de Windows NTFS