Avamar : Dépannage de performances d’une sauvegarde lente

  
Symptômes typiques d’un ralentissement des performances de sauvegarde :

• La sauvegarde ne parvient pas à se terminer dans la fenêtre planifiée. Le moniteur d’activité signale « Client time out - end »
• La sauvegarde ne peut pas démarrer avant la fin de la fenêtre planifiée. Le moniteur d’activité signale « Client time out - start »
• Le nettoyage de la mémoire échoue régulièrement avec MSG_ERR_BACKUPSINPROGRESS ou MSG_ERR_TRYAGAINLATER 

Collecte d’informations :
recueillez des informations détaillées sur le problème : 

• Informations requises par le support lors de la procédure d’enquête sur les problèmes de performances de sauvegarde d’Avamar Client.

Déterminez quelle partie de la chaîne de sauvegarde présente le goulot d’étranglement le plus grave :
Vous trouverez ci-dessous un schéma présentant les principaux composants d’un système de sauvegarde.  


Les goulots d’étranglement existent toujours. Mais l’essentiel, c’est de savoir où ils se situent.
Si nous y parvenons et que nous atténuons le goulot, les performances devraient s’améliorer. 
Une fois ce goulot atténué, un autre peut alors apparaître. Notre objectif final est de parvenir à une situation où la durée de sauvegarde est acceptable. 


Goulots d’étranglement côté Avamar Server :
Si TOUTES les sauvegardes sur Avamar Server sont lentes, envisagez la possibilité d’un problème côté serveur.  
Si toutes les sauvegardes sur Avamar Server sont lentes à certains moments de la journée, envisagez un conflit côté serveur ou un goulot d’étranglement réseau.
S’il s’agit d’un problème de performances affectant un ou quelques clients de sauvegarde, concentrez-vous sur chaque client individuellement.


État du serveur :
en bon état, Avamar Server est peu susceptible d’être un goulot d’étranglement pour les sauvegardes. 

Vérifiez l’intégrité du serveur de sauvegarde.  

• Avamar : Comment exécuter le script de bilan de santé proactive_check.pl sur un serveur Avamar Server (en anglais)
• Si des sauvegardes sont envoyées à Data Domain, vérifiez les informations d’autosupport DD ou contactez le support Data Domain pour vérifier le bon fonctionnement.

Avamar limite les connexions client afin de maintenir un niveau de performances acceptable.


Conflit serveur :

si les performances de sauvegarde sont médiocres à certains moments de la journée, cela peut indiquer un conflit d’accès aux ressources.

• Le script « sched.sh » pour produire une représentation visuelle des activités exécutées en parallèle avec la sauvegarde lente.
• Voir Avamar : Utilisation du script sched.sh pour vérifier l’historique de l’activité de sauvegarde, de réplication et de maintenance sur un Avamar server.
• Vérifiez les tâches de maintenance en cours en exécutant status.dpn
• Vérifiez le nombre de sessions client actives

  • admin@utilitynode:~/>: avmaint session | grep path | wc -l

• Planifiez les plannings de maintenance et de sauvegarde afin qu’ils ne se chevauchent pas.
• Vérifiez la sortie des commandes status.dpn et top pour vérifier la charge sur les nœuds de données
• Exécutez mapall « iostat -x » sur les nœuds de données. Vérifiez les valeurs %iowait, %IDLE et %util pour voir si la bande passante d’E/S d’un disque est saturée.
• Pour isoler les performances d’un client spécifique, effectuez un test de sauvegarde lorsque Avamar Server n’exécute pas de tâches de maintenance, d’autres sauvegardes ou de réplication.

Performance de l’ingestion de sauvegarde Data Domain :
connectez-vous au portail de support Dell et consultez :

• Data Domain : DDPCONNCHK Dépannage de la connectivité et des performances de Data Domain DDBoost

Goulots d’étranglement côté réseau :
Le réseau peut être un goulot d’étranglement si un client est sauvegardé sur un réseau WAN.

Latence de réseau :
Cela affecte la vitesse à laquelle les clients peuvent vérifier si des hachages sont présents sur Avamar Server.  

• Éxécutez la commande ping du client vers Avamar Server et vérifiez la perte de paquets et la latence du réseau

2014-11-20 04:45:30 avtar Info <5156>: Backup #1180 timestamp 2014-11-20 04:45:28, 23 files, 5 folders, 291.7 GB (23 files, 4.316 GB, 1.48% new) 

Si le client et le serveur sont séparés par un WAN, le lien est-il capable de transmettre les données nécessaires dans la fenêtre de sauvegarde ?
Dans ce cas, les données à transmettre représentent 4 316 Go.

Ces valeurs sont toutes interconnectées :

• Quantité de nouvelles données de sauvegarde
• Temps disponible pour la sauvegarde
• Bande passante réseau effective

Une grande quantité de nouvelles données nécessite davantage de bande passante réseau ou un temps de sauvegarde plus long.
Ces facteurs ont des limites pratiques, mais peuvent être partiellement contrôlés par l’utilisateur.
Réfléchissez à la possibilité d’agir sur l’un d’eux pour permettre une sauvegarde dans les délais.


Si vous suspectez un goulot d’étranglement réseau ou un problème de communication avec le serveur :
Vérifiez le débit réseau entre le client et le périphérique de sauvegarde. 

• Avamar : exécution d’iperf entre deux systèmes Avamar pour tester les performances de débit du réseau

Activez la journalisation avtar comstats pour faciliter le dépannage.

• Avamar : Activation et interprétation de la journalisation avtar COMSTATS pour diagnostiquer les problèmes de communication

Goulots d’étranglement côté client :

• Échec de la sauvegarde Avamar avec le message « Time Out - End », car elle est toujours en train d’exécuter une sauvegarde initiale

Vérifiez que la sauvegarde n’a pas été annulée prématurément :
Recherchez « annulé » dans le journal de sauvegarde. Ci-dessous, un utilisateur impatient a annulé une sauvegarde L1.
 

2013-11-05 12:15:29 avtar Info <5157>: PARTIAL Backup #14 timestamp 2011-11-05 12:13:36, 2,030 files, 562 folders, 397.3 MB (691 files, 17.44 MB, 4.39% new)
2013-11-05 12:15:29 avtar Info <7539>: Label "MOD-xxxxxxxxxx", scheduled to expire 11/12/11, none backup
2013-11-05 12:15:29 avtar Info <6083>: Backed-up 397.3 MB in 1.36 minutes: 17 GB/hour (89,593 files/hour)
2013-11-05 12:15:29 avtar Info <7883>: Finished at 2011-11-05 12:15:29 GMT Standard Time, Elapsed time: 0000h:01m:21s
2013-11-05 12:15:29 avtar Info <8468>: Sending wrapup message to parent
2013-11-05 12:15:29 avtar Info <5314>: Command failed (exit code 10013: Externally canceled)

Dans ce cas, lorsqu’une sauvegarde se termine normalement, les données sont conservées en tant que sauvegarde « PARTIELLE ».

• Avamar : Fonctionnalité de sauvegarde partielle et pratiques d’excellence pour les sauvegardes initiales

Même si les journaux de sauvegardes partielles fournissent une indication des performances de sauvegarde, une analyse complète nécessite un journal à partir d’une sauvegarde complète.


Recherchez des problèmes de dimensionnement du cache de fichier ou du cache de hachage dans le journal :

• Voir Avamar : vérification du journal Avamar Client pour les problèmes de cache de fichier ou de dimensionnement du cache de hachage

Vérifiez si des options de limitation sont transmises à avtar :
Une limitation du processeur ou du réseau par avtar réduit considérablement les performances de sauvegarde. 
Voir Avamar : Comment réguler la consommation des ressources système d’un client Avamar (CPU, réseau, E/S et mémoire).

Cela peut être détecté dans le journal de sauvegarde.

2013-09-06 14:22:13 avtar Info <6557>: Network bandwidth throttling is enabled, limiting to approx. 0.512 Mbps (62.50 KB/sec)
2013-09-06 14:22:13 avtar Info <6558>: CPU throttling is enabled, limiting CPU usage to approx. 70%

Constatez-vous un goulot d’étranglement au niveau du processeur ou de la mémoire d’Avamar Client ?
Une sauvegarde Avamar s’exécute aussi rapidement que le permet le matériel, tout en partageant les ressources avec d’autres services. Être attentif au « travail quotidien » du client et à la période où il est le plus occupé. 

Surveillez le client à l’aide du Gestionnaire des tâches, de l’Explorateur de processus (sous Windows) ou de la commande « top » (UNIX ou Linux). Cela peut révéler une saturation du processeur lors de la sauvegarde. 

Dell dispose d’un outil interne « LogAnalyzer » qui analyse la consommation et les performances des ressources au fil du temps. Pour l’utiliser, contactez le Support.

Les fichiers de cache sont chargés en mémoire pendant la sauvegarde. Utilisez la mémoire du client pour détecter les erreurs de page ou les indices indiquant que le client manque de RAM.

Ce problème est moins fréquent avec les clients Avamar v7.x utilisant Data Domain, qui exploitent le « cache paginé » (f_cache2.dat).
Le cache paginé réduit l’empreinte mémoire sur le client par rapport au cache avtar « monolithique » traditionnel.


Vérifiez l’existence d’un goulot d’étranglement en E/S côté client :
Après le dimensionnement du cache client, le facteur suivant déterminant les performances de sauvegarde est le système de stockage hébergeant les données de sauvegarde et qui les transmet à avtar.


Assurez-vous que le stockage cible est en bon état :
Vérifiez qu’aucun problème n’affecte le périphérique de stockage cible et ne nuise à ses performances. 
 

Assurez-vous qu’aucun logiciel tiers n’interfère avec avtar pour les E/S :
Certaines applications côté client interfèrent-elles avec Avamar Client pour l’accès aux E/S du stockage ?
La protection en temps réel ou l’analyse à l’accès des logiciels antivirus peut avoir un impact considérable sur les performances d’Avamar Client.  

• Les analyses en temps réel des logiciels antivirus affectent considérablement les performances de sauvegarde d’Avamar Client

• Parallélisme des volumes pour améliorer les performances de sauvegarde d’Avamar

Assurez-vous que le client ne sauvegarde pas les données à l’aide de CIFS ou NFS
La sauvegarde des données CIFS ou NFS n’est prise en charge que par le biais d’un accélérateur NDMP. 

• Avamar et la prise en charge des partages réseau mappés CIFS (SMB) et NFS. 

Vérifiez si la compression ou le chiffrement du stockage est en cours d’utilisation
Les performances de sauvegarde peuvent être inférieures à celles attendues si les données cibles se trouvent sur le stockage cible où les données sont compressées ou chiffrées au niveau du système de fichiers.  


Analyse des goulots d’étranglement des ressources sur un client Windows avec Perfmon :
L’article suivant explique comment créer des graphiques de performances afin de déterminer si le client attend une ressource particulière à un moment donné. Pensez à utiliser cette option avec les graphiques générés par l’outil LogAnalyzer.

• Avamar : Utilisation du perfmon de Microsoft Windows pour la surveillance des performances des clients Avamar 

Sauvegarde des fichiers .pst d’archive Outlook
Une sauvegarde contenant de nombreux fichiers .pst ou des fichiers .pst volumineux peut s’exécuter lentement. 

• Considérations relatives aux performances lors de l’utilisation d’Avamar pour sauvegarder les fichiers .pst d’archive Outlook

Analyse comparative des performances de stockage 
Vérifiez les performances de l’appareil de stockage sur lequel les données cibles sont hébergées.

• Tests de performances de disque pour les clients Avamar Linux 

Performances de sauvegarde médiocres en raison des données sauvegardées :
Les caractéristiques des données sauvegardées sont le plus souvent à l’origine de la lenteur des sauvegardes.


Vérifiez s’il existe un grand nombre de données nouvelles ou modifiées :

• Avamar : une sauvegarde est lente ou échoue avec le message « Time out - end » en raison d’un grand nombre de données nouvelles ou modifiées  

Un petit nombre de fichiers volumineux, nouveaux ou modifiés, peut entraîner le dépassement de la fenêtre de sauvegarde lors de l’exécution d’une sauvegarde normalement rapide. Pour identifier ces fichiers, voir :

• Avamar : Utilisation des journaux client pour identifier les fichiers nouveaux ou modifiés depuis la sauvegarde précédente (en anglais)   
• Identification des fichiers qui ont pris beaucoup de temps à être traités lors d’une sauvegarde Avamar (en anglais) 

Clients Windows

• La sauvegarde Avamar du jeu de données contenant de nombreux liens symboliques s’exécute très lentement (en anglais)  
• Performances du client Avamar et compression Windows NTFS 

Clients Linux et UNIX : vérifiez si le jeu de données du client contient des fichiers sparse volumineux. 

• Avamar et fichiers sparse (en anglais) 
• La taille de sauvegarde d’un client Linux Avamar peut être trompeuse en raison du comportement de traitement des fichiers sparse Avamar et « /var/log/lastlog » 

Consulter les lignes récapitulatives de la sauvegarde pour comprendre son périmètre et identifier les valeurs inhabituelles :
Recherchez dans le journal de sauvegarde les chaînes « Backup # » ou « Backed-up ».

2017-06-07 20:21:38 avtar Info <5156>: Backup #441 timestamp 2017-06-07 20:21:38, 2,653,523 files, 255,181 folders, 1,566 GB (10,777 files, 668.4 MB, 0.04% new)
2017-06-07 20:21:38 avtar Info <6083>: Backed-up 1,566 GB in 1281.60 minutes: 73 GB/hour (124,228 files/hour)

Cela peut vous faire gagner beaucoup de temps lorsque vous examinez les performances de sauvegarde.
Pour la sortie ci-dessus, tenez compte des éléments suivants :

1. S’il s’agit d’une sauvegarde initiale ou de niveau 1. (Probablement pas, car l’étiquette de sauvegarde est #441)
2. Si le nombre de fichiers dans la sauvegarde est raisonnable. (2,6 millions de fichiers est un nombre raisonnable)
3. Le rapport fichier/dossier (Il s’agit de 10:1, c’est normal)
4. Quantité totale de données dans le jeu de données. (~1,5 To)
5. Nombre de fichiers à traiter et proportion du nombre total de fichiers. (Environ 11 000 fichiers sur 2,5 millions est un nombre raisonnable)
6. Taille totale de tous les fichiers à traiter. (Il ne peut s’agir que d’une estimation)
7. Quantité de données modifiées à envoyer au serveur Avamar. (668 Mo)
8. Si le taux de modification est raisonnable. Des taux de modification plus élevés peuvent être tolérés pour les jeux de données plus petits (0,04 % est raisonnable)
9. Si les performances par heure, compte tenu de la taille globale et le périmètre de la sauvegarde, sont raisonnables. (124 000 fichiers/heure seraient considérés comme des performances lentes d’après les autres chiffres)

Souvent, ces informations fournissent suffisamment de données pour comprendre la cause des performances de sauvegarde médiocres.
Si nécessaire, examinez les messages des lignes d’état générés tout au long de la sauvegarde.

Déterminez si l’une des valeurs de ces deux lignes de journal est aberrante. Autrement dit, sont-elles plus grandes ou plus petites que d’habitude ?
Si vous connaissez le comportement normal de la sauvegarde, il est plus facile de détecter les anomalies.


Ratio fichiers/dossiers
La plupart des jeux de données client présentent un ratio d’environ 10 fichiers pour 1 dossier, et avtar est optimisé pour refléter cet aspect.
Si un jeu de données présente un faible ratio fichiers/dossiers, comme dans l’exemple ci-dessous, la sauvegarde risque de ne pas s’exécuter aussi efficacement sans un léger réglage.  

2015-11-18 00:34:32 avtar Info <5156>: Backup #75 timestamp 2015-11-18 00:24:43, 4,007,032 files, 1,974,043 folders, 1,589 GB (2,680 files, 419.4 MB, 0.03% new)

Voir Réglage des performances de sauvegarde d’Avamar Client pour les jeux de données présentant un faible rapport fichiers/dossiers.

Analyse des performances à l’aide des messages de statut dans le journal avtar :
Avec Notepad++ ou un outil similaire, filtrez le journal pour afficher uniquement les lignes d’information avtar contenant des messages de statut. Ils peuvent être filtrés à l’aide des entrées de code contenant <5100> ou <8688> en fonction de la version d’Avamar Client. Ces lignes sont des messages d’état périodiques signalés par avtar.

• Avamar : comment interpréter les lignes d’état des journaux de sauvegarde avtar.  

• La sauvegarde Avamar s’exécute lentement en raison de la modification des métadonnées par un logiciel tiers pour les fichiers non modifiés 

Vérifiez l’utilisation dse balises Include et exclude. Évitez les affirmations « include » :
Le guide des pratiques d’excellence opérationnelles aborde les listes Include et Exclude. 

À partir des deux listes, Avamar doit comparer chaque fichier du jeu de données de sauvegarde afin de déterminer s’il convient de sauvegarder le fichier. Ce processus de comparaison ajoute une surcharge et peut augmenter le temps d’exécution de la sauvegarde.

Vérifiez le répertoire avsar du client pour voir s’il contient un fichier avtar.cmd.
Vérifiez si ce fichier contient des instructions actives telles que --exclude ou --exclude-from-file.
Si un répertoire ou un système de fichiers est exclu, mais que des alertes include sont utilisées, avtar le parcourt quand même pour identifier les éléments « à inclure ».

Vérifiez si le jeu de données contient des points de réanalyse ou des fichiers stub de substitution :
Soyez vigilant si un jeu de données contient des fichiers stub de substitution ou des pointeurs vers des données stockées sur un autre périphérique.
Les performances de sauvegarde peuvent être affectées si avtar doit attendre que le fichier distant soit rappelé.
Exemples de logiciels utilisant ce type de fichiers : Enterprise Vault Archiver, Moonwalk et DiskXtender.

• Les performances de sauvegarde Avamar avec le plug-in winclusterfs sont médiocres après la mise à niveau de la version 7.0 vers la version 7.2.

Sauvegardes de clients virtuels avec une installation invité Avamar

• La sauvegarde invité Avamar de la machine virtuelle s’exécute lentement et expire en raison d’un goulot d’étranglement au niveau des ressources matérielles (en anglais)  
• Les performances de la sauvegarde des invités de la machine virtuelle du client Avamar sont ralenties en raison de VMware vShield Endpoint Trend Micro Deep Security (en anglais)  

• Avamar : Mauvaises performances de sauvegarde dans la sauvegarde du plug-in winclusterfs après la mise à niveau vers la version 7.2 à partir de la version 7.0 (en anglais) 

Autres remarques

• Assurez-vous que les clients de machines virtuelles ne sont pas limités par les ressources ou respectent des limitations matérielles strictes qui affectent la capacité de la sauvegarde Avamar à s’effectuer rapidement.  Sur les machines occupées, le système d’exploitation peut être surchargé ou jongler avec un trop grand nombre de threads, ce qui entraîne un changement de contexte grave.
• Utilisez le Guide des pratiques d’excellence opérationnelles d’Avamar pour optimiser le système Avamar, planifier les sauvegardes et régler les caches des clients.

Autres références

• Performances du client Avamar et compression Windows NTFS