Avamar : Échec de la sauvegarde NDMP avec signal fatal 11 d’erreur de segmentation due à l’utilisation de la mémoire du volume

Indications d’échec de sauvegarde

Les symptômes suivants sont observés lorsqu’une sauvegarde NDMP Avamar rencontre une panne de segmentation (signal 11) :

• La procédure de sauvegarde s’interrompt avec un message d’erreur fatale semblable à :

2017-10-13 19:42:00 avtar FATAL <5889>: Fatal signal 11 in pid 31103

• Les entrées de journal affichent des jeux de données en cours de traitement anormalement volumineux, par exemple :

avtar Info <8688>: Status 2017-10-13 19:32:37, 3,050,352 files, 2,419,299 directories, 5,119 GB (3,050,352 files, 1.913 GB, 41.42% new) 15049MB 60% CPU (1 open files)

• Une consommation de mémoire élevée est signalée, dépassant souvent 15 Go de RAM/SWAP pour un seul flux de sauvegarde.
• De nombreux flux NDMP sont actifs (jusqu’à 8 par client), chacun utilisant potentiellement 2 Go ou plus de mémoire.
• Plusieurs sauvegardes volumineuses peuvent s’exécuter simultanément, ce qui augmente la charge globale du système.
• Le volume concerné contient des millions de fichiers et de répertoires (par exemple, 3 millions de fichiers dans 2,4 millions de répertoires couvrant 5,1 To de données).
• Même lorsque seule une petite quantité de données a changé (par exemple, 1,9 Go), le processus de sauvegarde tente d’envoyer chaque fichier à partir du NAS pour traitement.

Facteurs sous-jacents qui ont déclenché le signal fatal 11.

Le signal 11 (défaut de segmentation) est généré lorsqu’un processus accède à une mémoire qui ne lui est pas allouée. Les conditions suivantes ont directement provoqué cet événement lors de la sauvegarde NDMP d’Avamar :

• Plusieurs sauvegardes NDMP volumineuses étaient en cours d’exécution simultanément.
• Une sauvegarde a traité 3 050 352 fichiers et 2 419 299 répertoires, soit un total de 5,1 To de données, alors que seulement 1,9 Go de ces données avaient été modifiés.
• Chaque flux NDMP peut consommer ≥ 2 Go de mémoire. Le client était autorisé à utiliser jusqu’à 8 flux, et plusieurs clients étaient actifs simultanément, ce qui entraînait une forte demande de mémoire agrégée.
• Le processus de sauvegarde utilisait environ 15 Go de RAM/SWAP avant la panne.
• Avamar limite le nombre de flux par client, mais n’applique PAS de limite globale sur le nombre total de flux. Cela permet à l’utilisation combinée de la mémoire de dépasser les ressources disponibles.

Ces conditions gourmandes en mémoire provoquaient une erreur de segmentation du processus avtar, enregistrée dans le journal comme suit :

2017-10-13 19:42:00 avtar FATAL <5889>: Fatal signal 11 in pid 31103

Correction des échecs de sauvegarde NDMP Avamar causés par Signal 11 (erreur de segmentation)

Étape 1 : évaluer la charge de sauvegarde actuelle.

Utilisez la console Avamar Administrator ou l’interface de ligne de commande pour identifier les volumes qui génèrent des sauvegardes NDMP volumineuses.

Répertoriez les tâches NDMP actives et leur utilisation des ressources :

$ avtar -listjobs -type ndmp

 Étape 2 - Réduire les sauvegardes de volume simultanées.

• Limitez le nombre de volumes sauvegardés simultanément afin d’éviter une consommation excessive de RAM/SWAP.
• Dans Avamar Administrator, modifiez la planification de sauvegarde et désélectionnez les fenêtres qui se chevauchent.

Étape 3 - Diviser les gros volumes en sous-volumes plus petits

• Identifiez les volumes comportant plus de 3 millions de fichiers ou plus de 5 To de données (comme dans l’exemple).
• Créez des sous-volumes logiques un niveau plus bas dans l’arborescence de répertoires.
• Configurez chaque sous-volume en tant que client NDMP distinct dans Avamar.
  •  Exemple : Créer un nouveau client NDMP pour un sous-répertoire

$ avtar -addclient -name subvol1 -path /data/level2/subvol1

 Étape 4 : ajustez les paramètres de flux NDMP.

• Augmentez le nombre maximal de flux NDMP par client si le NAS le prend en charge.
• Dans la configuration NDMP du NAS, augmentez la limite de flux de 4 à 8 par défaut si possible.

Étape 5 - Limiter les fichiers par flux

• Lorsque vous créez des règles de sauvegarde, définissez un seuil inférieur de « fichiers par flux » afin de limiter l’encombrement mémoire de chaque flux.
• Utilisez Avamar Administrator → Policies → Advanced Settings pour ajuster cette valeur.

Étape 6 : surveiller l’utilisation de la mémoire pendant les sauvegardes

• Surveillez la consommation de RAM et de swap sur l’instance d’Avamar Server pendant l’exécution de la sauvegarde.
• Assurez-vous que l’utilisation reste bien en deçà de la mémoire totale disponible (par exemple, moins de 12 Go pour une tâche de 15 Go).
  • Surveillance de la mémoire en temps réel

$ top -b -n 1 | grep avtar

 Étape 7 : valider le correctif

• Exécutez à nouveau la sauvegarde qui a échoué précédemment.
• Vérifiez que le log ne contient plus le Fatal signal 11 message.
• Vérifiez que la sauvegarde s’est terminée avec succès et que la taille des données signalée correspond aux attentes.
  •  Recherchez les erreurs dans le dernier journal de sauvegarde.

$ tail -n 50 /var/log/avtar/backup.log