Avamar: NDMP-back-up mislukt met Fatale signaal 11 segmentatiefout door gebruik van volumegeheugen

Indicaties voor back-upfouten

De volgende symptomen worden waargenomen wanneer een Avamar NDMP-back-up een segmentatiefout (signaal 11) tegenkomt:

• De back-uptaak wordt afgebroken met een fatale foutmelding die lijkt op:

2017-10-13 19:42:00 avtar FATAL <5889>: Fatal signal 11 in pid 31103

• Logboekvermeldingen tonen ongewoon grote gegevenssets die worden verwerkt, bijvoorbeeld:

avtar Info <8688>: Status 2017-10-13 19:32:37, 3,050,352 files, 2,419,299 directories, 5,119 GB (3,050,352 files, 1.913 GB, 41.42% new) 15049MB 60% CPU (1 open files)

• Er wordt een hoog geheugenverbruik gemeld, vaak meer dan 15 GB RAM/SWAP voor een enkele back-upstream.
• Er zijn talloze NDMP-streams actief (maximaal 8 per client), die elk mogelijk 2 GB of meer geheugen gebruiken.
• Er kunnen meerdere grote back-ups tegelijk worden uitgevoerd, waardoor de algehele systeembelasting toeneemt.
• Het betreffende volume bevat miljoenen bestanden en mappen (bijvoorbeeld 3 miljoen bestanden in 2,4 miljoen mappen met 5,1 TB aan gegevens).
• Zelfs wanneer slechts een kleine hoeveelheid gegevens is gewijzigd (zoals 1,9 GB), probeert het back-upproces elk bestand van de NAS te verzenden voor verwerking.

Onderliggende factoren die het fatale signaal veroorzaakten 11.

Signaal 11 (segmentatiefout) wordt gegenereerd wanneer een proces toegang krijgt tot geheugen dat er niet aan is toegewezen. De volgende omstandigheden veroorzaakten deze gebeurtenis rechtstreeks tijdens de Avamar NDMP-back-up:

• Meerdere grote NDMP-back-ups werden tegelijkertijd uitgevoerd.
• Eén back-up verwerkte 3.050.352 bestanden en 2.419.299 mappen, in totaal 5,1 TB aan gegevens, terwijl slechts 1,9 GB van die gegevens was gewijzigd.
• Elke NDMP-stream kan ≥ 2 GB geheugen gebruiken. De client mocht maximaal 8 streams uitvoeren en er waren meerdere clients tegelijk actief, wat leidde tot een hoge totale geheugenvraag.
• Het back-upproces gebruikte voor de crash ongeveer 15 GB RAM/SWAP.
• Avamar beperkt het aantal streams per client, maar dwingt GEEN algemene limiet af voor het totale aantal streams. Hierdoor kan het gecombineerde geheugengebruik de beschikbare bronnen overschrijden.

Deze geheugenintensieve omstandigheden zorgden ervoor dat het avtar-proces een segmentatiefout ondervond, die in het logboek werd vastgelegd als:

2017-10-13 19:42:00 avtar FATAL <5889>: Fatal signal 11 in pid 31103

Oplossen van Avamar NDMP-back-upfouten veroorzaakt door signaal 11 (segmentatiefout)

Stap 1 - Beoordeel de huidige back-upbelasting.

Gebruik de Avamar Administrator console of CLI om volumes te identificeren die grote NDMP-back-ups genereren.

Maak een lijst van actieve NDMP-taken en hun resourcegebruik:

$ avtar -listjobs -type ndmp

 Stap 2 - Verminder gelijktijdige volumeback-ups.

• Beperk het aantal volumes waarvan tegelijkertijd een back-up wordt gemaakt om overmatig RAM/SWAP-verbruik te voorkomen.
• Bewerk in de Avamar Administrator het back-upschema en deselecteer overlappende vensters.

Stap 3 - Splits grote volumes op in kleinere subvolumes

• Identificeer volumes met meer dan 3 miljoen bestanden of meer dan 5 TB aan data (zoals in het voorbeeld).
• Maak logische subvolumes een niveau lager in de mappenstructuur.
• Configureer elk subvolume als een afzonderlijke NDMP-client in Avamar.
  •  Voorbeeld: Een nieuwe NDMP-client maken voor een submap

$ avtar -addclient -name subvol1 -path /data/level2/subvol1

 Stap 4 - Pas de NDMP-streaminstellingen aan.

• Verhoog het maximale aantal NDMP-streams per client als de NAS dit ondersteunt.
• In de NAS NDMP-configuratie verhoogt u de streamlimiet waar mogelijk van de standaard 4 naar 8.

Stap 5 - Beperk bestanden per stream

• Stel bij het maken van back-upbeleid een lagere drempelwaarde voor bestanden per stream in om de geheugenvoetafdruk van elke stream op minder dan 2 GB te houden.
• Gebruik de beleidsregels van de Avamar Administrator → → Advanced Settings om deze waarde aan te passen.

Stap 6 - Bewaak het geheugengebruik tijdens back-ups

• Bekijk het RAM- en swapverbruik op de Avamar-server terwijl de back-up wordt uitgevoerd.
• Zorg ervoor dat het gebruik ruim onder het totale beschikbare geheugen blijft (bijvoorbeeld minder dan 12 GB voor een taak van 15 GB).
  • Real-time geheugenbewaking

$ top -b -n 1 | grep avtar

 Stap 7 - Valideer de oplossing

• Voer de eerder mislukte back-up opnieuw uit.
• Controleer of het logboek niet langer de Fatal signal 11 Bericht.
• Controleer of de back-up is voltooid en of de gerapporteerde datagrootte overeenkomt met de verwachtingen.
  •  Controleer het meest recente back-uplogboek op fouten

$ tail -n 50 /var/log/avtar/backup.log