Avamar: NDMP-sikkerhedskopiering mislykkes med Fatal signal 11-segmenteringsfejl fra brug af diskenhedshukommelse

Indikationer af backupfejl

Følgende symptomer observeres, når en Avamar NDMP-sikkerhedskopiering støder på en segmenteringsfejl (signal 11):

• Sikkerhedskopieringsjob afbrydes med en fatal fejlmeddelelse i stil med:

2017-10-13 19:42:00 avtar FATAL <5889>: Fatal signal 11 in pid 31103

• Logposter viser usædvanligt store datasæt, der behandles, f.eks.:

avtar Info <8688>: Status 2017-10-13 19:32:37, 3,050,352 files, 2,419,299 directories, 5,119 GB (3,050,352 files, 1.913 GB, 41.42% new) 15049MB 60% CPU (1 open files)

• Der rapporteres om et højt hukommelsesforbrug, der ofte overstiger 15 GB RAM/SWAP for en enkelt backupstream.
• Adskillige NDMP-streams er aktive (op til 8 pr. klient) og bruger hver potentielt 2 GB hukommelse eller mere.
• Flere store sikkerhedskopier kan køre samtidigt, hvilket øger den samlede systembelastning.
• Den berørte enhed indeholder millioner af filer og mapper (f.eks. 3 M-filer i 2,4 M-mapper, der dækker 5,1 TB data).
• Selv når kun en lille mængde data er ændret (f.eks. 1,9 GB), forsøger sikkerhedskopieringsprocessen at sende hver fil fra NAS'en til behandling.

Underliggende faktorer, der udløste det fatale signal 11.

Signal 11 (segmenteringsfejl) genereres, når en proces får adgang til hukommelse, der ikke er tildelt den. Følgende forhold forårsagede denne hændelse direkte under Avamar NDMP-sikkerhedskopieringen:

• Flere store NDMP-sikkerhedskopier kørte samtidigt.
• En sikkerhedskopi behandlede 3.050.352 filer og 2.419.299 mapper, i alt 5,1 TB data, mens kun 1,9 GB af disse data var ændret.
• Hver NDMP-stream kan forbruge ≥ 2 GB hukommelse. Klienten fik tilladelse til op til 8 streams, og flere klienter var aktive samtidigt, hvilket førte til et højt samlet hukommelsesbehov.
• Sikkerhedskopieringsprocessen brugte ca. 15 GB RAM/SWAP før nedbruddet.
• Avamar begrænser antallet af streams pr. klient, men håndhæver IKKE en global grænse for det samlede antal streams. Dette gør det muligt for det samlede hukommelsesforbrug at overstige de tilgængelige ressourcer.

Disse hukommelsesintensive forhold forårsagede, at avtarprocessen stødte på en segmenteringsfejl, registreret i loggen som:

2017-10-13 19:42:00 avtar FATAL <5889>: Fatal signal 11 in pid 31103

Rettelse af Avamar NDMP-sikkerhedskopieringsfejl forårsaget af signal 11 (segmenteringsfejl)

Trin 1 - Vurder den aktuelle backupbelastning.

Brug Avamar Administrator Console eller CLI til at identificere diskenheder, der genererer store NDMP-sikkerhedskopier.

Angiv en liste over aktive NDMP-job og deres ressourceforbrug:

$ avtar -listjobs -type ndmp

 Trin 2 - Reducer samtidige volumensikkerhedskopier.

• Begræns antallet af diskenheder, der sikkerhedskopieres samtidigt, for at undgå for stort RAM/SWAP-forbrug.
• Rediger sikkerhedskopieringsplanen i Avamar-administratoren, og fravælg overlappende vinduer.

Trin 3 – Opdel store diskenheder i mindre underdiskenheder

• Identificer diskenheder med mere end 3 millioner filer eller mere end 5 TB data (som i eksemplet).
• Opret logiske undervolumener et niveau lavere i mappetræet.
• Konfigurer hver underdiskenhed som en separat NDMP-klient i Avamar.
  •  Eksempel: Oprette en ny NDMP-klient til en undermappe

$ avtar -addclient -name subvol1 -path /data/level2/subvol1

 Trin 4 - Juster NDMP-streamindstillinger.

• Forøg det maksimale antal NDMP-streams pr. klient, hvis NAS'en understøtter det.
• I NAS NDMP-konfigurationen skal du hæve streaminggrænsen fra standard 4 til 8, hvor det er muligt.

Trin 5 – Begræns filer pr. stream

• Når du opretter sikkerhedskopieringspolitikker, skal du angive en lavere tærskel for "filer pr. stream" for at holde hver streams hukommelsesfodaftryk på mindre end 2 GB.
• Brug Avamar Administrator → Policies → Advanced Settings til at justere denne værdi.

Trin 6 – Overvåg hukommelsesforbruget under sikkerhedskopieringer

• Se RAM, og byt om på forbruget på Avamar-serveren, mens sikkerhedskopieringen kører.
• Sørg for, at forbruget forbliver et godt stykke under den samlede tilgængelige hukommelse (f.eks. mindre end 12 GB for et 15 GB-job).
  • Hukommelsesovervågning i realtid

$ top -b -n 1 | grep avtar

 Trin 7 – Godkend rettelsen

• Kør den tidligere mislykkede sikkerhedskopiering igen.
• Bekræft, at loggen ikke længere indeholder Fatal signal 11 budskab.
• Kontrollér, at sikkerhedskopieringen fuldføres, og at den rapporterede datastørrelse svarer til forventningerne.
  •  Kontroller den seneste sikkerhedskopieringslog for fejl

$ tail -n 50 /var/log/avtar/backup.log