Avamar: NDMP-sikkerhetskopiering mislykkes med uopprettelig signal 11 segmenteringsfeil fra bruk av volumminne

Indikasjoner på feil ved sikkerhetskopiering

Følgende symptomer oppstår når en Avamar NDMP-sikkerhetskopi støter på en segmenteringsfeil (signal 11):

• Sikkerhetskopieringsjobben avbrytes med en uopprettelig feilmelding som ligner på:

2017-10-13 19:42:00 avtar FATAL <5889>: Fatal signal 11 in pid 31103

• Loggoppføringer viser uvanlig store datasett som behandles, for eksempel:

avtar Info <8688>: Status 2017-10-13 19:32:37, 3,050,352 files, 2,419,299 directories, 5,119 GB (3,050,352 files, 1.913 GB, 41.42% new) 15049MB 60% CPU (1 open files)

• Høyt minneforbruk rapporteres, ofte over 15 GB RAM/SWAP for en enkelt sikkerhetskopistrøm.
• Mange NDMP-strømmer er aktive (opptil 8 per klient), som hver potensielt bruker 2 GB eller mer minne.
• Flere store sikkerhetskopier kan kjøre samtidig, noe som øker den totale systembelastningen.
• Det berørte volumet inneholder millioner av filer og kataloger (for eksempel 3 M-filer i 2,4 M-kataloger som dekker 5,1 TB data).
• Selv når bare en liten mengde data er endret (for eksempel 1,9 GB), forsøker sikkerhetskopieringsprosessen å sende alle filer fra NAS til behandling.

Underliggende faktorer som utløste det fatale signalet 11.

Signal 11 (segmenteringsfeil) genereres når en prosess får tilgang til minne som ikke er tildelt den. Følgende forhold forårsaket denne hendelsen direkte under Avamar NDMP-sikkerhetskopieringen:

• Flere store NDMP-sikkerhetskopier kjørte samtidig.
• En sikkerhetskopi behandlet 3 050 352 filer og 2 419 299 kataloger, totalt 5,1 TB data, mens bare 1,9 GB av disse dataene var endret.
• Hver NDMP-strøm kan forbruke ≥ 2 GB minne. Klienten ble tillatt opptil 8 strømmer, og flere klienter var aktive samtidig, noe som førte til et høyt samlet minnebehov.
• Sikkerhetskopieringsprosessen brukte omtrent 15 GB RAM / SWAP før krasjet.
• Avamar begrenser antall strømmer per klient, men håndhever IKKE en global grense for det totale antallet strømmer. Dette gjør at den kombinerte minnebruken overskrider tilgjengelige ressurser.

Disse minnekrevende forholdene førte til at avtar-prosessen oppdaget en segmenteringsfeil, registrert i loggen som:

2017-10-13 19:42:00 avtar FATAL <5889>: Fatal signal 11 in pid 31103

Fikse Avamar NDMP-sikkerhetskopieringsfeil forårsaket av signal 11 (segmenteringsfeil)

Trinn 1 - Vurder gjeldende sikkerhetskopibelastning.

Bruk Avamar Administrator-konsollen eller CLI til å identifisere volumer som genererer store NDMP-sikkerhetskopier.

Oppgi aktive NDMP-jobber og ressursbruken deres:

$ avtar -listjobs -type ndmp

 Trinn 2 - Reduser sikkerhetskopier av samtidige volumer.

• Begrens antall sikkerhetskopierte volumer samtidig for å unngå overdreven RAM/SWAP-forbruk.
• I Avamar-administratoren redigerer du tidsplanen for sikkerhetskopiering og fjerner markeringen for overlappende vinduer.

Trinn 3 – Del store volumer opp i mindre delvolumer

• Identifiser volumer med mer enn 3 millioner filer eller mer enn 5 TB data (som i eksemplet).
• Opprett logiske undervolumer ett nivå lavere i katalogtreet.
• Konfigurere hvert undervolum som en separat NDMP-klient i Avamar.
  •  Eksempel: Opprette en ny NDMP-klient for en underkatalog

$ avtar -addclient -name subvol1 -path /data/level2/subvol1

 Trinn 4 – Juster innstillingene for NDMP-strømming.

• Øk maksimalt antall NDMP-strømmer per klient hvis NAS støtter det.
• I NAS NDMP-konfigurasjonen øker du strømgrensen fra standard 4 til 8 der det er mulig.

Trinn 5 - Begrens filer per strøm

• Når du oppretter retningslinjer for sikkerhetskopiering, må du angi en lavere terskel for filer per strøm for å holde minneavtrykket for hver strøm på mindre enn 2 GB.
• Bruk Avamar Administrator → Policies → Advanced Settings til å justere denne verdien.

Trinn 6 – Overvåk minnebruk under sikkerhetskopieringer

• Sjekk RAM og bytt forbruk på Avamar-serveren mens sikkerhetskopieringen kjører.
• Sørg for at bruken holder seg godt under det totale minnet som er tilgjengelig (for eksempel mindre enn 12 GB for en jobb på 15 GB).
  • Overvåking av sanntidsminne

$ top -b -n 1 | grep avtar

 Trinn 7 – valider reparasjonen

• Kjør den tidligere mislykkede sikkerhetskopieringen på nytt.
• Bekreft at loggen ikke lenger inneholder Fatal signal 11 budskap.
• Kontroller at sikkerhetskopieringen er fullført, og at den rapporterte datastørrelsen svarer til forventningene.
  •  Se etter feil i den siste sikkerhetskopiloggen

$ tail -n 50 /var/log/avtar/backup.log