Avamar: NDMP-Backup schlägt mit fatalem Signal 11 Segmentierungsfehler durch Volume-Speichernutzung fehl

Hinweise zu Backupfehlern

Die folgenden Symptome sind zu beobachten, wenn ein Avamar-NDMP-Backup auf einen Segmentierungsfehler (Signal 11) stößt:

• Der Backupjob wird mit einer schwerwiegenden Fehlermeldung ähnlich der folgenden abgebrochen:

2017-10-13 19:42:00 avtar FATAL <5889>: Fatal signal 11 in pid 31103

• Protokolleinträge zeigen ungewöhnlich große Datasets an, die verarbeitet werden, z. B.:

avtar Info <8688>: Status 2017-10-13 19:32:37, 3,050,352 files, 2,419,299 directories, 5,119 GB (3,050,352 files, 1.913 GB, 41.42% new) 15049MB 60% CPU (1 open files)

• Es wird ein hoher Speicherverbrauch gemeldet, der häufig 15 GB RAM/SWAP für einen einzelnen Backupstream übersteigt.
• Es sind zahlreiche NDMP-Streams aktiv (bis zu 8 pro Client), die jeweils potenziell 2 GB oder mehr Arbeitsspeicher beanspruchen.
• Mehrere große Backups können gleichzeitig ausgeführt werden, was die Gesamtsystemlast erhöht.
• Das betroffene Volume enthält Millionen von Dateien und Verzeichnissen (z. B. 3 Mio. Dateien in 2,4 Mio. Verzeichnissen mit 5,1 TB Daten).
• Selbst wenn sich nur eine kleine Datenmenge geändert hat (z. B. 1,9 GB), versucht der Backupprozess, jede Datei vom NAS zur Verarbeitung zu senden.

Zugrunde liegende Faktoren, die das fatale Signal ausgelöst haben 11.

Signal 11 (Segmentierungsfehler) wird erzeugt, wenn ein Prozess auf Speicher zugreift, der ihm nicht zugewiesen ist. Die folgenden Bedingungen haben dieses Ereignis während des Avamar-NDMP-Backups direkt verursacht:

• Mehrere große NDMP-Backups wurden gleichzeitig ausgeführt.
• Ein Backup verarbeitete 3.050.352 Dateien und 2.419.299 Verzeichnisse mitinsgesamt 5,1 TB an Daten, während nur 1,9 GB dieser Daten geändert wurden.
• Jeder NDMP-Stream kann ≥ 2 GB Arbeitsspeicher verbrauchen. Der Client durfte bis zu 8 Streams ausführen und mehrere Clients waren gleichzeitig aktiv, was zu einem hohen aggregierten Speicherbedarf führte.
• Der Backupprozess verwendete vor dem Absturz ca. 15 GB RAM/SWAP.
• Avamar begrenzt die Anzahl der Streams pro Client, erzwingt jedoch KEINE globale Begrenzung für die Gesamtzahl der Streams. Dadurch kann die kombinierte Speichernutzung die verfügbaren Ressourcen übersteigen.

Diese speicherintensiven Bedingungen führten dazu, dass beim avtar-Prozess ein Segmentierungsfehler auftrat, der wie folgt im Protokoll aufgezeichnet wurde:

2017-10-13 19:42:00 avtar FATAL <5889>: Fatal signal 11 in pid 31103

Beheben von Avamar NDMP-Backupfehlern, die durch Signal 11 (Segmentierungsfehler) verursacht werden

Schritt 1: Bewertung der aktuellen Backupauslastung

Verwenden Sie die Avamar Administratorkonsole oder die CLI zur Identifizierung von Volumes, die große NDMP-Backups erzeugen.

Auflisten aktiver NDMP-Jobs und ihrer Ressourcennutzung:

$ avtar -listjobs -type ndmp

 Schritt 2: Reduzieren Sie die Anzahl gleichzeitiger Volume-Backups.

• Begrenzen Sie die Anzahl der gleichzeitig gesicherten Volumes, um einen übermäßigen RAM-/SWAP-Verbrauch zu vermeiden.
• Bearbeiten Sie in Avamar Administrator den Backupzeitplan und heben Sie die Auswahl von überlappenden Fenstern auf.

Schritt 3: Aufteilen großer Volumes in kleinere Untervolumes

• Identifizieren Sie Volumes mit mehr als 3 Millionen Dateien oder mehr als 5 TB Daten (wie im Beispiel).
• Erstellen Sie logische Subvolumes eine Ebene tiefer in der Verzeichnisstruktur.
• Konfigurieren Sie jedes Subvolume als separaten NDMP-Client in Avamar.
  •  Beispiel: Erstellen eines neuen NDMP-Clients für ein Unterverzeichnis

$ avtar -addclient -name subvol1 -path /data/level2/subvol1

 Schritt 4: Anpassen der NDMP-Stream-Einstellungen.

• Erhöhen Sie die maximale Anzahl von NDMP-Streams pro Client, wenn der NAS dies unterstützt.
• Erhöhen Sie in der NAS-NDMP-Konfiguration das Streamlimit von der Standardeinstellung 4 auf 8, sofern möglich.

Schritt 5 - Dateien pro Stream begrenzen

• Legen Sie beim Erstellen von Backup-Policies einen niedrigeren Schwellenwert für "Dateien pro Stream" fest, um die Speicherkapazität jedes Streams bei weniger als 2 GB zu halten.
• Verwenden Sie die Avamar Administrator → Policies → Advanced Settings , um diesen Wert anzupassen.

Schritt 6: Überwachen der Speichernutzung während Backups

• Überwachen Sie den RAM- und Swap-Verbrauch auf dem Avamar Server, während das Backup ausgeführt wird.
• Stellen Sie sicher, dass die Auslastung deutlich unter dem insgesamt verfügbaren Speicher bleibt (z. B. weniger als 12 GB für einen 15-GB-Job).
  • Speicherüberwachung in Echtzeit

$ top -b -n 1 | grep avtar

 Schritt 7: Validieren der Korrektur

• Führen Sie das zuvor fehlgeschlagene Backup erneut aus.
• Vergewissern Sie sich, dass das Protokoll nicht mehr das folgende Verzeichnis enthält: Fatal signal 11 Meldung.
• Überprüfen Sie, ob das Backup erfolgreich abgeschlossen wurde und ob die gemeldete Datengröße den Erwartungen entspricht.
  •  Überprüfen Sie das aktuelle Backupprotokoll auf Fehler.

$ tail -n 50 /var/log/avtar/backup.log