Avamar: Backups reagieren möglicherweise nicht mehr oder Dateisystembackups schlagen mit der Meldung "Fatal Server Error occurred" fehl.
Resumen: Avamar-Backups schlagen mit avtar FATAL fehl <5704>: Es ist ein schwerwiegender Serverfehler aufgetreten (MSG_ERR_AUTH_FAIL). Sitzungstickets müssen ordnungsgemäß zwischen Global Storage Area Network (GSAN) und Management Console Service (MCS) synchronisiert werden, damit ein Backup verarbeitet werden kann. ...
Síntomas
Backups schlagen mit den folgenden Protokollen fehl, die erzeugt werden.
Die Avamar GSAN-err.log zeigt möglicherweise Folgendes an:
[srvm-518654#srv:481] WARN: <1479> sessionkeytable::setpublickey new serial=<x> less than current minserial=<y> ... [srvm-525136#srv:775] WARN: <1426> sessionkeytable::comparesignature incorrect signature
Avtar-Protokolle zeigen möglicherweise Folgendes an:
2019-12-31 07:35:23 avtar Error <8609>: Connection killed from GSAN. (Log #1) 2019-12-31 07:35:23 avtar FATAL <5704>: Fatal Server Error occurred (MSG_ERR_AUTH_FAIL), aborting execution (SECURETICKETLOGIN=452 serial=1 seq=0 flags=R:H:0 kind=0 rsp=MSG_ERR_AUTH_FAIL) (Log #1) 2019-12-31 07:35:23 avtar Error <5126>: Login error 5: Authorization failure (Session Ticket login) (Log #1) 2019-12-31 07:35:23 avtar FATAL <8941>: Fatal server connection problem, aborting initialization. Verify correct server address and login credentials. (Log #1) 2019-12-31 07:35:23 avtar Error <7001>: Exiting avtar with run-at-end script failure -1 (Log #1)
9-12-31 07:35:23 avtar Info <8474>: - Log file path: /usr/local/avamar/var/clientlogs/some-Unix.log 2019-12-31 07:35:23 avtar Info <6555>: Initializing connection 2019-12-31 07:35:23 avtar Info <5552>: Connecting to Avamar Server (avamar.com) 2019-12-31 07:35:23 avtar Info <5554>: Connecting to one node in each datacenter 2019-12-31 07:35:23 avtar Info <5993>: - Connect: Connected to 10.x.x.x:29000, Priv=0, SSL Cipher=AES256-SHA 2019-12-31 07:35:23 avtar Info <5993>: - Datacenter 0 has 1 nodes: Connected to 10.x.x.x:29000, Priv=0, SSL Cipher=AES256-SHA 2019-12-31 07:35:23 avtar Info <5581>: Logging in on connection 0 with Session Ticket 2019-12-31 07:35:23 avtar Info <18854>: Using Secure Session Ticket Format 2019-12-31 07:35:23 avtar Error <8609>: Connection killed from GSAN. 2019-12-31 07:35:23 avtar Info <9772>: Starting graceful (staged) termination, KILL event received (wrap-up stage) 2019-12-31 07:35:23 avtar FATAL <5704>: Fatal Server Error occurred (MSG_ERR_AUTH_FAIL), aborting execution (SECURETICKETLOGIN=452 serial=1 seq=0 flags=R:H:0 kind=0 rsp=MSG_ERR_AUTH_FAIL) 2019-12-31 07:35:23 avtar Error <5126>: Login error 5: Authorization failure (Session Ticket login) 2019-12-31 07:35:23 avtar FATAL <8941>: Fatal server connection problem, aborting initialization. Verify correct server address and login credentials. 2019-12-31 07:35:23 avtar Info <6149>: Error summary: 4 errors: 8941, 5704, 5126, 8609 2019-12-31 07:35:23 avtar Info <5917>: Back from run-at-end, exit code -1 2019-12-31 07:35:23 avtar Error <7001>: Exiting avtar with run-at-end script failure -1
Causa
Sie können in den GSAN-Protokollen sehen, dass das zugewiesene Sitzungsticket möglicherweise bereits für ein früheres Backup verwendet wurde.
Dies kann durch ein GSAN- oder MCS-Rollback auftreten, bei dem das Sitzungsticket außer Betrieb gesetzt wird.
Aus dem GSAN-Protokoll
WARN: <1418> sessionkeytable::setpublickey session ticket with serial=28451 was used already WARN: <1426> sessionkeytable::comparesignature incorrect signature
Wenn MCS ein größeres Sitzungsticket als GSAN hat, könnten wir daraus schließen, dass GSAN hinterherhinkt und alte Sitzungstickets verwendet, um sie an Clients zu verteilen.
Verwenden Sie den folgenden grep-Befehl zur Unterstützung der Diagnose.
grep -i "sessionkeytable\|minserial" /data01/cur/gsan.log.00?
Resolución
Wir müssen die Sitzungstickets erneut synchronisieren.
Schritt 1:
Rufen Sie die aktuelle GSAN-Seriennummer ab.
avmaint cat /sysinfo/security/keytable
Beispiel:
root@avamar:/home/admin/#: avmaint cat /sysinfo/security/keytable <?xml version="1.0" encoding="UTF-8" standalone="yes"?> <keytable minimalserial="<minserial_less_than_mcs>">
Schritt 2:
Rufen Sie die Seriennummer des aktuellen Sitzungstickets von MCS ab.
cat /usr/local/avamar/var/mc/server_data/prefs/sessionticket.srl
Beispiel:
root@avamar:/home/admin/#: cat /usr/local/avamar/var/mc/server_data/prefs/sessionticket.srl <mcs_session_ticket_larger_than_gsan>
Schritt 3:
Erstellen Sie eine Datei mit öffentlichem Schlüssel mit "mcecroot" und verwenden Sie es mit avmaint.
cd /usr/local/avamar/lib keytool -list -rfc -keystore /usr/local/avamar/lib/avamar_keystore -storepass `avlockbox.sh -r keystore_passphrase` -alias mcecroot | openssl x509 -pubkey -noout > mcecroot.pub
Beispiel:
Der Befehl verwendet keytool, um die mcecroot alias im avamar_keystore, das Ergebnis an openssl weiterleiten, um den öffentlichen Schlüssel aus dem Schlüsselpaar abzurufen, und den öffentlichen Schlüssel in eine Datei namens mcecroot.pub schreiben.
root@avamar:/usr/local/avamar/lib/#: keytool -list -rfc -keystore /usr/local/avamar/lib/avamar_keystore -storepass `avlockbox.sh -r keystore_passphrase` -alias mcecroot | openssl x509 -pubkey -noout > mcecroot.pub root@avamar:/usr/local/avamar/lib/#: cat mcecroot.pub -----BEGIN PUBLIC KEY----- MHYwEAYHKoZIzj0CAQYFK4EEACIDYgAEicGAqiHQQ8DRi0ZkgsvEA8fCEeqW/DIr k53CFakwbOtTejb2Okk+2VTkY5H4gfLEKd4Gtq5gPP2OcpaUf/SrIc4MO3bn8OhC l/vQKfAeJvrPPEvcIG0GiLyLtwJykeUq -----END PUBLIC KEY-----
Schritt 4:
Schreiben Sie die neue GSAN-Minserielle mithilfe der mcecroot öffentlichen Schlüssel, schlagen Sie vor, eine Zahl zu verwenden, die größer als der aktuelle Wert in MCS ist.
avmaint publickey --keyfile=./mcecroot.pub --serial=<your number> --ava
Beispiel:
Wir müssen eine Seriennummer auswählen, die hoch genug ist, um den folgenden Fehler zu vermeiden.
root@avamar:/usr/local/avamar/lib/#: avmaint publickey --keyfile=./mcecroot.pub --serial=28500 --ava ERROR: avmaint: publickey: server_exception(MSG_ERR_INVALID_PARAMETERS) root@avamar:/usr/local/avamar/lib/#: avmaint publickey --keyfile=./mcecroot.pub --serial=38000 --ava
Wenn Sie den Fehler mit ungültigen Parametern erhalten, wählen Sie eine höhere Zahl aus, bis kein Fehler mehr vorliegt.
Schritt 5:
Überprüfen Sie die Änderung.
avmaint cat /sysinfo/security/keytable
Beispiel:
root@avamar:/usr/local/avamar/lib/#: avmaint cat /sysinfo/security/keytable <?xml version="1.0" encoding="UTF-8" standalone="yes"?> <keytable minimalserial="38000"> <-- new gsan minserial [..]
Schritt 6:
Schreiben Sie diese minserial auf das MCS-Sitzungsticket.
echo -n "<number you were able to use for mcec key>" > /usr/local/avamar/var/mc/server_data/prefs/sessionticket.srl
Beispiel:
root@avamar:/usr/local/avamar/lib/#: echo -n "38000" > /usr/local/avamar/var/mc/server_data/prefs/sessionticket.srl root@avamar:/usr/local/avamar/lib/#: cat /usr/local/avamar/var/mc/server_data/prefs/sessionticket.srl 38000
Schritt 7:
Starten Sie MCS neu.
mcserver.sh --restart
Schritt 8:
Testbackups.