Avamar: Sikkerhetskopieringer kan slutte å svare, eller sikkerhetskopiering av filsystem mislykkes med "Fatal Server Error occurred"

Sikkerhetskopieringer mislykkes, og følgende feil kan sees i følgende logger:

Avamar Global Storage Area Network (GSAN) err.log:

[srvm-518654#srv:481]  WARN: <1479> sessionkeytable::setpublickey new serial=<x> less than current minserial=<y>
...
[srvm-525136#srv:775]  WARN: <1426> sessionkeytable::comparesignature incorrect signature

Avtar Logger:

2019-12-31 07:35:23 avtar Error <8609>: Connection killed from GSAN. (Log #1) 
2019-12-31 07:35:23 avtar FATAL <5704>: Fatal Server Error occurred (MSG_ERR_AUTH_FAIL), aborting execution (SECURETICKETLOGIN=452 serial=1 seq=0 flags=R:H:0 kind=0 rsp=MSG_ERR_AUTH_FAIL) (Log #1) 
2019-12-31 07:35:23 avtar Error <5126>: Login error 5: Authorization failure (Session Ticket login) (Log #1) 
2019-12-31 07:35:23 avtar FATAL <8941>: Fatal server connection problem, aborting initialization. Verify correct server address and login credentials. (Log #1) 
2019-12-31 07:35:23 avtar Error <7001>: Exiting avtar with run-at-end script failure -1 (Log #1)

2019-12-31 07:35:23 avtar Info <8474>: - Log file path: /usr/local/avamar/var/clientlogs/some-Unix.log
2019-12-31 07:35:23 avtar Info <6555>: Initializing connection
2019-12-31 07:35:23 avtar Info <5552>: Connecting to Avamar Server (avamar.com)
2019-12-31 07:35:23 avtar Info <5554>: Connecting to one node in each datacenter
2019-12-31 07:35:23 avtar Info <5993>: - Connect: Connected to 10.x.x.x:29000, Priv=0, SSL Cipher=AES256-SHA
2019-12-31 07:35:23 avtar Info <5993>: - Datacenter 0 has 1 nodes: Connected to 10.x.x.x:29000, Priv=0, SSL Cipher=AES256-SHA
2019-12-31 07:35:23 avtar Info <5581>: Logging in on connection 0 with Session Ticket
2019-12-31 07:35:23 avtar Info <18854>: Using Secure Session Ticket Format
2019-12-31 07:35:23 avtar Error <8609>: Connection killed from GSAN.
2019-12-31 07:35:23 avtar Info <9772>: Starting graceful (staged) termination, KILL event received (wrap-up stage)
2019-12-31 07:35:23 avtar FATAL <5704>: Fatal Server Error occurred (MSG_ERR_AUTH_FAIL), aborting execution (SECURETICKETLOGIN=452 serial=1 seq=0 flags=R:H:0 kind=0 rsp=MSG_ERR_AUTH_FAIL)
2019-12-31 07:35:23 avtar Error <5126>: Login error 5: Authorization failure (Session Ticket login)
2019-12-31 07:35:23 avtar FATAL <8941>: Fatal server connection problem, aborting initialization. Verify correct server address and login credentials.
2019-12-31 07:35:23 avtar Info <6149>: Error summary: 4 errors: 8941, 5704, 5126, 8609
2019-12-31 07:35:23 avtar Info <5917>: Back from run-at-end, exit code -1
2019-12-31 07:35:23 avtar Error <7001>: Exiting avtar with run-at-end script failure -1

GSAN-loggene viser at øktbilletten som er tilordnet, allerede kan ha blitt brukt til en tidligere sikkerhetskopiering.

Dette kan skje fra en tilbakerulling av GSAN eller Management Console Server (MCS), noe som setter øktbilletten ut av drift.

Fra GSAN-loggen:

WARN: <1418> sessionkeytable::setpublickey session ticket with serial=28451 was used already
WARN: <1426> sessionkeytable::comparesignature incorrect signature

Når MCS har en større øktbillett enn GSAN, kan det utledes at GSAN står bak, og bruker gamle øktbilletter for å gi til klienter.

Bruk følgende grep-kommando som hjelp til å diagnostisere:

grep -i "sessionkeytable\|minserial" /data01/cur/gsan.log.00?

Gjør følgende for å synkronisere øktbillettene på nytt:

Trinn 1:

Få gjeldende GSAN minserial:

avmaint cat /sysinfo/security/keytable

Eksempel:

root@avamar:/home/admin/#: avmaint cat /sysinfo/security/keytable |grep minimalserial
<keytable minimalserial="<minserial_less_than_mcs>">

Trinn 2:

Hent gjeldende øktbillettserie fra MCS.

cat /usr/local/avamar/var/mc/server_data/prefs/sessionticket.srl

Eksempel:

root@avamar:/home/admin/#: cat /usr/local/avamar/var/mc/server_data/prefs/sessionticket.srl
<mcs_session_ticket_larger_than_gsan>

Trinn 3:

Opprett en fil med fellesnøkkel med "mcecroot," og bruk den med avmaint:

cd /usr/local/avamar/lib

keytool -list -rfc -keystore /usr/local/avamar/lib/avamar_keystore -storepass `avlockbox.sh -r keystore_passphrase` -alias mcecroot | openssl x509 -pubkey -noout > mcecroot.pub

(Kommandoen bruker keytool For å liste opp mcecroot aliaset i avamar_keystore, sendes resultatet til openssl for å hente fellesnøkkelen fra nøkkelparet, og vrir fellesnøkkelen til en fil som heter mcecroot.pub.)

Eksempel:

root@avamar:/usr/local/avamar/lib/#: keytool -list -rfc -keystore /usr/local/avamar/lib/avamar_keystore -storepass `avlockbox.sh -r keystore_passphrase` -alias mcecroot | openssl x509 -pubkey -noout > mcecroot.pub

root@avamar:/usr/local/avamar/lib/#: cat mcecroot.pub
-----BEGIN PUBLIC KEY-----
MHYwEAYHKoZIzj0CAQYFK4EEACIDYgAEicGAqiHQQ8DRi0ZkgsvEA8fCEeqW/DIr
k53CFakwbOtTejb2Okk+2VTkY5H4gfLEKd4Gtq5gPP2OcpaUf/SrIc4MO3bn8OhC
l/vQKfAeJvrPPEvcIG0GiLyLtwJykeUq
-----END PUBLIC KEY-----

Trinn 4:

Skriv den nye GSAN minserial Ved hjelp av mcecroot offentlig nøkkel. Bruk et tall som er større enn gjeldende verdi i MCS:

avmaint publickey --keyfile=./mcecroot.pub --serial=<new-gsan-minserial-value> --ava

(Du må velge et serienummer som er høyt nok til å unngå følgende feil)

ERROR: avmaint: publickey: server_exception(MSG_ERR_INVALID_PARAMETERS)

Eksempler:

root@avamar:/usr/local/avamar/lib/#: avmaint publickey --keyfile=./mcecroot.pub --serial=28500 --ava
ERROR: avmaint: publickey: server_exception(MSG_ERR_INVALID_PARAMETERS)

Hvis feilen ovenfor mottas, fortsett å velge et høyere tall til det ikke er noen feil.

root@avamar:/usr/local/avamar/lib/#: avmaint publickey --keyfile=./mcecroot.pub --serial=38000 --ava

Trinn 5:

Bekreft endringen:

avmaint cat /sysinfo/security/keytable

Eksempel:

root@avamar:/usr/local/avamar/lib/#: avmaint cat /sysinfo/security/keytable |grep minimalserial
<keytable minimalserial="38000">     <-- This should display the gsan minserial number entered in step 4 above

Trinn 6:

Skriv den minserial til MCS-øktbilletten, og bekreft:

echo -n "<new-gsan-minserial-value>" > /usr/local/avamar/var/mc/server_data/prefs/sessionticket.srl

Eksempel:

root@avamar:/usr/local/avamar/lib/#: echo -n "38000" > /usr/local/avamar/var/mc/server_data/prefs/sessionticket.srl

root@avamar:/usr/local/avamar/lib/#: cat /usr/local/avamar/var/mc/server_data/prefs/sessionticket.srl
38000

Trinn 7:

Start MCS på nytt:

mcserver.sh --restart

Trinn 8:

Test sikkerhetskopieringer.