Avamar: Säkerhetskopior kan sluta svara eller så misslyckas säkerhetskopieringar av filsystemet med "Allvarligt serverfel inträffade"

Säkerhetskopieringar misslyckas och följande fel kan visas i följande loggar:

Avamar Global Storage Area Network (GSAN) err.log:

[srvm-518654#srv:481]  WARN: <1479> sessionkeytable::setpublickey new serial=<x> less than current minserial=<y>
...
[srvm-525136#srv:775]  WARN: <1426> sessionkeytable::comparesignature incorrect signature

Avtar Loggar:

2019-12-31 07:35:23 avtar Error <8609>: Connection killed from GSAN. (Log #1) 
2019-12-31 07:35:23 avtar FATAL <5704>: Fatal Server Error occurred (MSG_ERR_AUTH_FAIL), aborting execution (SECURETICKETLOGIN=452 serial=1 seq=0 flags=R:H:0 kind=0 rsp=MSG_ERR_AUTH_FAIL) (Log #1) 
2019-12-31 07:35:23 avtar Error <5126>: Login error 5: Authorization failure (Session Ticket login) (Log #1) 
2019-12-31 07:35:23 avtar FATAL <8941>: Fatal server connection problem, aborting initialization. Verify correct server address and login credentials. (Log #1) 
2019-12-31 07:35:23 avtar Error <7001>: Exiting avtar with run-at-end script failure -1 (Log #1)

2019-12-31 07:35:23 avtar Info <8474>: - Log file path: /usr/local/avamar/var/clientlogs/some-Unix.log
2019-12-31 07:35:23 avtar Info <6555>: Initializing connection
2019-12-31 07:35:23 avtar Info <5552>: Connecting to Avamar Server (avamar.com)
2019-12-31 07:35:23 avtar Info <5554>: Connecting to one node in each datacenter
2019-12-31 07:35:23 avtar Info <5993>: - Connect: Connected to 10.x.x.x:29000, Priv=0, SSL Cipher=AES256-SHA
2019-12-31 07:35:23 avtar Info <5993>: - Datacenter 0 has 1 nodes: Connected to 10.x.x.x:29000, Priv=0, SSL Cipher=AES256-SHA
2019-12-31 07:35:23 avtar Info <5581>: Logging in on connection 0 with Session Ticket
2019-12-31 07:35:23 avtar Info <18854>: Using Secure Session Ticket Format
2019-12-31 07:35:23 avtar Error <8609>: Connection killed from GSAN.
2019-12-31 07:35:23 avtar Info <9772>: Starting graceful (staged) termination, KILL event received (wrap-up stage)
2019-12-31 07:35:23 avtar FATAL <5704>: Fatal Server Error occurred (MSG_ERR_AUTH_FAIL), aborting execution (SECURETICKETLOGIN=452 serial=1 seq=0 flags=R:H:0 kind=0 rsp=MSG_ERR_AUTH_FAIL)
2019-12-31 07:35:23 avtar Error <5126>: Login error 5: Authorization failure (Session Ticket login)
2019-12-31 07:35:23 avtar FATAL <8941>: Fatal server connection problem, aborting initialization. Verify correct server address and login credentials.
2019-12-31 07:35:23 avtar Info <6149>: Error summary: 4 errors: 8941, 5704, 5126, 8609
2019-12-31 07:35:23 avtar Info <5917>: Back from run-at-end, exit code -1
2019-12-31 07:35:23 avtar Error <7001>: Exiting avtar with run-at-end script failure -1

GSAN-loggarna visar att den tilldelade sessionsbiljetten redan kan ha använts för en tidigare säkerhetskopiering.

Detta kan inträffa från en återställning av GSAN eller Management Console Server (MCS), vilket gör att sessionsbiljetten blir oordnad.

Från GSAN-loggen:

WARN: <1418> sessionkeytable::setpublickey session ticket with serial=28451 was used already
WARN: <1426> sessionkeytable::comparesignature incorrect signature

När MCS har en större sessionsbiljett än GSAN kan man dra slutsatsen att GSAN ligger efter och använder gamla sessionsbiljetter för att ge till kunder.

Använd följande grep kommando för att diagnostisera:

grep -i "sessionkeytable\|minserial" /data01/cur/gsan.log.00?

Gör följande för att synkronisera om sessionsbiljetterna:

Steg 1:

Hämta aktuellt GSAN minserial:

avmaint cat /sysinfo/security/keytable

Exempel:

root@avamar:/home/admin/#: avmaint cat /sysinfo/security/keytable |grep minimalserial
<keytable minimalserial="<minserial_less_than_mcs>">

Steg 2:

Hämta den aktuella serienumret för sessionsbiljett från MCS.

cat /usr/local/avamar/var/mc/server_data/prefs/sessionticket.srl

Exempel:

root@avamar:/home/admin/#: cat /usr/local/avamar/var/mc/server_data/prefs/sessionticket.srl
<mcs_session_ticket_larger_than_gsan>

Steg 3:

Skapa en offentlig nyckelfil med "mcecroot" och använd den med avmaint:

cd /usr/local/avamar/lib

keytool -list -rfc -keystore /usr/local/avamar/lib/avamar_keystore -storepass `avlockbox.sh -r keystore_passphrase` -alias mcecroot | openssl x509 -pubkey -noout > mcecroot.pub

(Kommandot använder keytool för att förteckna mcecroot alias i avamar_keystore, skickar resultatet till openssl för att hämta den offentliga nyckeln från nyckelparet och skickar den offentliga nyckeln till en fil med namnet mcecroot.pub.)

Exempel:

root@avamar:/usr/local/avamar/lib/#: keytool -list -rfc -keystore /usr/local/avamar/lib/avamar_keystore -storepass `avlockbox.sh -r keystore_passphrase` -alias mcecroot | openssl x509 -pubkey -noout > mcecroot.pub

root@avamar:/usr/local/avamar/lib/#: cat mcecroot.pub
-----BEGIN PUBLIC KEY-----
MHYwEAYHKoZIzj0CAQYFK4EEACIDYgAEicGAqiHQQ8DRi0ZkgsvEA8fCEeqW/DIr
k53CFakwbOtTejb2Okk+2VTkY5H4gfLEKd4Gtq5gPP2OcpaUf/SrIc4MO3bn8OhC
l/vQKfAeJvrPPEvcIG0GiLyLtwJykeUq
-----END PUBLIC KEY-----

Steg 4:

Skriv det nya GSAN-numret minserial med hjälp av mcecroot offentlig nyckel. Använd ett tal som är större än det aktuella värdet i MCS:

avmaint publickey --keyfile=./mcecroot.pub --serial=<new-gsan-minserial-value> --ava

(Ett serienummer som är tillräckligt högt för att undvika följande fel måste väljas)

ERROR: avmaint: publickey: server_exception(MSG_ERR_INVALID_PARAMETERS)

Exempel:

root@avamar:/usr/local/avamar/lib/#: avmaint publickey --keyfile=./mcecroot.pub --serial=28500 --ava
ERROR: avmaint: publickey: server_exception(MSG_ERR_INVALID_PARAMETERS)

Om ovanstående fel tas emot, fortsätt att välja ett högre nummer tills det inte finns något fel.

root@avamar:/usr/local/avamar/lib/#: avmaint publickey --keyfile=./mcecroot.pub --serial=38000 --ava

Steg 5:

Kontrollera ändringen:

avmaint cat /sysinfo/security/keytable

Exempel:

root@avamar:/usr/local/avamar/lib/#: avmaint cat /sysinfo/security/keytable |grep minimalserial
<keytable minimalserial="38000">     <-- This should display the gsan minserial number entered in step 4 above

Steg 6:

Skriv den minsta följetongen till MCS-sessionsbiljetten och verifiera:

echo -n "<new-gsan-minserial-value>" > /usr/local/avamar/var/mc/server_data/prefs/sessionticket.srl

Exempel:

root@avamar:/usr/local/avamar/lib/#: echo -n "38000" > /usr/local/avamar/var/mc/server_data/prefs/sessionticket.srl

root@avamar:/usr/local/avamar/lib/#: cat /usr/local/avamar/var/mc/server_data/prefs/sessionticket.srl
38000

Steg 7:

Starta om MCS:

mcserver.sh --restart

Steg 8:

Testa säkerhetskopior.