Avamar: Säkerhetskopior kan sluta svara eller så misslyckas säkerhetskopieringar av filsystemet med "Allvarligt serverfel inträffade"

Säkerhetskopieringar misslyckas med att nedanstående loggar genereras.

Avamar GSAN err.log kan visa:

[srvm-518654#srv:481]  WARN: <1479> sessionkeytable::setpublickey new serial=<x> less than current minserial=<y>
...
[srvm-525136#srv:775]  WARN: <1426> sessionkeytable::comparesignature incorrect signature

Avtar-loggar kan visa:

2019-12-31 07:35:23 avtar Error <8609>: Connection killed from GSAN. (Log #1) 
2019-12-31 07:35:23 avtar FATAL <5704>: Fatal Server Error occurred (MSG_ERR_AUTH_FAIL), aborting execution (SECURETICKETLOGIN=452 serial=1 seq=0 flags=R:H:0 kind=0 rsp=MSG_ERR_AUTH_FAIL) (Log #1) 
2019-12-31 07:35:23 avtar Error <5126>: Login error 5: Authorization failure (Session Ticket login) (Log #1) 
2019-12-31 07:35:23 avtar FATAL <8941>: Fatal server connection problem, aborting initialization. Verify correct server address and login credentials. (Log #1) 
2019-12-31 07:35:23 avtar Error <7001>: Exiting avtar with run-at-end script failure -1 (Log #1)

9-12-31 07:35:23 avtar Info <8474>: - Log file path: /usr/local/avamar/var/clientlogs/some-Unix.log
2019-12-31 07:35:23 avtar Info <6555>: Initializing connection
2019-12-31 07:35:23 avtar Info <5552>: Connecting to Avamar Server (avamar.com)
2019-12-31 07:35:23 avtar Info <5554>: Connecting to one node in each datacenter
2019-12-31 07:35:23 avtar Info <5993>: - Connect: Connected to 10.x.x.x:29000, Priv=0, SSL Cipher=AES256-SHA
2019-12-31 07:35:23 avtar Info <5993>: - Datacenter 0 has 1 nodes: Connected to 10.x.x.x:29000, Priv=0, SSL Cipher=AES256-SHA
2019-12-31 07:35:23 avtar Info <5581>: Logging in on connection 0 with Session Ticket
2019-12-31 07:35:23 avtar Info <18854>: Using Secure Session Ticket Format
2019-12-31 07:35:23 avtar Error <8609>: Connection killed from GSAN.
2019-12-31 07:35:23 avtar Info <9772>: Starting graceful (staged) termination, KILL event received (wrap-up stage)
2019-12-31 07:35:23 avtar FATAL <5704>: Fatal Server Error occurred (MSG_ERR_AUTH_FAIL), aborting execution (SECURETICKETLOGIN=452 serial=1 seq=0 flags=R:H:0 kind=0 rsp=MSG_ERR_AUTH_FAIL)
2019-12-31 07:35:23 avtar Error <5126>: Login error 5: Authorization failure (Session Ticket login)
2019-12-31 07:35:23 avtar FATAL <8941>: Fatal server connection problem, aborting initialization. Verify correct server address and login credentials.
2019-12-31 07:35:23 avtar Info <6149>: Error summary: 4 errors: 8941, 5704, 5126, 8609
2019-12-31 07:35:23 avtar Info <5917>: Back from run-at-end, exit code -1
2019-12-31 07:35:23 avtar Error <7001>: Exiting avtar with run-at-end script failure -1

Du kan se i GSAN-loggarna att den tilldelade sessionsbiljetten redan kan ha använts för en tidigare säkerhetskopiering.
Detta kan inträffa genom att en GSAN- eller MCS-återställning sätter sessionsbiljetten i fel ordning.

Från GSAN-loggen

WARN: <1418> sessionkeytable::setpublickey session ticket with serial=28451 was used already
WARN: <1426> sessionkeytable::comparesignature incorrect signature

När MCS har en större sessionsbiljett än GSAN kan vi dra slutsatsen att GSAN ligger efter och använder gamla sessionsbiljetter för att ge till kunder.

Använd följande grep kommando för att diagnostisera.

grep -i "sessionkeytable\|minserial" /data01/cur/gsan.log.00?

Vi måste få sessionsbiljetterna att synkroniseras igen.

Steg 1:
Hämta aktuell GSAN minserial.

avmaint cat /sysinfo/security/keytable

Exempel:

root@avamar:/home/admin/#: avmaint cat /sysinfo/security/keytable
<?xml version="1.0" encoding="UTF-8" standalone="yes"?>
<keytable minimalserial="<minserial_less_than_mcs>">

Steg 2:
Hämta den aktuella serienumret för sessionsbiljett från MCS.

cat /usr/local/avamar/var/mc/server_data/prefs/sessionticket.srl

Exempel:

root@avamar:/home/admin/#: cat /usr/local/avamar/var/mc/server_data/prefs/sessionticket.srl
<mcs_session_ticket_larger_than_gsan>

Steg 3:
Skapa en offentlig nyckelfil med "mcecroot", och använd den med Avmaint.

cd /usr/local/avamar/lib

keytool -list -rfc -keystore /usr/local/avamar/lib/avamar_keystore -storepass `avlockbox.sh -r keystore_passphrase` -alias mcecroot | openssl x509 -pubkey -noout > mcecroot.pub

Exempel:
Kommandot använder keytool för att lista mcecroot alias i avamar_keystore, skicka resultatet till openssl för att hämta den offentliga nyckeln från nyckelparet och skriva den offentliga nyckeln till en fil med namnet mcecroot.pub.

root@avamar:/usr/local/avamar/lib/#: keytool -list -rfc -keystore /usr/local/avamar/lib/avamar_keystore -storepass `avlockbox.sh -r keystore_passphrase` -alias mcecroot | openssl x509 -pubkey -noout > mcecroot.pub

root@avamar:/usr/local/avamar/lib/#: cat mcecroot.pub
-----BEGIN PUBLIC KEY-----
MHYwEAYHKoZIzj0CAQYFK4EEACIDYgAEicGAqiHQQ8DRi0ZkgsvEA8fCEeqW/DIr
k53CFakwbOtTejb2Okk+2VTkY5H4gfLEKd4Gtq5gPP2OcpaUf/SrIc4MO3bn8OhC
l/vQKfAeJvrPPEvcIG0GiLyLtwJykeUq
-----END PUBLIC KEY-----

Steg 4:
Skriv den nya GSAN-miniserien med hjälp av mcecroot public key, föreslår du att du använder ett tal som är större än det aktuella värdet i MCS.

avmaint publickey --keyfile=./mcecroot.pub --serial=<your number> --ava

Exempel:
Vi måste välja ett serienummer som är tillräckligt högt för att undvika följande fel.

root@avamar:/usr/local/avamar/lib/#: avmaint publickey --keyfile=./mcecroot.pub --serial=28500 --ava
ERROR: avmaint: publickey: server_exception(MSG_ERR_INVALID_PARAMETERS)

root@avamar:/usr/local/avamar/lib/#: avmaint publickey --keyfile=./mcecroot.pub --serial=38000 --ava

Om du får felet ogiltiga parametrar fortsätter du att välja ett högre tal tills det inte finns något fel.

Steg 5:
Verifiera ändringen.

avmaint cat /sysinfo/security/keytable

Exempel:

root@avamar:/usr/local/avamar/lib/#: avmaint cat /sysinfo/security/keytable
<?xml version="1.0" encoding="UTF-8" standalone="yes"?>
<keytable minimalserial="38000">     <-- new gsan minserial
[..]

Steg 6:
Skriv den minsta följetongen till MCS-sessionsbiljetten.

echo -n "<number you were able to use for mcec key>" > /usr/local/avamar/var/mc/server_data/prefs/sessionticket.srl

Exempel:

root@avamar:/usr/local/avamar/lib/#: echo -n "38000" > /usr/local/avamar/var/mc/server_data/prefs/sessionticket.srl

root@avamar:/usr/local/avamar/lib/#: cat /usr/local/avamar/var/mc/server_data/prefs/sessionticket.srl
38000

Steg 7:
Starta om MCS.

mcserver.sh --restart

Steg 8:
Testa säkerhetskopior.