Avamar: Резервні копії можуть припинити відповідати, або файлова система може вийти з ладу через «Фатальну помилку сервера»

Резервні копії виходять з ладу, і в наступних журналах можна побачити такі помилки:

Глобальна мережа зберігання даних Avamar (GSAN) err.log:

[srvm-518654#srv:481]  WARN: <1479> sessionkeytable::setpublickey new serial=<x> less than current minserial=<y>
...
[srvm-525136#srv:775]  WARN: <1426> sessionkeytable::comparesignature incorrect signature

Avtar Журнали:

2019-12-31 07:35:23 avtar Error <8609>: Connection killed from GSAN. (Log #1) 
2019-12-31 07:35:23 avtar FATAL <5704>: Fatal Server Error occurred (MSG_ERR_AUTH_FAIL), aborting execution (SECURETICKETLOGIN=452 serial=1 seq=0 flags=R:H:0 kind=0 rsp=MSG_ERR_AUTH_FAIL) (Log #1) 
2019-12-31 07:35:23 avtar Error <5126>: Login error 5: Authorization failure (Session Ticket login) (Log #1) 
2019-12-31 07:35:23 avtar FATAL <8941>: Fatal server connection problem, aborting initialization. Verify correct server address and login credentials. (Log #1) 
2019-12-31 07:35:23 avtar Error <7001>: Exiting avtar with run-at-end script failure -1 (Log #1)

2019-12-31 07:35:23 avtar Info <8474>: - Log file path: /usr/local/avamar/var/clientlogs/some-Unix.log
2019-12-31 07:35:23 avtar Info <6555>: Initializing connection
2019-12-31 07:35:23 avtar Info <5552>: Connecting to Avamar Server (avamar.com)
2019-12-31 07:35:23 avtar Info <5554>: Connecting to one node in each datacenter
2019-12-31 07:35:23 avtar Info <5993>: - Connect: Connected to 10.x.x.x:29000, Priv=0, SSL Cipher=AES256-SHA
2019-12-31 07:35:23 avtar Info <5993>: - Datacenter 0 has 1 nodes: Connected to 10.x.x.x:29000, Priv=0, SSL Cipher=AES256-SHA
2019-12-31 07:35:23 avtar Info <5581>: Logging in on connection 0 with Session Ticket
2019-12-31 07:35:23 avtar Info <18854>: Using Secure Session Ticket Format
2019-12-31 07:35:23 avtar Error <8609>: Connection killed from GSAN.
2019-12-31 07:35:23 avtar Info <9772>: Starting graceful (staged) termination, KILL event received (wrap-up stage)
2019-12-31 07:35:23 avtar FATAL <5704>: Fatal Server Error occurred (MSG_ERR_AUTH_FAIL), aborting execution (SECURETICKETLOGIN=452 serial=1 seq=0 flags=R:H:0 kind=0 rsp=MSG_ERR_AUTH_FAIL)
2019-12-31 07:35:23 avtar Error <5126>: Login error 5: Authorization failure (Session Ticket login)
2019-12-31 07:35:23 avtar FATAL <8941>: Fatal server connection problem, aborting initialization. Verify correct server address and login credentials.
2019-12-31 07:35:23 avtar Info <6149>: Error summary: 4 errors: 8941, 5704, 5126, 8609
2019-12-31 07:35:23 avtar Info <5917>: Back from run-at-end, exit code -1
2019-12-31 07:35:23 avtar Error <7001>: Exiting avtar with run-at-end script failure -1

Журнали GSAN показують, що призначений квиток сесії міг уже використовуватися для попереднього резервного копіювання.

Це може статися внаслідок відкату GSAN або Management Console Server (MCS), що призводить до порушення порядку сесії.

З журналу GSAN:

WARN: <1418> sessionkeytable::setpublickey session ticket with serial=28451 was used already
WARN: <1426> sessionkeytable::comparesignature incorrect signature

Коли у MCS більший сесійний квиток, ніж GSAN, можна припустити, що GSAN відстає і використовує старі сесійні тікети для передачі клієнтам.

Використовуйте наступну команду grep для допомоги в діагностиці:

grep -i "sessionkeytable\|minserial" /data01/cur/gsan.log.00?

Виконайте наступне для синхронізації квитків сесії:

Крок 1:

Отримайте поточний GSAN minserial:

avmaint cat /sysinfo/security/keytable

Приклад:

root@avamar:/home/admin/#: avmaint cat /sysinfo/security/keytable |grep minimalserial
<keytable minimalserial="<minserial_less_than_mcs>">

Крок 2:

Отримайте поточний серійний квиток сесії з MCS.

cat /usr/local/avamar/var/mc/server_data/prefs/sessionticket.srl

Приклад:

root@avamar:/home/admin/#: cat /usr/local/avamar/var/mc/server_data/prefs/sessionticket.srl
<mcs_session_ticket_larger_than_gsan>

Крок 3:

Створіть файл з відкритим ключем за допомогою "mcecroot», і використати його з avmaint:

cd /usr/local/avamar/lib

keytool -list -rfc -keystore /usr/local/avamar/lib/avamar_keystore -storepass `avlockbox.sh -r keystore_passphrase` -alias mcecroot | openssl x509 -pubkey -noout > mcecroot.pub

(Команда використовує keytool щоб перелічити mcecroot alias у avamar_keystore, надсилає результат на openssl щоб отримати публічний ключ із пари ключів і перетворити публічний ключ у файл, який викликається mcecroot.pub.)

Приклад:

root@avamar:/usr/local/avamar/lib/#: keytool -list -rfc -keystore /usr/local/avamar/lib/avamar_keystore -storepass `avlockbox.sh -r keystore_passphrase` -alias mcecroot | openssl x509 -pubkey -noout > mcecroot.pub

root@avamar:/usr/local/avamar/lib/#: cat mcecroot.pub
-----BEGIN PUBLIC KEY-----
MHYwEAYHKoZIzj0CAQYFK4EEACIDYgAEicGAqiHQQ8DRi0ZkgsvEA8fCEeqW/DIr
k53CFakwbOtTejb2Okk+2VTkY5H4gfLEKd4Gtq5gPP2OcpaUf/SrIc4MO3bn8OhC
l/vQKfAeJvrPPEvcIG0GiLyLtwJykeUq
-----END PUBLIC KEY-----

Крок 4:

Напишіть новий GSAN minserial Використовуючи mcecroot Публічний ключ. Використовуйте число, що перевищує поточне значення в MCS:

avmaint publickey --keyfile=./mcecroot.pub --serial=<new-gsan-minserial-value> --ava

(Потрібно обрати серійний номер достатньо високий, щоб уникнути наступної помилки)

ERROR: avmaint: publickey: server_exception(MSG_ERR_INVALID_PARAMETERS)

Приклади.

root@avamar:/usr/local/avamar/lib/#: avmaint publickey --keyfile=./mcecroot.pub --serial=28500 --ava
ERROR: avmaint: publickey: server_exception(MSG_ERR_INVALID_PARAMETERS)

Якщо отримана помилка вище, продовжуйте обирати більше число, поки помилка не зникне.

root@avamar:/usr/local/avamar/lib/#: avmaint publickey --keyfile=./mcecroot.pub --serial=38000 --ava

Крок 5:

Перевірте зміни:

avmaint cat /sysinfo/security/keytable

Приклад:

root@avamar:/usr/local/avamar/lib/#: avmaint cat /sysinfo/security/keytable |grep minimalserial
<keytable minimalserial="38000">     <-- This should display the gsan minserial number entered in step 4 above

Крок 6:

Запишіть цей мінсеріальний сигнал у сесійний квиток MCS і перевірте:

echo -n "<new-gsan-minserial-value>" > /usr/local/avamar/var/mc/server_data/prefs/sessionticket.srl

Приклад:

root@avamar:/usr/local/avamar/lib/#: echo -n "38000" > /usr/local/avamar/var/mc/server_data/prefs/sessionticket.srl

root@avamar:/usr/local/avamar/lib/#: cat /usr/local/avamar/var/mc/server_data/prefs/sessionticket.srl
38000

Крок 7:

Перезапуск MCS:

mcserver.sh --restart

Крок 8:

Тестуйте резервні копії.