Avamar: MCS no se inicia después de perder el archivo mcserver.xml

Después de una reversión, el servidor de la consola de administración (MCS) se estaba restaurando.

Como parte estándar del proceso, el /usr/local/avamar/var/mc/server_data Se eliminó el directorio.

Debido a que avtar utiliza el cifrado SSL predeterminado, la restauración de MCS falló y se eliminó el archivo mcserver.xml (lo que provocó que MCS no se iniciara).

Evidencia de reversión en los registros de gsan:

mapall --noerror 'grep -hi "rolled back" /data01/cur/gsan.log*' | sort | tail -1

2019/05/17-11:41:14.65109 {P0.0} [gsan]  <1287> gsan::run gsan rolled back to cp.xxxxxxxxxxxx 

Salida del dpnctl.log:

less dpnctl.log

2019/05/17-11:47:48 --restore will modify your Administrator Server database and preferences.
2019/05/17-11:47:48 Do you want to proceed with the restore Y/N? [Y]: sed: can't read /usr/local/avamar/var/mc/
server_data/prefs/mcserver.xml: No such file or directory
2019/05/17-11:47:48 sed: can't read /usr/local/avamar/var/mc/server_data/prefs/mcserver.xml: No such file or directory
2019/05/17-11:47:48 Decrypting all registered passwords...
2019/05/17-11:47:48 see MCCipher log for details: /usr/local/avamar/var/mc/server_log/mccipher.log.0
2019/05/17-11:47:48 Database server stopped.
2019/05/17-11:47:48 removing data dir /usr/local/avamar/var/mc/server_data
2019/05/17-11:47:48 INFO: /usr/local/avamar/var/mc already exists
2019/05/17-11:47:48 INFO: creating /usr/local/avamar/var/mc/server_data/postgres/data with permissions 0755
.
2019/05/17-11:47:48 Please wait....
2019/05/17-11:47:48 avtar Error <18838>: SSL certificate/key not found or invalid key. '/usr/local/avamar/etc/x.x.x.x/cert.pem' '/usr/local/avamar/etc/x.x.x.x/key.pem'
.
.
2019/05/17-11:47:48 rm -f /tmp/dpnctl-mcs-restore-status-6696 /tmp/dpnctl-mcs-restore-output-6696
2019/05/17-11:47:48 dpnctl: ERROR: MCS restore did not succeed, so not restarting MCS

La enumeración manual de los MC_BACKUPS mediante avtar genera un error:

avtar --backups --path=/MC_BACKUPS |more 

avtar Info <5552>: Connecting to Avamar Server (xxxx)
avtar Info <5554>: Connecting to one node in each datacenter
avtar Error <18838>: SSL certificate/key not found or invalid key. '/usr/local/avamar/etc/x.x.x.x/cert.pem' '/usr/local/avamar/etc/x.x.x.x/key.pem'
avtar Info <5557>: No connections available
avtar FATAL <8604>: Fatal server connection problem, aborting initialization. Verify correct server address and login credentials.
avtar FATAL <5308>: Failed to initiate session with server
avtar Info <6149>: Error summary: 8 errors: 5308, 8604, 18838(6)
avtar Info <5314>: Command failed (8 errors, exit code 10008: cannot establish connection with server (possible network or DNS failure))

La restauración de MCS mediante el cifrado SSL predeterminado falla, ya que el certificado SSL y la clave no coinciden.

Solución alternativa:

1. Inicie sesión en Avamar Utility Node como administrador.

2. Vaya al directorio /home/admin:

cd /home/admin 

3. Cree un nuevo directorio temporal:

mkdir mc_restore

4. Cambie al directorio recién creado:

cd /home/admin/mc_restore

5. Enumere los MC_BACKUPS agregando el "--encrypt=proprietary", que utiliza un cifrado de texto no cifrado. (por lo tanto, no hay cifrado en absoluto):

avtar --archives --path=/MC_BACKUPS --count=1 --encrypt=proprietary

avtar Info <19849>: Selecting 1 backups
avtar Info <7377>: Backups for /MC_BACKUPS as of 2019-05-23 11:39:43 BST
    Date      Time    Seq       Label           Size     Plugin    Working directory         Targets
 ---------- -------- ----- ----------------- ---------- -------- --------------------- -------------------
 2019-05-15 08:45:32 10196                      526254K Linux    /usr/local/avamar     var/mc/server_data
avtar Info <5314>: Command completed (exit code 0: success)

6. Restaure el /usr/local/avamar/var/mc/server_data directorio que utiliza after según el paso 3 en el procedimiento de restauración de Avamar: El vaciado de MCS falla o MCS no se inicia debido a problemas con el archivo mcserver.xml:

Por ejemplo:

avtar -x --path=/MC_BACKUPS --labelnum=10196 --target=.

avtar Info <5259>: Restoring backup to directory "."
avtar Info <5262>: Restore completed
avtar Info <7925>: Restored 510.0 MB from selection(s) with 513.9 MB in 35 files, 17 directories
avtar Info <6090>: Restored 510.0 MB in 1.06 minutes: 28.26 GB/hour (1,986 files/hour)

El directorio se restaura a /home/admin/mc_restore/var/mc/server_data/.

7. Copie el contenido de /home/admin/mc_restore/var/mc/server_data/ al vacío /usr/local/avamar/var/mc/server_data directorio.

8. Restaure MCS con el número de etiqueta restaurado:

mcserver.sh --restore --labelnum=10196

9. Inicie MCS:

 mcserver.sh --start 

Resultado de muestra:

Starting Administrator Server at: Thu May 23 12:09:15 BST 2019
Starting Administrator Server...
SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".
SLF4J: Defaulting to no-operation (NOP) logger implementation
SLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further details.
Administrator Server started.

10. Una vez iniciado, realice un vaciado de MCS (también conocido como respaldo):

mcserver.sh --flush

=== BEGIN === check.mcs (preflush)
check.mcs                        passed
=== PASS === check.mcs PASSED OVERALL (preflush)
Flushing Administrator Server...
Administrator Server flushed.
 

11. Vuelva a generar los certificados SSL según la sección de resolución de Avamar: Avtar no puede conectarse al servicio GSAN de Avamar; "Fatal server connection problem, aborting initialization":

12. Enumere los MC_BACKUPS para verificar que no haya errores de certificado SSL:

avtar --archives --path=/MC_BACKUPS --count=10 

Resultado de muestra:

avtar Info <19849>: Selecting 1 backups
avtar Info <7377>: Backups for /MC_BACKUPS as of 2019-05-23 11:39:43 BST
    Date      Time    Seq       Label           Size     Plugin    Working directory         Targets
 ---------- -------- ----- ----------------- ---------- -------- --------------------- -------------------
 2019-05-15 08:00:05   419                          73K Linux    /usr/local/avamar     var/em/server_data
 2019-05-14 08:00:04   418                          73K Linux    /usr/local/avamar     var/em/server_data
 2019-05-13 08:00:04   417                          73K Linux    /usr/local/avamar     var/em/server_data
avtar Info <5314>: Command completed (exit code 0: success)

Hay otra opción para superar temporalmente el error de SSL al enumerar el MC_BACKUPS es usar el comando --encrypt=tls bandera: 

avtar --backups --path=/MC_BACKUPS --encrypt=tls | head -30