Avamar: Errore medio NDMP dovuto al blocco del firewall delle porte tra Accelerator e VNX

Sintomi di errore del backup NDMP

I seguenti sintomi si osservano quando un backup Avamar NDMP rileva un errore di media:

• Il processo di backup viene interrotto con il messaggio "Medium error".
• L'operazione di scrittura sul volume di archiviazione non riesce.
• Il flusso di dati NDMP viene interrotto e segnala NDMP_DATA_HALT_INTERNAL_ERROR .
• Data Mover indica "Data Halted" e attende il completamento del thread di trasferimento.
• Trasferimento dei dati a avtar Si arresta senza successo.
• La colonna avtar Il processo esce con codice 163 (annullato esternamente).
• Il backup per il volume di destinazione segnala errori e viene contrassegnato come interrotto.
• Il riepilogo finale mostra un codice di uscita diverso da zero (ad esempio 157).

Estratti di registri di esempio che illustrano questi sintomi:

2016-08-02 11:34:51 avndmp Info <0000>: [snapup-/root_vdm_1/Corp] NDMP: SnapSure file system creation succeeds
2016-08-02 11:43:54 avndmp Error <0000>: [snapup-/root_vdm_1/Corp] NDMP: Medium error
2016-08-02 11:43:54 avndmp Warning <0000>: [snapup-/root_vdm_1/Corp] NDMP: Write failed on archive volume 1
2016-08-02 11:43:54 avndmp Info <0000>: [snapup-/root_vdm_1/Corp] NDMP: server_archive: emctar vol 1, 110 files, 0 bytes read, 1179648 bytes written
2016-08-02 11:43:54 avndmp Warning <0000>: [snapup-/root_vdm_1/Corp] NDMP Data Halted, reason : NDMP_DATA_HALT_INTERNAL_ERROR
2016-08-02 11:43:54 avndmp Info <0000>: [snapup-/root_vdm_1/Corp] Data mover reports Data Halted.  Waiting for transfer thread to finish feeding stream to avtar...
2016-08-02 11:43:54 avndmp Warning <0000>: [snapup-/root_vdm_1/Corp] Data halted unsuccessfully, stopping data transfer to avtar.
2016-08-02 11:43:54 avndmp Info <0000>: [snapup-/root_vdm_1/Corp] Cancelling avtar
2016-08-02 11:43:58 avndmp Info <6688>: [ctl_spawn] Process 23228 (/usr/local/avamar/bin/avtar) finished (code 163: externally cancelled)
2016-08-02 11:43:58 avndmp Warning <6690>: [ctl_spawn] CTL workorder "MOD-1470162815289#1" non-zero exit status 'code 163: externally cancelled'
2016-08-02 11:43:59 avndmp Info <0000>: [ndmp2avtar-/root_vdm_1/Corp/] NDMP stream bytes read = 2779, bytes written = 2779
2016-08-02 11:44:10 avndmp Info <0000>: [snapup-/root_vdm_1/Corp] Waiting for data transfer thread to exit
2016-08-02 11:44:10 avndmp Info <0000>: [snapup-/root_vdm_1/Corp] Waiting for volume /root_vdm_1/Corp snapshot to be removed.  Will stop waiting after 300 seconds.
2016-08-02 11:44:15 avndmp Info <0000>: [snapup-/root_vdm_1/Corp] Snapshot for volume /root_vdm_1/Corp was removed after 5 seconds.
2016-08-02 11:44:15 avndmp Error <0000>: [snapup-/root_vdm_1/Corp] Backup for target /root_vdm_1/Corp had errors.
2016-08-02 11:44:15 avndmp Info <0000>: [snapup-/root_vdm_1/Corp] Backup of '/root_vdm_1/Corp' aborted. Error in NDMP session.
2016-08-02 11:44:15 avndmp Info <0000>: [avndmp_assist] Thread exited with errors: /root_vdm_1/Corp
2016-08-02 11:44:15 avndmp Info <0000>: [avndmp_assist] Active threads:
2016-08-02 11:44:15 avndmp Info <0000>: [avndmp_ctl_sup] Threads successfully completed 0, canceled/aborted 0, failed 1
2016-08-02 11:44:15 avndmp Info <7271>: [avndmp_ctl_sup] Final summary generated subwork 1, cancelled/aborted 0, snapview 0, exitcode 157

Blocco della comunicazione di rete tra l'acceleratore Avamar NDMP e VNX

Il backup NDMP non riesce perché il firewall limita il traffico tra l'accelerator node Avamar NDMP e il sistema di storage VNX. È stata aperta solo la porta TCP 10000, mentre l'acceleratore NDMP richiede una gamma di porte aggiuntive per il trasferimento dei dati. Questa restrizione fa sì che nella sessione NDMP si verifichi un "errore medio" e una condizione interna di arresto dei dati.

Prove dai registri di sistema

2016-08-02 14:12:31: 13156679683: network error (../NdmpdMover.cxx: 1226)
2016-08-02 14:12:31: 13156679680: Session 033 (thread nasw00) NdmpdSession::ndmpdApiWrite fails in local or remote wirte msg, moverAddressType=1, mp=0x01005ed840
2016-08-02 14:12:31: 13156679680: Thread bkup058 Medium error

• La voce di registro mostra un errore di rete originato da NdmpdMover.cxx , che indica un errore nel data mover NDMP.
• La successiva "NdmpdApiWrite fails" il messaggio conferma che la sessione NDMP non è riuscita a scrivere dati sull'endpoint remoto.
• Il "Medium error" finale è in linea con l'interruzione del backup NDMP segnalata nei registri Avamar.

Dettagli sulla root cause

• Regole firewall insufficienti: Era consentita solo la porta 10000, mentre l'acceleratore NDMP richiede un intervallo contiguo di porte (in genere 10000-10099) per i flussi di dati.
• Le porte dati bloccate impediscono al gestore NDMP di stabilire una connessione affidabile, causando errori NDMP interni come NDMP_DATA_HALT_INTERNAL_ERROR.
• La mancanza di porte richieste attiva il processo NDMP di Avamar per annullare il backup, generando il codice di uscita 163 ("externally canceled"). 

Apertura delle porte del firewall richieste per l'acceleratore Avamar NDMP

Procedura dettagliata

• Identificare l'indirizzo IP dell'accelerator node Avamar NDMP e del sistema di storage VNX.
• Accedere al firewall che controlla il traffico tra questi due dispositivi.
• Verificare che la porta TCP 10000 sia già consentita. In caso contrario, creare una regola per consentire il traffico in entrata e in uscita su questa porta.
• Aprire un intervallo contiguo di almeno 100 porte per il traffico dati NDMP (ad esempio, 10000‑10100). Applicare la regola in entrambe le direzioni tra l'accelerator node NDMP Avamar e il sistema VNX.
• Salvare e applicare la configurazione del firewall.

Convalida della configurazione delle porte sul sistema VNX

Visualizzare le impostazioni correnti della porta NDMP:

server_param server_2 -f NDMP -l

Se l'output non mostra l'intervallo appena aggiunto, aggiungerlo con il seguente comando (sostituire e con l'intervallo scelto):

Aggiunta di un intervallo di porte 

Aggiungere un nuovo intervallo di porte NDMP:

server_param server_2 -f NDMP -l "-"

Eseguire un backup di prova.

Avviare un backup NDMP per un volume di prova:

avtar -c -s  -d

Al termine del backup, esaminare i registri NDMP di Avamar per verificare la presenza di eventuali messaggi di errore.

Esame dei registri NDMP

Visualizzare le voci di registro NDMP recenti:

grep -i "NDMP" /var/log/avndmp.log | tail -20

Il registro dovrebbe mostrare i messaggi di completamento riusciti senza voci "Errore medio" o "Dati interrotti".