Avamar: Integrazione di Data Domain: La replica segnala un errore "Out of streams"

In un'ambiente Avamar integrato con Data Domain (DD), la replica viene completata parzialmente con le seguenti eccezioni visualizzate nei registri: 

2019-07-01 17:02:14 avtar Info <41435>: - Data Domain configured in Stand-Alone mode.
2019-07-01 17:02:14 avtar Info <40206>: Setting default storage unit to 'avamar-1315232775' for handle 2
2019-07-01 17:02:14 avtar Info <41440>: Data Domain handle:2 capabilities:0x0020021B
2019-07-01 17:02:14 avtar Info <10609>: Data Domain Destination login to ddxxxx.net complete
2019-07-01 17:02:15 avtar Info <42385>: id:1 Range-Replication selected because it is supported since DDOS 6.0 (container.1.cdsf)
2019-07-01 17:02:15 avtar Info <40160>: - Establishing a connection to the Data Domain system with basic authentication (Connection mode: A:0 E:0).
..
2019-07-01 17:02:18 avtar Info <40160>: - Establishing a connection to the Data Domain system with basic authentication (Connection mode: A:0 E:0).
2019-07-01 17:02:21 avtar Error <0000>: Replication failed - id: 3, unexpected exception caught: ddr_replthread:3:replicateSlice: ddp_filecopy_status failed
[179027] [140372932351744] Mon Jul 1 17:02:21 2019
ddp_filecopy_status() failed, start_offset[0], length[20971520], Err: 5539-filecopy operation failed (nfs: Out of Streams)
[179027] [140372932351744] Mon Jul 1 17:02:19 2019
ddp_filecopy_stop() failed, Err: 5004-nfs filecopy stop failed (nfs: No such file or directory)
...
[179027] [140372992386816] Mon Jul 1 17:02:15 2019
ddp_access() failed, Path avamar-1437556709/STAGING/09a1003e41e2a0d9e3333cf9fbb3345e0b665a0e/BACKUP-01974498BF0587FFD2EC4A97BD201139F29D9516-1D52F902DDF23FC, mode 0 Err: 5004-nfs lookup failed (nfs: No such file or directory)
[179027] [140372992386816] Mon Jul 1 17:02:14 2019
ddp_access() failed, Path avamar-1315232775/STAGING/09a1003e41e2a0d9e3333cf9fbb3345e0b665a0e/BACKUP-01974498BF0587FFD2EC4A97BD201139F29D9516-1D52F902DDF23FC, mode 0 Err: 5004-nfs lookup failed (nfs: No such file or directory)
..

2019-07-01 17:02:29 avtar Info <40176>: - Multi-stream restore summary (current 0, max active 0, max cloned 0, total cloned 0, ddr handle 2): 
2019-07-01 17:02:29 avtar FATAL <0000>: Replication failed
2019-07-01 17:02:29 avtar FATAL <40009>: DDR encountered errors.
2019-07-01 17:02:29 avtar Info <9772>: Starting graceful (staged) termination, DDR_ERROR event received (fatal severity) (wrap-up stage)
2019-07-01 17:02:29 avtar Info <0000>: Entering the 'final' phase of termination, DDR_ERROR need to exit)
2019-07-01 17:02:29 avtar Info <40176>: - Multi-stream restore summary (current 0, max active 0, max cloned 0, total cloned 0, ddr handle 2): 
2019/07/01-14:02:29.25907 [avtar] INTERNAL ERROR: <0001> assert error (result == MSG_ERR_NONE), /local/jenkins/workspace/server_rollup_hotfix_SLES11-64/src/avtar/ade/adelib/interfaceade.cpp line 396
2019-07-01 17:02:29 avtar Info <5675>: Replicated 0 of 78 backups (0 errors) for client "ddxxxx.net"
2019-07-01 17:02:29 avtar Error <6655>: Replicate interrupted.
2019-07-01 17:02:29 avtar Info <7925>: Restored 940.4 KB from selection(s) with 6.000 GB in 1 files
2019-07-01 17:02:29 avtar Info <6090>: Restored 940.4 KB in 0.34 minutes: 159.9 MB/hour (174 files/hour)

La connettività tra Avamar e Data Domain di origine e i Data Domain di origine e di destinazione erano già stati verificati (utilizzando ping, ssh e telnet (o curl) sulle porte 111, 2049, 2051, 2052).

Un singolo gruppo di replica era con più (4+) client.

Nel gruppo di replica, "max-concurrent-processes" è stato impostato su quattro, che ha replicato quattro client contemporaneamente.

Ciò ha comportato un numero di flussi tra i Data Domain di origine e di destinazione superiore a quello disponibile.

1. Il numero massimo di flussi deve essere controllato sia sull'origine che sulla destinazione di Data Domain eseguendo il seguente comando sul rispettivo Data Domain:

ddboost@dd# ddboost streams show active

--------- Active Streams -------- --------- Soft Limits -------- - Hard Limit -
Name Read Write Repl-out Repl-in Read Write Repl Combined Combined
----------------- ---- ----- -------- ------- ---- ----- ---- -------- --------------
avamar-xxxxx 0 0 0 0 - - - - -
----------------- ---- ----- -------- ------- ---- ----- ---- -------- --------------
DD System Stream Limits: read=6 write=35 repl-in=20 repl-out=18 combined=30

2. Confrontare il numero massimo consentito con l'attività di flusso effettiva, come in repl-in oppure repl-out rispettivamente sul DD di destinazione e di origine.

L'articolo della knowledgebase Data Domain: Il numero di flussi supportati per DDOS 6.0 include anche un elenco di conteggi dei flussi supportati per modello. Questo articolo contiene anche link a versioni precedenti di DDOS da 4.0 a 5.7.

3. Esaminare max-concurrent-processes e Maximum number of Data Domain Replication Streams.

• Se i client vengono replicati in ordine alfabetico:

  • I quattro client replicano simultaneamente 24 flussi (6 per impostazione predefinita per client)
  • L'impostazione predefinita può essere modificata utilizzando il flag a mano libera "[avtar]ddr-repl-max-parallel-streams" con un valore da 1 a 29 all'interno dell'interfaccia utente.
• Se i client vengono replicati in parallelo (replica basata su pool), esiste un'impostazione aggiuntiva "Numero massimo di flussi di replica Data Domain" per controllare il numero di flussi per client.

Come best practice per l'utilizzo e la gestione delle risorse, assicurarsi che i client siano suddivisi in più gruppi di replica.

• Il valore di "max-streams" equivale al numero massimo di processi simultanei nell'interfaccia utente.
• Il valore di "max-ddr-streams" equivale a "Numero massimo di flussi di replica di Data Domain" nell'interfaccia utente.