Avamar: Integrace systému Data Domain: Replikace hlásí chybu "Out of streams"

V prostředí Avamar integrovaném se systémem Data Domain (DD) se replikace dokončuje částečně s následujícími výjimkami v protokolech: 

2019-07-01 17:02:14 avtar Info <41435>: - Data Domain configured in Stand-Alone mode.
2019-07-01 17:02:14 avtar Info <40206>: Setting default storage unit to 'avamar-1315232775' for handle 2
2019-07-01 17:02:14 avtar Info <41440>: Data Domain handle:2 capabilities:0x0020021B
2019-07-01 17:02:14 avtar Info <10609>: Data Domain Destination login to ddxxxx.net complete
2019-07-01 17:02:15 avtar Info <42385>: id:1 Range-Replication selected because it is supported since DDOS 6.0 (container.1.cdsf)
2019-07-01 17:02:15 avtar Info <40160>: - Establishing a connection to the Data Domain system with basic authentication (Connection mode: A:0 E:0).
..
2019-07-01 17:02:18 avtar Info <40160>: - Establishing a connection to the Data Domain system with basic authentication (Connection mode: A:0 E:0).
2019-07-01 17:02:21 avtar Error <0000>: Replication failed - id: 3, unexpected exception caught: ddr_replthread:3:replicateSlice: ddp_filecopy_status failed
[179027] [140372932351744] Mon Jul 1 17:02:21 2019
ddp_filecopy_status() failed, start_offset[0], length[20971520], Err: 5539-filecopy operation failed (nfs: Out of Streams)
[179027] [140372932351744] Mon Jul 1 17:02:19 2019
ddp_filecopy_stop() failed, Err: 5004-nfs filecopy stop failed (nfs: No such file or directory)
...
[179027] [140372992386816] Mon Jul 1 17:02:15 2019
ddp_access() failed, Path avamar-1437556709/STAGING/09a1003e41e2a0d9e3333cf9fbb3345e0b665a0e/BACKUP-01974498BF0587FFD2EC4A97BD201139F29D9516-1D52F902DDF23FC, mode 0 Err: 5004-nfs lookup failed (nfs: No such file or directory)
[179027] [140372992386816] Mon Jul 1 17:02:14 2019
ddp_access() failed, Path avamar-1315232775/STAGING/09a1003e41e2a0d9e3333cf9fbb3345e0b665a0e/BACKUP-01974498BF0587FFD2EC4A97BD201139F29D9516-1D52F902DDF23FC, mode 0 Err: 5004-nfs lookup failed (nfs: No such file or directory)
..

2019-07-01 17:02:29 avtar Info <40176>: - Multi-stream restore summary (current 0, max active 0, max cloned 0, total cloned 0, ddr handle 2): 
2019-07-01 17:02:29 avtar FATAL <0000>: Replication failed
2019-07-01 17:02:29 avtar FATAL <40009>: DDR encountered errors.
2019-07-01 17:02:29 avtar Info <9772>: Starting graceful (staged) termination, DDR_ERROR event received (fatal severity) (wrap-up stage)
2019-07-01 17:02:29 avtar Info <0000>: Entering the 'final' phase of termination, DDR_ERROR need to exit)
2019-07-01 17:02:29 avtar Info <40176>: - Multi-stream restore summary (current 0, max active 0, max cloned 0, total cloned 0, ddr handle 2): 
2019/07/01-14:02:29.25907 [avtar] INTERNAL ERROR: <0001> assert error (result == MSG_ERR_NONE), /local/jenkins/workspace/server_rollup_hotfix_SLES11-64/src/avtar/ade/adelib/interfaceade.cpp line 396
2019-07-01 17:02:29 avtar Info <5675>: Replicated 0 of 78 backups (0 errors) for client "ddxxxx.net"
2019-07-01 17:02:29 avtar Error <6655>: Replicate interrupted.
2019-07-01 17:02:29 avtar Info <7925>: Restored 940.4 KB from selection(s) with 6.000 GB in 1 files
2019-07-01 17:02:29 avtar Info <6090>: Restored 940.4 KB in 0.34 minutes: 159.9 MB/hour (174 files/hour)

Připojení mezi systémem Avamar a zdrojovou oblastí Data Domain a zdrojovou a cílovou doménou Data Domain již bylo ověřeno (pomocí příkazu ping, SSH a telnet (nebo curl) na portech 111, 2049, 2051, 2052).

Jedna skupina replikace byla s více klienty (4+).

Ve skupině replikace byl parametr "max-concurrent-processes" nastaven na čtyři, což replikovalo čtyři klienty současně.

To vedlo k vyššímu počtu datových proudů mezi zdrojovou a cílovou doménou Data Domain, než bylo k dispozici.

1. Maximální počet datových proudů je třeba zkontrolovat ve zdroji i cíli systému Data Domain spuštěním následujícího příkazu v příslušné části Data Domain:

ddboost@dd# ddboost streams show active

--------- Active Streams -------- --------- Soft Limits -------- - Hard Limit -
Name Read Write Repl-out Repl-in Read Write Repl Combined Combined
----------------- ---- ----- -------- ------- ---- ----- ---- -------- --------------
avamar-xxxxx 0 0 0 0 - - - - -
----------------- ---- ----- -------- ------- ---- ----- ---- -------- --------------
DD System Stream Limits: read=6 write=35 repl-in=20 repl-out=18 combined=30

2. Porovnejte maximální povolený počet se skutečnou aktivitou streamu, jako v repl-in nebo repl-out v cílovém a zdrojovém systému DD.

Článek znalostní databáze Data Domain: Podporované počty datových proudů pro systém DDOS 6.0 také obsahují seznam podporovaných počtů datových proudů pro každý model. Tento článek také obsahuje odkazy na starší verze systému DDOS 4.0 až 5.7.

3. Zkontrolujte max-concurrent-processes a Maximální počet datových proudů replikace Data Domain.

• Pokud jsou klienti replikováni podle abecedy:

  • Čtyři klienti by se replikovali současně a vytvořili by 24 datových proudů (ve výchozím nastavení 6 na klienta).
  • Výchozí nastavení lze změnit pomocí příznaku volného tvaru "[avtar]ddr-repl-max-parallel-streams" s hodnotou 1-29 v uživatelském rozhraní.
• Pokud jsou klienti replikováni paralelně (replikace na základě fondu), je k dispozici další nastavení "Maximální počet datových proudů replikace Data Domain", které určuje, kolik datových proudů na klienta.

Osvědčeným postupem pro využití a správu prostředků je zajistit, aby byli klienti rozděleni do více než jedné skupiny replikace.

• Hodnota "max-streams" je ekvivalentem "Maximální počet souběžných procesů" v uživatelském rozhraní.
• Hodnota "max-ddr-streams" odpovídá hodnotě "Maximální počet datových proudů replikace systému Data Domain" v uživatelském rozhraní.