Avamar: Integracja Data Domain: Replikacja zgłasza błąd "Poza strumieniami"

W środowisku Avamar zintegrowanym z Data Domain (DD) replikacja kończy się częściowo z następującymi wyjątkami widocznymi w dziennikach: 

2019-07-01 17:02:14 avtar Info <41435>: - Data Domain configured in Stand-Alone mode.
2019-07-01 17:02:14 avtar Info <40206>: Setting default storage unit to 'avamar-1315232775' for handle 2
2019-07-01 17:02:14 avtar Info <41440>: Data Domain handle:2 capabilities:0x0020021B
2019-07-01 17:02:14 avtar Info <10609>: Data Domain Destination login to ddxxxx.net complete
2019-07-01 17:02:15 avtar Info <42385>: id:1 Range-Replication selected because it is supported since DDOS 6.0 (container.1.cdsf)
2019-07-01 17:02:15 avtar Info <40160>: - Establishing a connection to the Data Domain system with basic authentication (Connection mode: A:0 E:0).
..
2019-07-01 17:02:18 avtar Info <40160>: - Establishing a connection to the Data Domain system with basic authentication (Connection mode: A:0 E:0).
2019-07-01 17:02:21 avtar Error <0000>: Replication failed - id: 3, unexpected exception caught: ddr_replthread:3:replicateSlice: ddp_filecopy_status failed
[179027] [140372932351744] Mon Jul 1 17:02:21 2019
ddp_filecopy_status() failed, start_offset[0], length[20971520], Err: 5539-filecopy operation failed (nfs: Out of Streams)
[179027] [140372932351744] Mon Jul 1 17:02:19 2019
ddp_filecopy_stop() failed, Err: 5004-nfs filecopy stop failed (nfs: No such file or directory)
...
[179027] [140372992386816] Mon Jul 1 17:02:15 2019
ddp_access() failed, Path avamar-1437556709/STAGING/09a1003e41e2a0d9e3333cf9fbb3345e0b665a0e/BACKUP-01974498BF0587FFD2EC4A97BD201139F29D9516-1D52F902DDF23FC, mode 0 Err: 5004-nfs lookup failed (nfs: No such file or directory)
[179027] [140372992386816] Mon Jul 1 17:02:14 2019
ddp_access() failed, Path avamar-1315232775/STAGING/09a1003e41e2a0d9e3333cf9fbb3345e0b665a0e/BACKUP-01974498BF0587FFD2EC4A97BD201139F29D9516-1D52F902DDF23FC, mode 0 Err: 5004-nfs lookup failed (nfs: No such file or directory)
..

2019-07-01 17:02:29 avtar Info <40176>: - Multi-stream restore summary (current 0, max active 0, max cloned 0, total cloned 0, ddr handle 2): 
2019-07-01 17:02:29 avtar FATAL <0000>: Replication failed
2019-07-01 17:02:29 avtar FATAL <40009>: DDR encountered errors.
2019-07-01 17:02:29 avtar Info <9772>: Starting graceful (staged) termination, DDR_ERROR event received (fatal severity) (wrap-up stage)
2019-07-01 17:02:29 avtar Info <0000>: Entering the 'final' phase of termination, DDR_ERROR need to exit)
2019-07-01 17:02:29 avtar Info <40176>: - Multi-stream restore summary (current 0, max active 0, max cloned 0, total cloned 0, ddr handle 2): 
2019/07/01-14:02:29.25907 [avtar] INTERNAL ERROR: <0001> assert error (result == MSG_ERR_NONE), /local/jenkins/workspace/server_rollup_hotfix_SLES11-64/src/avtar/ade/adelib/interfaceade.cpp line 396
2019-07-01 17:02:29 avtar Info <5675>: Replicated 0 of 78 backups (0 errors) for client "ddxxxx.net"
2019-07-01 17:02:29 avtar Error <6655>: Replicate interrupted.
2019-07-01 17:02:29 avtar Info <7925>: Restored 940.4 KB from selection(s) with 6.000 GB in 1 files
2019-07-01 17:02:29 avtar Info <6090>: Restored 940.4 KB in 0.34 minutes: 159.9 MB/hour (174 files/hour)

Łączność między Avamar i źródłową domeną danych oraz źródłową i docelową domeną danych została już zweryfikowana (przy użyciu poleceń ping, ssh i telnet (lub curl) na portach 111, 2049, 2051, 2052).

Pojedyncza grupa replikacji była z wieloma klientami (4+).

W grupie replikacji wartość "max-concurrent-processes" została ustawiona na cztery, co spowodowało jednoczesną replikację czterech klientów.

Spowodowało to większą liczbę strumieni między źródłową i docelową domeną danych niż była dostępna.

1. Maksymalną liczbę strumieni należy sprawdzić zarówno w źródle, jak i obiekcie docelowym Data Domain, uruchamiając następujące polecenie w odpowiedniej Data Domain:

ddboost@dd# ddboost streams show active

--------- Active Streams -------- --------- Soft Limits -------- - Hard Limit -
Name Read Write Repl-out Repl-in Read Write Repl Combined Combined
----------------- ---- ----- -------- ------- ---- ----- ---- -------- --------------
avamar-xxxxx 0 0 0 0 - - - - -
----------------- ---- ----- -------- ------- ---- ----- ---- -------- --------------
DD System Stream Limits: read=6 write=35 repl-in=20 repl-out=18 combined=30

2. Porównaj maksymalną dozwoloną liczbę z rzeczywistą aktywnością strumienia, jak w repl-in lub repl-out odpowiednio na docelowym i źródłowym DD.

Artykuł bazy wiedzy Data Domain: Obsługiwana liczba strumieni dla DDOS 6.0 zawiera również listę obsługiwanych strumieni według modelu. Ten artykuł zawiera również łącza do wcześniejszych wersji DDOS od 4.0 do 5.7.

3. Zapoznaj się z maksymalnymi współbieżnymi procesami i maksymalną liczbą strumieni replikacji Data Domain.

• Jeśli klienci są replikowani alfabetycznie:

  • Cztery klienty replikują się jednocześnie, tworząc 24 strumienie (domyślnie 6 na klienta)
  • Wartość domyślną można zmienić za pomocą flagi dowolnego kształtu "[avtar]ddr-repl-max-parallel-streams" z wartością 1-29 w interfejsie użytkownika.
• Jeśli klienty są replikowane równolegle (replikacja oparta na pulach), istnieje dodatkowe ustawienie "Maksymalna liczba strumieni replikacji Data Domain", które kontroluje liczbę strumieni na klienta.

Najlepszym rozwiązaniem w zakresie wykorzystania zasobów i zarządzania nimi jest upewnienie się, że klienci są podzieleni na więcej niż jedną grupę replikacji.

• Wartość "max-streams" jest odpowiednikiem "Maksymalnej liczby współbieżnych procesów" w interfejsie użytkownika.
• Wartość "max-ddr-streams" jest odpowiednikiem "Maksymalnej liczby strumieni replikacji Data Domain" w interfejsie użytkownika.