Avamar. Интеграция с Data Domain: Репликация сообщает об ошибке «Нет потоков»

В среде Avamar, интегрированной с Data Domain (DD), репликация завершается частично с учетом следующих исключений, отображаемых в журналах: 

2019-07-01 17:02:14 avtar Info <41435>: - Data Domain configured in Stand-Alone mode.
2019-07-01 17:02:14 avtar Info <40206>: Setting default storage unit to 'avamar-1315232775' for handle 2
2019-07-01 17:02:14 avtar Info <41440>: Data Domain handle:2 capabilities:0x0020021B
2019-07-01 17:02:14 avtar Info <10609>: Data Domain Destination login to ddxxxx.net complete
2019-07-01 17:02:15 avtar Info <42385>: id:1 Range-Replication selected because it is supported since DDOS 6.0 (container.1.cdsf)
2019-07-01 17:02:15 avtar Info <40160>: - Establishing a connection to the Data Domain system with basic authentication (Connection mode: A:0 E:0).
..
2019-07-01 17:02:18 avtar Info <40160>: - Establishing a connection to the Data Domain system with basic authentication (Connection mode: A:0 E:0).
2019-07-01 17:02:21 avtar Error <0000>: Replication failed - id: 3, unexpected exception caught: ddr_replthread:3:replicateSlice: ddp_filecopy_status failed
[179027] [140372932351744] Mon Jul 1 17:02:21 2019
ddp_filecopy_status() failed, start_offset[0], length[20971520], Err: 5539-filecopy operation failed (nfs: Out of Streams)
[179027] [140372932351744] Mon Jul 1 17:02:19 2019
ddp_filecopy_stop() failed, Err: 5004-nfs filecopy stop failed (nfs: No such file or directory)
...
[179027] [140372992386816] Mon Jul 1 17:02:15 2019
ddp_access() failed, Path avamar-1437556709/STAGING/09a1003e41e2a0d9e3333cf9fbb3345e0b665a0e/BACKUP-01974498BF0587FFD2EC4A97BD201139F29D9516-1D52F902DDF23FC, mode 0 Err: 5004-nfs lookup failed (nfs: No such file or directory)
[179027] [140372992386816] Mon Jul 1 17:02:14 2019
ddp_access() failed, Path avamar-1315232775/STAGING/09a1003e41e2a0d9e3333cf9fbb3345e0b665a0e/BACKUP-01974498BF0587FFD2EC4A97BD201139F29D9516-1D52F902DDF23FC, mode 0 Err: 5004-nfs lookup failed (nfs: No such file or directory)
..

2019-07-01 17:02:29 avtar Info <40176>: - Multi-stream restore summary (current 0, max active 0, max cloned 0, total cloned 0, ddr handle 2): 
2019-07-01 17:02:29 avtar FATAL <0000>: Replication failed
2019-07-01 17:02:29 avtar FATAL <40009>: DDR encountered errors.
2019-07-01 17:02:29 avtar Info <9772>: Starting graceful (staged) termination, DDR_ERROR event received (fatal severity) (wrap-up stage)
2019-07-01 17:02:29 avtar Info <0000>: Entering the 'final' phase of termination, DDR_ERROR need to exit)
2019-07-01 17:02:29 avtar Info <40176>: - Multi-stream restore summary (current 0, max active 0, max cloned 0, total cloned 0, ddr handle 2): 
2019/07/01-14:02:29.25907 [avtar] INTERNAL ERROR: <0001> assert error (result == MSG_ERR_NONE), /local/jenkins/workspace/server_rollup_hotfix_SLES11-64/src/avtar/ade/adelib/interfaceade.cpp line 396
2019-07-01 17:02:29 avtar Info <5675>: Replicated 0 of 78 backups (0 errors) for client "ddxxxx.net"
2019-07-01 17:02:29 avtar Error <6655>: Replicate interrupted.
2019-07-01 17:02:29 avtar Info <7925>: Restored 940.4 KB from selection(s) with 6.000 GB in 1 files
2019-07-01 17:02:29 avtar Info <6090>: Restored 940.4 KB in 0.34 minutes: 159.9 MB/hour (174 files/hour)

Возможность подключения между Avamar и исходным Data Domain, а также исходным и целевым доменами Data Domain уже проверена (с помощью ping, ssh и telnet (или curl) на портах 111, 2049, 2051, 2052).

Одна группа репликации состояла из нескольких (4+) клиентов.

В группе репликации для параметра «max-concurrent-processes» было установлено значение 4, что позволяло одновременно реплицировать четыре клиента.

Это приводило к увеличению количества потоков между исходной и целевой системами Data Domain, чем было доступно.

1. Максимальное количество потоков следует проверить как в исходной, так и в целевой системе Data Domain, выполнив следующую команду в соответствующем Data Domain:

ddboost@dd# ddboost streams show active

--------- Active Streams -------- --------- Soft Limits -------- - Hard Limit -
Name Read Write Repl-out Repl-in Read Write Repl Combined Combined
----------------- ---- ----- -------- ------- ---- ----- ---- -------- --------------
avamar-xxxxx 0 0 0 0 - - - - -
----------------- ---- ----- -------- ------- ---- ----- ---- -------- --------------
DD System Stream Limits: read=6 write=35 repl-in=20 repl-out=18 combined=30

2. Сравните максимально допустимое количество с фактической активностью потока, как описано в repl-in или repl-out на целевом и исходном DD соответственно.

Статья базы знаний Data Domain: В разделе Поддерживаемые счетчики потоков для DDOS 6.0 также есть список поддерживаемых счетчиков потоков для каждой модели. Эта статья также содержит ссылки на более ранние версии DDOS 4.0–5.7.

3. Просмотрите параметры max-concurrent-processes и Максимальное количество потоков репликации Data Domain.

• Если клиенты реплицируются в алфавитном порядке:

  • Четыре клиента будут реплицироваться одновременно, создавая 24 потока (по 6 по умолчанию на клиента)
  • Значение по умолчанию может быть изменено с помощью флага произвольной формы "[avtar]ddr-repl-max-parallel-streams» со значением от 1 до 29 в пользовательском интерфейсе.
• Если клиенты реплицируются параллельно (репликация на основе пула), существует дополнительный параметр «Максимальное количество потоков репликации Data Domain», который позволяет контролировать количество потоков на клиента.

В качестве передового подхода к использованию ресурсов и управлению ими следует убедиться, что клиенты разделены на несколько групп репликации.

• Значение "max-streams» эквивалентно «Максимальное количество параллельных процессов» в пользовательском интерфейсе.
• Значение "max-ddr-streams» эквивалентно «Максимальному количеству потоков репликации Data Domain» в пользовательском интерфейсе.