Авамар: Інтеграція домену даних: Реплікація повідомляє про помилку "Поза потоками"

У середовищі Avamar, інтегрованому з Data Domain (DD), реплікація завершується частково з наступними винятками, які можна побачити в журналах: 

2019-07-01 17:02:14 avtar Info <41435>: - Data Domain configured in Stand-Alone mode.
2019-07-01 17:02:14 avtar Info <40206>: Setting default storage unit to 'avamar-1315232775' for handle 2
2019-07-01 17:02:14 avtar Info <41440>: Data Domain handle:2 capabilities:0x0020021B
2019-07-01 17:02:14 avtar Info <10609>: Data Domain Destination login to ddxxxx.net complete
2019-07-01 17:02:15 avtar Info <42385>: id:1 Range-Replication selected because it is supported since DDOS 6.0 (container.1.cdsf)
2019-07-01 17:02:15 avtar Info <40160>: - Establishing a connection to the Data Domain system with basic authentication (Connection mode: A:0 E:0).
..
2019-07-01 17:02:18 avtar Info <40160>: - Establishing a connection to the Data Domain system with basic authentication (Connection mode: A:0 E:0).
2019-07-01 17:02:21 avtar Error <0000>: Replication failed - id: 3, unexpected exception caught: ddr_replthread:3:replicateSlice: ddp_filecopy_status failed
[179027] [140372932351744] Mon Jul 1 17:02:21 2019
ddp_filecopy_status() failed, start_offset[0], length[20971520], Err: 5539-filecopy operation failed (nfs: Out of Streams)
[179027] [140372932351744] Mon Jul 1 17:02:19 2019
ddp_filecopy_stop() failed, Err: 5004-nfs filecopy stop failed (nfs: No such file or directory)
...
[179027] [140372992386816] Mon Jul 1 17:02:15 2019
ddp_access() failed, Path avamar-1437556709/STAGING/09a1003e41e2a0d9e3333cf9fbb3345e0b665a0e/BACKUP-01974498BF0587FFD2EC4A97BD201139F29D9516-1D52F902DDF23FC, mode 0 Err: 5004-nfs lookup failed (nfs: No such file or directory)
[179027] [140372992386816] Mon Jul 1 17:02:14 2019
ddp_access() failed, Path avamar-1315232775/STAGING/09a1003e41e2a0d9e3333cf9fbb3345e0b665a0e/BACKUP-01974498BF0587FFD2EC4A97BD201139F29D9516-1D52F902DDF23FC, mode 0 Err: 5004-nfs lookup failed (nfs: No such file or directory)
..

2019-07-01 17:02:29 avtar Info <40176>: - Multi-stream restore summary (current 0, max active 0, max cloned 0, total cloned 0, ddr handle 2): 
2019-07-01 17:02:29 avtar FATAL <0000>: Replication failed
2019-07-01 17:02:29 avtar FATAL <40009>: DDR encountered errors.
2019-07-01 17:02:29 avtar Info <9772>: Starting graceful (staged) termination, DDR_ERROR event received (fatal severity) (wrap-up stage)
2019-07-01 17:02:29 avtar Info <0000>: Entering the 'final' phase of termination, DDR_ERROR need to exit)
2019-07-01 17:02:29 avtar Info <40176>: - Multi-stream restore summary (current 0, max active 0, max cloned 0, total cloned 0, ddr handle 2): 
2019/07/01-14:02:29.25907 [avtar] INTERNAL ERROR: <0001> assert error (result == MSG_ERR_NONE), /local/jenkins/workspace/server_rollup_hotfix_SLES11-64/src/avtar/ade/adelib/interfaceade.cpp line 396
2019-07-01 17:02:29 avtar Info <5675>: Replicated 0 of 78 backups (0 errors) for client "ddxxxx.net"
2019-07-01 17:02:29 avtar Error <6655>: Replicate interrupted.
2019-07-01 17:02:29 avtar Info <7925>: Restored 940.4 KB from selection(s) with 6.000 GB in 1 files
2019-07-01 17:02:29 avtar Info <6090>: Restored 940.4 KB in 0.34 minutes: 159.9 MB/hour (174 files/hour)

З'єднання між Avamar і доменом вихідних даних, а також доменами вихідних і цільових даних вже було перевірено (за допомогою ping, ssh і telnet (або curl) на портах 111, 2049, 2051, 2052).

Єдина група реплікації була з декількома (4+) клієнтами.

У групі реплікації "max-concurrent-processs" було встановлено на чотири, які реплікували чотири клієнти одночасно.

Це призвело до більшої кількості потоків між вихідним і цільовим доменами даних, ніж було доступно.

1. Максимальну кількість потоків слід перевірити як на джерелі домену даних, так і на цілі, виконавши наступну команду на відповідному домені даних:

ddboost@dd# ddboost streams show active

--------- Active Streams -------- --------- Soft Limits -------- - Hard Limit -
Name Read Write Repl-out Repl-in Read Write Repl Combined Combined
----------------- ---- ----- -------- ------- ---- ----- ---- -------- --------------
avamar-xxxxx 0 0 0 0 - - - - -
----------------- ---- ----- -------- ------- ---- ----- ---- -------- --------------
DD System Stream Limits: read=6 write=35 repl-in=20 repl-out=18 combined=30

2. Порівняйте максимально допустиму кількість із фактичною активністю потоку, як у repl-in або repl-out на цільовий та вихідний ДД відповідно.

Стаття знань Домен даних: Функція «Підрахунок підтримуваних потоків для DDOS 6.0» також містить список підтримуваних підрахунків потоків для кожної моделі. Ця стаття також містить посилання на більш ранні версії DDOS від 4.0 до 5.7.

3. Перегляньте максимальну кількість одночасних процесів і максимальну кількість потоків реплікації домену даних.

• Якщо клієнти тиражуються в алфавітному порядку:

  • Чотири клієнти будуть реплікуватися одночасно, створюючи 24 потоки (6 за замовчуванням на клієнта)
  • За замовчуванням можна змінити за допомогою прапорця довільної форми "[avtar]ddr-repl-max-parallel-streams" зі значенням від 1 до 29 в межах інтерфейсу користувача.
• Якщо клієнти реплікуються паралельно (реплікація на основі пулу), є додаткова настройка "Максимальна кількість потоків реплікації домену даних" для контролю кількості потоків на одного клієнта.

Як найкраща практика для використання ресурсів та управління, переконайтеся, що клієнти розділені на більш ніж одну групу реплікації.

• Значення «max-streams" є еквівалентом "Максимальна кількість одночасних процесів" в інтерфейсі користувача.
• Значення «max-ddr-streams" є еквівалентом "Максимальна кількість потоків реплікації домену даних" в інтерфейсі користувача.