Avamar: Integração com o Data Domain: A replicação relata um erro "Fora de fluxos"

Em um ambiente Avamar integrado ao Data Domain (DD), a replicação é concluída parcialmente, com as seguintes exceções vistas nos registros: 

2019-07-01 17:02:14 avtar Info <41435>: - Data Domain configured in Stand-Alone mode.
2019-07-01 17:02:14 avtar Info <40206>: Setting default storage unit to 'avamar-1315232775' for handle 2
2019-07-01 17:02:14 avtar Info <41440>: Data Domain handle:2 capabilities:0x0020021B
2019-07-01 17:02:14 avtar Info <10609>: Data Domain Destination login to ddxxxx.net complete
2019-07-01 17:02:15 avtar Info <42385>: id:1 Range-Replication selected because it is supported since DDOS 6.0 (container.1.cdsf)
2019-07-01 17:02:15 avtar Info <40160>: - Establishing a connection to the Data Domain system with basic authentication (Connection mode: A:0 E:0).
..
2019-07-01 17:02:18 avtar Info <40160>: - Establishing a connection to the Data Domain system with basic authentication (Connection mode: A:0 E:0).
2019-07-01 17:02:21 avtar Error <0000>: Replication failed - id: 3, unexpected exception caught: ddr_replthread:3:replicateSlice: ddp_filecopy_status failed
[179027] [140372932351744] Mon Jul 1 17:02:21 2019
ddp_filecopy_status() failed, start_offset[0], length[20971520], Err: 5539-filecopy operation failed (nfs: Out of Streams)
[179027] [140372932351744] Mon Jul 1 17:02:19 2019
ddp_filecopy_stop() failed, Err: 5004-nfs filecopy stop failed (nfs: No such file or directory)
...
[179027] [140372992386816] Mon Jul 1 17:02:15 2019
ddp_access() failed, Path avamar-1437556709/STAGING/09a1003e41e2a0d9e3333cf9fbb3345e0b665a0e/BACKUP-01974498BF0587FFD2EC4A97BD201139F29D9516-1D52F902DDF23FC, mode 0 Err: 5004-nfs lookup failed (nfs: No such file or directory)
[179027] [140372992386816] Mon Jul 1 17:02:14 2019
ddp_access() failed, Path avamar-1315232775/STAGING/09a1003e41e2a0d9e3333cf9fbb3345e0b665a0e/BACKUP-01974498BF0587FFD2EC4A97BD201139F29D9516-1D52F902DDF23FC, mode 0 Err: 5004-nfs lookup failed (nfs: No such file or directory)
..

2019-07-01 17:02:29 avtar Info <40176>: - Multi-stream restore summary (current 0, max active 0, max cloned 0, total cloned 0, ddr handle 2): 
2019-07-01 17:02:29 avtar FATAL <0000>: Replication failed
2019-07-01 17:02:29 avtar FATAL <40009>: DDR encountered errors.
2019-07-01 17:02:29 avtar Info <9772>: Starting graceful (staged) termination, DDR_ERROR event received (fatal severity) (wrap-up stage)
2019-07-01 17:02:29 avtar Info <0000>: Entering the 'final' phase of termination, DDR_ERROR need to exit)
2019-07-01 17:02:29 avtar Info <40176>: - Multi-stream restore summary (current 0, max active 0, max cloned 0, total cloned 0, ddr handle 2): 
2019/07/01-14:02:29.25907 [avtar] INTERNAL ERROR: <0001> assert error (result == MSG_ERR_NONE), /local/jenkins/workspace/server_rollup_hotfix_SLES11-64/src/avtar/ade/adelib/interfaceade.cpp line 396
2019-07-01 17:02:29 avtar Info <5675>: Replicated 0 of 78 backups (0 errors) for client "ddxxxx.net"
2019-07-01 17:02:29 avtar Error <6655>: Replicate interrupted.
2019-07-01 17:02:29 avtar Info <7925>: Restored 940.4 KB from selection(s) with 6.000 GB in 1 files
2019-07-01 17:02:29 avtar Info <6090>: Restored 940.4 KB in 0.34 minutes: 159.9 MB/hour (174 files/hour)

A conectividade entre o Avamar e o Data Domain de origem e os Data Domains de origem e destino já havia sido verificada (usando ping, ssh e telnet (ou curl) nas portas 111, 2049, 2051 e 2052).

Um único grupo de replicação era com vários (4+) clients.

No grupo de replicação, o "max-concurrent-processes" foi definido como quatro, que replicava quatro clients simultaneamente.

Isso resultou em um número maior de fluxos entre os Data Domains de origem e destino do que estava disponível.

1. A contagem máxima de fluxos deve ser verificada na origem e no destino do Data Domain executando o seguinte comando no respectivo Data Domain:

ddboost@dd# ddboost streams show active

--------- Active Streams -------- --------- Soft Limits -------- - Hard Limit -
Name Read Write Repl-out Repl-in Read Write Repl Combined Combined
----------------- ---- ----- -------- ------- ---- ----- ---- -------- --------------
avamar-xxxxx 0 0 0 0 - - - - -
----------------- ---- ----- -------- ------- ---- ----- ---- -------- --------------
DD System Stream Limits: read=6 write=35 repl-in=20 repl-out=18 combined=30

2. Compare a contagem máxima permitida com a atividade de fluxo real como em repl-in ou repl-out no destino e no DD de origem, respectivamente.

O artigo da base de conhecimento Data Domain: Supported Stream Counts for DDOS 6.0 também tem uma lista de contagens de fluxo compatíveis por modelo. Este artigo também contém links para versões anteriores 4.0 a 5.7 do DDOS.

3. Analise o número máximo de processos simultâneos e o número máximo de fluxos de replicação do Data Domain.

• Se os clients estiverem sendo replicados em ordem alfabética:

  • Os quatro clients replicariam simultaneamente, criando 24 fluxos (6 por padrão por client)
  • O padrão pode ser alterado usando o sinalizador de forma livre "[avtar]ddr-repl-max-parallel-streams" com um valor de 1 a 29 dentro da interface do usuário.
• Se os clients estiverem sendo replicados paralelamente (replicação baseada em pool), haverá uma configuração adicional "Maximum number of Data Domain Replication Streams" para controlar quantos fluxos por client.

Como prática recomendada para utilização e gerenciamento de recursos, certifique-se de que os clients sejam divididos em mais de um grupo de replicação.

• O valor de "max-streams" é o equivalente a "Máximo de processos simultâneos" na interface do usuário.
• O valor de "max-ddr-streams" é o equivalente a "Número máximo de fluxos de replicação do Data Domain" na interface do usuário do.