Avamar: Integración de Data Domain: La replicación informa un error "Out of streams"

En un entorno Avamar integrado con Data Domain (DD), la replicación se completa parcialmente con las siguientes excepciones observadas en los registros: 

2019-07-01 17:02:14 avtar Info <41435>: - Data Domain configured in Stand-Alone mode.
2019-07-01 17:02:14 avtar Info <40206>: Setting default storage unit to 'avamar-1315232775' for handle 2
2019-07-01 17:02:14 avtar Info <41440>: Data Domain handle:2 capabilities:0x0020021B
2019-07-01 17:02:14 avtar Info <10609>: Data Domain Destination login to ddxxxx.net complete
2019-07-01 17:02:15 avtar Info <42385>: id:1 Range-Replication selected because it is supported since DDOS 6.0 (container.1.cdsf)
2019-07-01 17:02:15 avtar Info <40160>: - Establishing a connection to the Data Domain system with basic authentication (Connection mode: A:0 E:0).
..
2019-07-01 17:02:18 avtar Info <40160>: - Establishing a connection to the Data Domain system with basic authentication (Connection mode: A:0 E:0).
2019-07-01 17:02:21 avtar Error <0000>: Replication failed - id: 3, unexpected exception caught: ddr_replthread:3:replicateSlice: ddp_filecopy_status failed
[179027] [140372932351744] Mon Jul 1 17:02:21 2019
ddp_filecopy_status() failed, start_offset[0], length[20971520], Err: 5539-filecopy operation failed (nfs: Out of Streams)
[179027] [140372932351744] Mon Jul 1 17:02:19 2019
ddp_filecopy_stop() failed, Err: 5004-nfs filecopy stop failed (nfs: No such file or directory)
...
[179027] [140372992386816] Mon Jul 1 17:02:15 2019
ddp_access() failed, Path avamar-1437556709/STAGING/09a1003e41e2a0d9e3333cf9fbb3345e0b665a0e/BACKUP-01974498BF0587FFD2EC4A97BD201139F29D9516-1D52F902DDF23FC, mode 0 Err: 5004-nfs lookup failed (nfs: No such file or directory)
[179027] [140372992386816] Mon Jul 1 17:02:14 2019
ddp_access() failed, Path avamar-1315232775/STAGING/09a1003e41e2a0d9e3333cf9fbb3345e0b665a0e/BACKUP-01974498BF0587FFD2EC4A97BD201139F29D9516-1D52F902DDF23FC, mode 0 Err: 5004-nfs lookup failed (nfs: No such file or directory)
..

2019-07-01 17:02:29 avtar Info <40176>: - Multi-stream restore summary (current 0, max active 0, max cloned 0, total cloned 0, ddr handle 2): 
2019-07-01 17:02:29 avtar FATAL <0000>: Replication failed
2019-07-01 17:02:29 avtar FATAL <40009>: DDR encountered errors.
2019-07-01 17:02:29 avtar Info <9772>: Starting graceful (staged) termination, DDR_ERROR event received (fatal severity) (wrap-up stage)
2019-07-01 17:02:29 avtar Info <0000>: Entering the 'final' phase of termination, DDR_ERROR need to exit)
2019-07-01 17:02:29 avtar Info <40176>: - Multi-stream restore summary (current 0, max active 0, max cloned 0, total cloned 0, ddr handle 2): 
2019/07/01-14:02:29.25907 [avtar] INTERNAL ERROR: <0001> assert error (result == MSG_ERR_NONE), /local/jenkins/workspace/server_rollup_hotfix_SLES11-64/src/avtar/ade/adelib/interfaceade.cpp line 396
2019-07-01 17:02:29 avtar Info <5675>: Replicated 0 of 78 backups (0 errors) for client "ddxxxx.net"
2019-07-01 17:02:29 avtar Error <6655>: Replicate interrupted.
2019-07-01 17:02:29 avtar Info <7925>: Restored 940.4 KB from selection(s) with 6.000 GB in 1 files
2019-07-01 17:02:29 avtar Info <6090>: Restored 940.4 KB in 0.34 minutes: 159.9 MB/hour (174 files/hour)

Ya se verificó la conectividad entre Avamar y Data Domain de origen y Data Domain de origen y destino (mediante ping, ssh y telnet (o curl) en los puertos 111, 2049, 2051 y 2052).

Había un único grupo de replicación con varios (4+) clientes.

En el grupo de replicación, el "max-concurrent-processes" se configuró en cuatro, lo que replicaba cuatro clientes simultáneamente.

Esto dio lugar a una mayor cantidad de flujos entre Data Domain de origen y destino que la que estaba disponible.

1. El conteo máximo de flujos se debe comprobar tanto en la fuente como en el objetivo de Data Domain mediante la ejecución del siguiente comando en el Data Domain correspondiente:

ddboost@dd# ddboost streams show active

--------- Active Streams -------- --------- Soft Limits -------- - Hard Limit -
Name Read Write Repl-out Repl-in Read Write Repl Combined Combined
----------------- ---- ----- -------- ------- ---- ----- ---- -------- --------------
avamar-xxxxx 0 0 0 0 - - - - -
----------------- ---- ----- -------- ------- ---- ----- ---- -------- --------------
DD System Stream Limits: read=6 write=35 repl-in=20 repl-out=18 combined=30

2. Compare el conteo máximo permitido con la actividad de flujo real, como en repl-in o repl-out en el DD de destino y de origen, respectivamente.

El artículo de la base de conocimientos Data Domain: Los conteos de flujo soportados para DDOS 6.0 también tienen una lista de conteos de flujo soportados por modelo. Este artículo también contiene vínculos a versiones anteriores de DDOS 4.0 a 5.7.

3. Revise max-concurrent-processes y Maximum number of Data Domain Replication Streams.

• Si los clientes se replican alfabéticamente:

  • Los cuatro clientes se replicarían simultáneamente mediante la creación de 24 flujos (6 de manera predeterminada por cliente)
  • El valor predeterminado se puede cambiar mediante la marca de forma libre "[avtar]ddr-repl-max-parallel-streams" con un valor de 1 a 29 dentro de la interfaz de usuario.
• Si los clientes se replican en paralelo (replicación basada en pools), hay un ajuste adicional "Número máximo de flujos de replicación de Data Domain" para controlar la cantidad de flujos por cliente.

Como práctica recomendada para la utilización y la administración de recursos, asegúrese de que los clientes estén divididos en más de un grupo de replicación.

• El valor de "max-streams" es el equivalente a "Procesos simultáneos máximos" en la IU.
• El valor de "max-ddr-streams" es el equivalente a "Número máximo de flujos de replicación de Data Domain" en la interfaz de usuario.