Avamar: Data Domain-Integration: Replikation meldet Fehler "Out of streams"

In einer Avamar-Umgebung, die in Data Domain (DD) integriert ist, wird die Replikation teilweise mit den folgenden Ausnahmen abgeschlossen, die in den Protokollen aufgeführt sind: 

2019-07-01 17:02:14 avtar Info <41435>: - Data Domain configured in Stand-Alone mode.
2019-07-01 17:02:14 avtar Info <40206>: Setting default storage unit to 'avamar-1315232775' for handle 2
2019-07-01 17:02:14 avtar Info <41440>: Data Domain handle:2 capabilities:0x0020021B
2019-07-01 17:02:14 avtar Info <10609>: Data Domain Destination login to ddxxxx.net complete
2019-07-01 17:02:15 avtar Info <42385>: id:1 Range-Replication selected because it is supported since DDOS 6.0 (container.1.cdsf)
2019-07-01 17:02:15 avtar Info <40160>: - Establishing a connection to the Data Domain system with basic authentication (Connection mode: A:0 E:0).
..
2019-07-01 17:02:18 avtar Info <40160>: - Establishing a connection to the Data Domain system with basic authentication (Connection mode: A:0 E:0).
2019-07-01 17:02:21 avtar Error <0000>: Replication failed - id: 3, unexpected exception caught: ddr_replthread:3:replicateSlice: ddp_filecopy_status failed
[179027] [140372932351744] Mon Jul 1 17:02:21 2019
ddp_filecopy_status() failed, start_offset[0], length[20971520], Err: 5539-filecopy operation failed (nfs: Out of Streams)
[179027] [140372932351744] Mon Jul 1 17:02:19 2019
ddp_filecopy_stop() failed, Err: 5004-nfs filecopy stop failed (nfs: No such file or directory)
...
[179027] [140372992386816] Mon Jul 1 17:02:15 2019
ddp_access() failed, Path avamar-1437556709/STAGING/09a1003e41e2a0d9e3333cf9fbb3345e0b665a0e/BACKUP-01974498BF0587FFD2EC4A97BD201139F29D9516-1D52F902DDF23FC, mode 0 Err: 5004-nfs lookup failed (nfs: No such file or directory)
[179027] [140372992386816] Mon Jul 1 17:02:14 2019
ddp_access() failed, Path avamar-1315232775/STAGING/09a1003e41e2a0d9e3333cf9fbb3345e0b665a0e/BACKUP-01974498BF0587FFD2EC4A97BD201139F29D9516-1D52F902DDF23FC, mode 0 Err: 5004-nfs lookup failed (nfs: No such file or directory)
..

2019-07-01 17:02:29 avtar Info <40176>: - Multi-stream restore summary (current 0, max active 0, max cloned 0, total cloned 0, ddr handle 2): 
2019-07-01 17:02:29 avtar FATAL <0000>: Replication failed
2019-07-01 17:02:29 avtar FATAL <40009>: DDR encountered errors.
2019-07-01 17:02:29 avtar Info <9772>: Starting graceful (staged) termination, DDR_ERROR event received (fatal severity) (wrap-up stage)
2019-07-01 17:02:29 avtar Info <0000>: Entering the 'final' phase of termination, DDR_ERROR need to exit)
2019-07-01 17:02:29 avtar Info <40176>: - Multi-stream restore summary (current 0, max active 0, max cloned 0, total cloned 0, ddr handle 2): 
2019/07/01-14:02:29.25907 [avtar] INTERNAL ERROR: <0001> assert error (result == MSG_ERR_NONE), /local/jenkins/workspace/server_rollup_hotfix_SLES11-64/src/avtar/ade/adelib/interfaceade.cpp line 396
2019-07-01 17:02:29 avtar Info <5675>: Replicated 0 of 78 backups (0 errors) for client "ddxxxx.net"
2019-07-01 17:02:29 avtar Error <6655>: Replicate interrupted.
2019-07-01 17:02:29 avtar Info <7925>: Restored 940.4 KB from selection(s) with 6.000 GB in 1 files
2019-07-01 17:02:29 avtar Info <6090>: Restored 940.4 KB in 0.34 minutes: 159.9 MB/hour (174 files/hour)

Die Konnektivität zwischen Avamar und dem Quell-Data Domain sowie den Quell- und Ziel-Data Domains wurde bereits überprüft (mithilfe von Ping, SSH und Telnet (oder curl) auf den Ports 111, 2049, 2051, 2052).

Eine einzige Replikationsgruppe bestand aus mehreren (4+) Clients.

In der Replikationsgruppe wurde "max-concurrent-processes" auf vier festgelegt, wodurch vier Clients gleichzeitig repliziert wurden.

Dies führte zu einer höheren Anzahl von Streams zwischen den Quell- und Ziel-Data Domains, als verfügbar waren.

1. Die maximale Streamanzahl sollte sowohl auf der Data Domain-Quelle als auch auf dem Data Domain-Ziel überprüft werden, indem der folgende Befehl auf der jeweiligen Data Domain ausgeführt wird:

ddboost@dd# ddboost streams show active

--------- Active Streams -------- --------- Soft Limits -------- - Hard Limit -
Name Read Write Repl-out Repl-in Read Write Repl Combined Combined
----------------- ---- ----- -------- ------- ---- ----- ---- -------- --------------
avamar-xxxxx 0 0 0 0 - - - - -
----------------- ---- ----- -------- ------- ---- ----- ---- -------- --------------
DD System Stream Limits: read=6 write=35 repl-in=20 repl-out=18 combined=30

2. Vergleichen Sie die maximal zulässige Anzahl mit der tatsächlichen Stream-Aktivität, wie in repl-in oder repl-out auf Ziel- bzw. Quell-DD.

Der Wissensdatenbank-Artikel Data Domain: Unter Unterstützte Streamanzahl für DDOS 6.0 gibt es außerdem eine Liste der unterstützten Streamzahlen pro Modell. Dieser Artikel enthält auch Links zu früheren DDOS-Versionen 4.0 bis 5.7.

3. Überprüfen Sie max-concurrent-processes und Maximale Anzahl von Data Domain-Replikationsstreams.

• Wenn die Clients alphabetisch repliziert werden:

  • Die vier Clients würden gleichzeitig replizieren und 24 Streams erzeugen (6 standardmäßig pro Client)
  • Die Standardeinstellung kann mithilfe des Freiform-Flags "[avtar]ddr-repl-max-parallel-streams" mit einem Wert von 1-29 innerhalb der Benutzeroberfläche.
• Wenn die Clients parallel repliziert werden (poolbasierte Replikation), gibt es die zusätzliche Einstellung "Maximale Anzahl von Data Domain-Replikationsstreams", um die Anzahl der Streams pro Client zu steuern.

Als Best Practice für die Ressourcenauslastung und das Ressourcenmanagement sollten Sie sicherstellen, dass die Clients in mehr als eine Replikationsgruppe aufgeteilt sind.

• Der Wert von "max-streams" entspricht "Maximum concurrent processes" in der Benutzeroberfläche.
• Der Wert von "max-ddr-streams" entspricht "Maximum number of Data Domain Replication Streams" in der -Benutzeroberfläche.