Avamar: Data Domain-integratie: Replicatie meldt de fout 'Out of streams'

In een Avamar-omgeving die is geïntegreerd met Data Domain (DD), wordt de replicatie gedeeltelijk voltooid met de volgende uitzonderingen die in de logboeken worden weergegeven: 

2019-07-01 17:02:14 avtar Info <41435>: - Data Domain configured in Stand-Alone mode.
2019-07-01 17:02:14 avtar Info <40206>: Setting default storage unit to 'avamar-1315232775' for handle 2
2019-07-01 17:02:14 avtar Info <41440>: Data Domain handle:2 capabilities:0x0020021B
2019-07-01 17:02:14 avtar Info <10609>: Data Domain Destination login to ddxxxx.net complete
2019-07-01 17:02:15 avtar Info <42385>: id:1 Range-Replication selected because it is supported since DDOS 6.0 (container.1.cdsf)
2019-07-01 17:02:15 avtar Info <40160>: - Establishing a connection to the Data Domain system with basic authentication (Connection mode: A:0 E:0).
..
2019-07-01 17:02:18 avtar Info <40160>: - Establishing a connection to the Data Domain system with basic authentication (Connection mode: A:0 E:0).
2019-07-01 17:02:21 avtar Error <0000>: Replication failed - id: 3, unexpected exception caught: ddr_replthread:3:replicateSlice: ddp_filecopy_status failed
[179027] [140372932351744] Mon Jul 1 17:02:21 2019
ddp_filecopy_status() failed, start_offset[0], length[20971520], Err: 5539-filecopy operation failed (nfs: Out of Streams)
[179027] [140372932351744] Mon Jul 1 17:02:19 2019
ddp_filecopy_stop() failed, Err: 5004-nfs filecopy stop failed (nfs: No such file or directory)
...
[179027] [140372992386816] Mon Jul 1 17:02:15 2019
ddp_access() failed, Path avamar-1437556709/STAGING/09a1003e41e2a0d9e3333cf9fbb3345e0b665a0e/BACKUP-01974498BF0587FFD2EC4A97BD201139F29D9516-1D52F902DDF23FC, mode 0 Err: 5004-nfs lookup failed (nfs: No such file or directory)
[179027] [140372992386816] Mon Jul 1 17:02:14 2019
ddp_access() failed, Path avamar-1315232775/STAGING/09a1003e41e2a0d9e3333cf9fbb3345e0b665a0e/BACKUP-01974498BF0587FFD2EC4A97BD201139F29D9516-1D52F902DDF23FC, mode 0 Err: 5004-nfs lookup failed (nfs: No such file or directory)
..

2019-07-01 17:02:29 avtar Info <40176>: - Multi-stream restore summary (current 0, max active 0, max cloned 0, total cloned 0, ddr handle 2): 
2019-07-01 17:02:29 avtar FATAL <0000>: Replication failed
2019-07-01 17:02:29 avtar FATAL <40009>: DDR encountered errors.
2019-07-01 17:02:29 avtar Info <9772>: Starting graceful (staged) termination, DDR_ERROR event received (fatal severity) (wrap-up stage)
2019-07-01 17:02:29 avtar Info <0000>: Entering the 'final' phase of termination, DDR_ERROR need to exit)
2019-07-01 17:02:29 avtar Info <40176>: - Multi-stream restore summary (current 0, max active 0, max cloned 0, total cloned 0, ddr handle 2): 
2019/07/01-14:02:29.25907 [avtar] INTERNAL ERROR: <0001> assert error (result == MSG_ERR_NONE), /local/jenkins/workspace/server_rollup_hotfix_SLES11-64/src/avtar/ade/adelib/interfaceade.cpp line 396
2019-07-01 17:02:29 avtar Info <5675>: Replicated 0 of 78 backups (0 errors) for client "ddxxxx.net"
2019-07-01 17:02:29 avtar Error <6655>: Replicate interrupted.
2019-07-01 17:02:29 avtar Info <7925>: Restored 940.4 KB from selection(s) with 6.000 GB in 1 files
2019-07-01 17:02:29 avtar Info <6090>: Restored 940.4 KB in 0.34 minutes: 159.9 MB/hour (174 files/hour)

De connectiviteit tussen zowel het Avamar- als het brondatadomein en de bron- en doeldatadomeinen was al geverifieerd (met behulp van ping, ssh en telnet (of curl) op poorten 111, 2049, 2051, 2052).

Een enkele replicatiegroep had meerdere (4+) clients.

In de replicatiegroep werd de "max-concurrent-processes" ingesteld op vier, waardoor vier clients tegelijkertijd werden gerepliceerd.

Dit resulteerde in een groter aantal streams tussen de bron- en doeldatadomeinen dan beschikbaar was.

1. Het maximale aantal streams moet worden gecontroleerd op zowel de bron als het doel van Data Domain door de volgende opdracht uit te voeren op het betreffende Data Domain:

ddboost@dd# ddboost streams show active

--------- Active Streams -------- --------- Soft Limits -------- - Hard Limit -
Name Read Write Repl-out Repl-in Read Write Repl Combined Combined
----------------- ---- ----- -------- ------- ---- ----- ---- -------- --------------
avamar-xxxxx 0 0 0 0 - - - - -
----------------- ---- ----- -------- ------- ---- ----- ---- -------- --------------
DD System Stream Limits: read=6 write=35 repl-in=20 repl-out=18 combined=30

2. Vergelijk het maximaal toegestane aantal met de werkelijke streamactiviteit zoals in repl-in of repl-out respectievelijk op target en source DD.

Het knowledge article Data Domain: Ondersteunde aantal streams voor DDOS 6.0 heeft ook een lijst met ondersteunde streamaantallen per model. Dit artikel bevat ook koppelingen naar eerdere DDOS versies 4.0 t/m 5.7.

3. Controleer de max-concurrent-processes en het maximale aantal Data Domain-replicatiestromen.

• Als de clients alfabetisch worden gerepliceerd:

  • De vier clients zouden tegelijkertijd repliceren, waardoor 24 streams zouden worden gemaakt (standaard 6 per client)
  • De standaardinstelling kan worden gewijzigd met behulp van de freeform-vlag "[avtar]ddr-repl-max-parallel-streams" met een waarde van 1-29 binnen de gebruikersinterface.
• Als de clients parallel worden gerepliceerd (replicatie op basis van een groep), is er een extra instelling "Maximum aantal Data Domain-replicatiestromen" om te bepalen hoeveel streams per client.

Als best practice voor resourcegebruik en -beheer moet u ervoor zorgen dat de clients in meer dan één replicatiegroep worden verdeeld.

• De waarde van "max-streams" is het equivalent van "Maximum concurrent processes" in de gebruikersinterface.
• De waarde van "max-ddr-streams" is het equivalent van "Maximum aantal Data Domain replicatiestromen" in de gebruikersinterface.