Avamar: Data Domain-integrering: Replikering rapporterer en "Out of streams"-feil
Summary: I et Avamar-miljø som er integrert med Data Domain, fullføres replikering med unntak på grunn av en "Out of streams"-feil.
Symptoms
I et Avamar-miljø som er integrert med Data Domain (DD), fullføres replikeringen delvis med følgende unntak i loggene:
2019-07-01 17:02:14 avtar Info <41435>: - Data Domain configured in Stand-Alone mode.
2019-07-01 17:02:14 avtar Info <40206>: Setting default storage unit to 'avamar-1315232775' for handle 2
2019-07-01 17:02:14 avtar Info <41440>: Data Domain handle:2 capabilities:0x0020021B
2019-07-01 17:02:14 avtar Info <10609>: Data Domain Destination login to ddxxxx.net complete
2019-07-01 17:02:15 avtar Info <42385>: id:1 Range-Replication selected because it is supported since DDOS 6.0 (container.1.cdsf)
2019-07-01 17:02:15 avtar Info <40160>: - Establishing a connection to the Data Domain system with basic authentication (Connection mode: A:0 E:0).
..
2019-07-01 17:02:18 avtar Info <40160>: - Establishing a connection to the Data Domain system with basic authentication (Connection mode: A:0 E:0).
2019-07-01 17:02:21 avtar Error <0000>: Replication failed - id: 3, unexpected exception caught: ddr_replthread:3:replicateSlice: ddp_filecopy_status failed
[179027] [140372932351744] Mon Jul 1 17:02:21 2019
ddp_filecopy_status() failed, start_offset[0], length[20971520], Err: 5539-filecopy operation failed (nfs: Out of Streams)
[179027] [140372932351744] Mon Jul 1 17:02:19 2019
ddp_filecopy_stop() failed, Err: 5004-nfs filecopy stop failed (nfs: No such file or directory)
...
[179027] [140372992386816] Mon Jul 1 17:02:15 2019
ddp_access() failed, Path avamar-1437556709/STAGING/09a1003e41e2a0d9e3333cf9fbb3345e0b665a0e/BACKUP-01974498BF0587FFD2EC4A97BD201139F29D9516-1D52F902DDF23FC, mode 0 Err: 5004-nfs lookup failed (nfs: No such file or directory)
[179027] [140372992386816] Mon Jul 1 17:02:14 2019
ddp_access() failed, Path avamar-1315232775/STAGING/09a1003e41e2a0d9e3333cf9fbb3345e0b665a0e/BACKUP-01974498BF0587FFD2EC4A97BD201139F29D9516-1D52F902DDF23FC, mode 0 Err: 5004-nfs lookup failed (nfs: No such file or directory)
..
2019-07-01 17:02:29 avtar Info <40176>: - Multi-stream restore summary (current 0, max active 0, max cloned 0, total cloned 0, ddr handle 2):
2019-07-01 17:02:29 avtar FATAL <0000>: Replication failed
2019-07-01 17:02:29 avtar FATAL <40009>: DDR encountered errors.
2019-07-01 17:02:29 avtar Info <9772>: Starting graceful (staged) termination, DDR_ERROR event received (fatal severity) (wrap-up stage)
2019-07-01 17:02:29 avtar Info <0000>: Entering the 'final' phase of termination, DDR_ERROR need to exit)
2019-07-01 17:02:29 avtar Info <40176>: - Multi-stream restore summary (current 0, max active 0, max cloned 0, total cloned 0, ddr handle 2):
2019/07/01-14:02:29.25907 [avtar] INTERNAL ERROR: <0001> assert error (result == MSG_ERR_NONE), /local/jenkins/workspace/server_rollup_hotfix_SLES11-64/src/avtar/ade/adelib/interfaceade.cpp line 396
2019-07-01 17:02:29 avtar Info <5675>: Replicated 0 of 78 backups (0 errors) for client "ddxxxx.net"
2019-07-01 17:02:29 avtar Error <6655>: Replicate interrupted.
2019-07-01 17:02:29 avtar Info <7925>: Restored 940.4 KB from selection(s) with 6.000 GB in 1 files
2019-07-01 17:02:29 avtar Info <6090>: Restored 940.4 KB in 0.34 minutes: 159.9 MB/hour (174 files/hour)
Tilkoblingen mellom både Avamar- og kildedatadomenet og datadomenene for kilden og målet var allerede bekreftet (ved hjelp av ping, ssh og telnet (eller curl) på port 111, 2049, 2051 og 2052).
Cause
En enkelt replikeringsgruppe var med flere (4+) klienter.
I replikeringsgruppen ble "max-concurrent-processes" satt til fire, som replikerte fire klienter samtidig.
Dette resulterte i et høyere antall strømmer mellom kilden og måldatadomenene enn det som var tilgjengelig.
Resolution
1. Maksimalt antall strømmer bør kontrolleres både på Data Domain-kilden og målet ved å kjøre følgende kommando på det respektive Data Domain:
ddboost@dd# ddboost streams show active
--------- Active Streams -------- --------- Soft Limits -------- - Hard Limit -
Name Read Write Repl-out Repl-in Read Write Repl Combined Combined
----------------- ---- ----- -------- ------- ---- ----- ---- -------- --------------
avamar-xxxxx 0 0 0 0 - - - - -
----------------- ---- ----- -------- ------- ---- ----- ---- -------- --------------
DD System Stream Limits: read=6 write=35 repl-in=20 repl-out=18 combined=30
2. Sammenlign maksimalt tillatt antall med faktisk strømaktivitet, som i repl-in eller repl-out på henholdsvis mål og kilde DD.
Kunnskapsartikkelen Data Domain: Støttede strømmingantall for DDOS 6.0 har også en liste over støttede strømminger per modell. Denne artikkelen inneholder også koblinger til tidligere DDOS-versjoner 4.0 til 5.7.
3. Gjennomgå max-concurrent-prosesser og maksimalt antall Data Domain Replication Streams.
-
Hvis klientene replikeres alfabetisk:
- De fire klientene replikerer samtidig og oppretter 24 strømmer (6 som standard per klient)
- Standard kan endres ved hjelp av frihåndsflagget "
[avtar]ddr-repl-max-parallel-streams" med en verdi på 1-29 i brukergrensesnittet.
-
Hvis klientene replikeres parallelt (utvalgsbasert replikering), finnes det en ekstra innstilling, "Maksimalt antall Data Domain Replication Streams", for å kontrollere hvor mange strømmer per klient.
Som anbefalt fremgangsmåte for ressursutnyttelse og -administrasjon må du sørge for at klientene er delt inn i mer enn én replikeringsgruppe.
Additional Information
-
Verdien av "
max-streams" tilsvarer "Maksimalt samtidige prosesser" i brukergrensesnittet. -
Verdien av "
max-ddr-streams" tilsvarer "Maximum number of Data Domain Replication Streams" i brukergrensesnittet.