Avamar: Data Domain 통합: 복제에서 "스트림 부족" 오류 보고
Summary: Data Domain과 통합된 Avamar 환경에서 "Out of streams" 오류로 인해 복제가 완료되지만 예외가 발생합니다.
Symptoms
DD(Data Domain)와 통합된 Avamar 환경에서 복제가 부분적으로 완료되지만 로그에 다음 예외가 표시됩니다.
2019-07-01 17:02:14 avtar Info <41435>: - Data Domain configured in Stand-Alone mode.
2019-07-01 17:02:14 avtar Info <40206>: Setting default storage unit to 'avamar-1315232775' for handle 2
2019-07-01 17:02:14 avtar Info <41440>: Data Domain handle:2 capabilities:0x0020021B
2019-07-01 17:02:14 avtar Info <10609>: Data Domain Destination login to ddxxxx.net complete
2019-07-01 17:02:15 avtar Info <42385>: id:1 Range-Replication selected because it is supported since DDOS 6.0 (container.1.cdsf)
2019-07-01 17:02:15 avtar Info <40160>: - Establishing a connection to the Data Domain system with basic authentication (Connection mode: A:0 E:0).
..
2019-07-01 17:02:18 avtar Info <40160>: - Establishing a connection to the Data Domain system with basic authentication (Connection mode: A:0 E:0).
2019-07-01 17:02:21 avtar Error <0000>: Replication failed - id: 3, unexpected exception caught: ddr_replthread:3:replicateSlice: ddp_filecopy_status failed
[179027] [140372932351744] Mon Jul 1 17:02:21 2019
ddp_filecopy_status() failed, start_offset[0], length[20971520], Err: 5539-filecopy operation failed (nfs: Out of Streams)
[179027] [140372932351744] Mon Jul 1 17:02:19 2019
ddp_filecopy_stop() failed, Err: 5004-nfs filecopy stop failed (nfs: No such file or directory)
...
[179027] [140372992386816] Mon Jul 1 17:02:15 2019
ddp_access() failed, Path avamar-1437556709/STAGING/09a1003e41e2a0d9e3333cf9fbb3345e0b665a0e/BACKUP-01974498BF0587FFD2EC4A97BD201139F29D9516-1D52F902DDF23FC, mode 0 Err: 5004-nfs lookup failed (nfs: No such file or directory)
[179027] [140372992386816] Mon Jul 1 17:02:14 2019
ddp_access() failed, Path avamar-1315232775/STAGING/09a1003e41e2a0d9e3333cf9fbb3345e0b665a0e/BACKUP-01974498BF0587FFD2EC4A97BD201139F29D9516-1D52F902DDF23FC, mode 0 Err: 5004-nfs lookup failed (nfs: No such file or directory)
..
2019-07-01 17:02:29 avtar Info <40176>: - Multi-stream restore summary (current 0, max active 0, max cloned 0, total cloned 0, ddr handle 2):
2019-07-01 17:02:29 avtar FATAL <0000>: Replication failed
2019-07-01 17:02:29 avtar FATAL <40009>: DDR encountered errors.
2019-07-01 17:02:29 avtar Info <9772>: Starting graceful (staged) termination, DDR_ERROR event received (fatal severity) (wrap-up stage)
2019-07-01 17:02:29 avtar Info <0000>: Entering the 'final' phase of termination, DDR_ERROR need to exit)
2019-07-01 17:02:29 avtar Info <40176>: - Multi-stream restore summary (current 0, max active 0, max cloned 0, total cloned 0, ddr handle 2):
2019/07/01-14:02:29.25907 [avtar] INTERNAL ERROR: <0001> assert error (result == MSG_ERR_NONE), /local/jenkins/workspace/server_rollup_hotfix_SLES11-64/src/avtar/ade/adelib/interfaceade.cpp line 396
2019-07-01 17:02:29 avtar Info <5675>: Replicated 0 of 78 backups (0 errors) for client "ddxxxx.net"
2019-07-01 17:02:29 avtar Error <6655>: Replicate interrupted.
2019-07-01 17:02:29 avtar Info <7925>: Restored 940.4 KB from selection(s) with 6.000 GB in 1 files
2019-07-01 17:02:29 avtar Info <6090>: Restored 940.4 KB in 0.34 minutes: 159.9 MB/hour (174 files/hour)
포트 111, 2049, 2051, 2052에서 ping, ssh 및 telnet(또는 curl)을 사용하여 Avamar와 소스 Data Domain 그리고 소스 및 타겟 Data Domain 간의 연결이 이미 확인되었습니다.
Cause
단일 복제 그룹에 여러 클라이언트(4+)가 있었습니다.
복제 그룹에서 "max-concurrent-processes"를 4로 설정하여 4개의 클라이언트를 동시에 복제했습니다.
이로 인해 소스 Data Domain 및 타겟 Data Domain 간의 스트림 수가 사용 가능한 것보다 많아졌습니다.
Resolution
1. 각 Data Domain에서 다음 명령을 실행하여 Data Domain 소스와 타겟 모두에서 최대 스트림 수를 확인해야 합니다.
ddboost@dd# ddboost streams show active
--------- Active Streams -------- --------- Soft Limits -------- - Hard Limit -
Name Read Write Repl-out Repl-in Read Write Repl Combined Combined
----------------- ---- ----- -------- ------- ---- ----- ---- -------- --------------
avamar-xxxxx 0 0 0 0 - - - - -
----------------- ---- ----- -------- ------- ---- ----- ---- -------- --------------
DD System Stream Limits: read=6 write=35 repl-in=20 repl-out=18 combined=30
2. 다음과 같이 허용되는 최대 개수를 실제 스트림 활동과 비교합니다. repl-in 또는 repl-out 타겟 및 소스 DD에서 각각 복사합니다.
기술 자료 문서 Data Domain: DDOS 6.0에 지원되는 스트림 개수에는 모델별로 지원되는 스트림 개수 목록도 있습니다. 이 문서에는 이전 DDOS 버전 4.0 - 5.7에 대한 링크도 포함되어 있습니다.
3. max-concurrent-processes 및 Maximum number of Data Domain Replication Streams를 검토합니다.
-
클라이언트가 사전순으로 복제되는 경우:
- 4개의 클라이언트가 동시에 복제하여 24개의 스트림을 생성합니다(클라이언트당 기본 6개).
- 기본값을 변경하려면 자유형 플래그 "
[avtar]ddr-repl-max-parallel-streams"를 1-29 값으로 바꿉니다.
-
클라이언트가 병렬로 복제되는 경우(풀 기반 복제) 클라이언트당 스트림 수를 제어하는 추가 설정 "Maximum number of Data Domain replication streams"가 있습니다.
리소스 활용도 및 관리에 대한 모범 사례로, 클라이언트를 둘 이상의 복제 그룹으로 나누어야 합니다.
Additional Information
-
"
max-streams"는 UI의 "최대 동시 프로세스"에 해당합니다. -
"
max-ddr-streams"는 UI의 "Data Domain 복제 스트림의 최대 수"에 해당합니다.