PowerProtect Data Manager: TSDM 백업 "타겟 Data Domain 호스트에 연결할 수 없음"

하나 이상의 PowerProtect Data Domain에 대한 TSDM 백업이 실패합니다. VM(Virtual Machine) Direct Engine 백업이 성공적으로 완료되었습니다.

• 오류 코드: ABV0040, ABV0016
• 보호 작업 오류:

Unable to successfully complete SDM Full Sync operation.  Unsuccessful after 1 attempts over 11m14.958797693s.  The vCenter task for 'SDM Snapshot Sync Full' completed with state 'error'.  TSDM Error Code: <TargetDataDomainUnreachable>, TSDM Error Message: <Unable to connect to target DataDomain host. Error message: Failed to connect to '192.168.1.1'. err='calling system(), returns nonzero'>., target=VM_Name

Unable to successfully complete SDM Full Sync operation.  Unsuccessful after 1 attempts over 11m14.958797693s.  The vCenter task for 'SDM Snapshot Sync Full' completed with state 'error'.  TSDM Error Code: <TargetDataDomainUnreachable>, TSDM Error Message: <Unable to connect to target DataDomain host. Error message: Failed to connect to '192.168.1.1'. err='calling system(), returns nonzero'>. (500)

 
PowerProtect 로그 위치: /opt/emc/vmdirect/runtime/logs/recycle/vpod/<date>/BackupVmSession-<SessionId>.log파일로 교체합니다.

2025-01-10T18:00:20.807Z ERROR:  [9bf47huh78e89623;987879j898817775] SDM Data Mover: SDM Full Sync: The vCenter task for 'SDM Snapshot Sync Full' completed with state 'error'.  TSDM Error Code: <TargetDataDomainUnreachable>, TSDM Error Message: <Unable to connect to target DataDomain host. Error message: Failed to connect to '192.168.1.1'. err='calling system(), returns nonzero'>.

ESXi 로그 위치: /var/run/log/tsdm.log파일로 교체합니다.

2025-01-19T09:54:28.787Z In(30) tsdm[316937630]: error TSDM[0x000000bb79082700] [sub=DdBoostLogger]: ddBoostLogger.cpp:69 WriteDDBoostLog: [316937630:805189461760] ddp_connect_with_config_internal() failed, Hostname: 192.168.1.1, Err: 5040-ddcl_ost2_connect_ext(): RPC failure after reconnect
2025-01-19T09:54:28.787Z In(30) tsdm[316937630]: error TSDM[0x000000bb79082700] [sub=DdBoostLogger]: ddBoostLogger.cpp:69 WriteDDBoostLog: [316937630:805189461760] ddp_connect_with_config() failed, Hostname: 192.168.1.1, Err: 5040-ddcl_ost2_connect_ext(): RPC failure after reconnect
2025-01-19T09:54:28.787Z In(30) tsdm[316937630]: error TSDM[0x000000bb79082700] [sub=SdmDdLog]: ddBoostFacade.cpp:1405 CreateConnectStatus: {DdBoostFacade SdmOpId=[protectedEntity='5012343b-4f0f-ca79-1b1f-c15e2e245456',cycleSession='1766136789043548',traceId='be6f2h76fgr4e4er9;82e8cd25c4h786g6']} Failed to connect to '192.168.1.1'. err='calling system(), returns nonzero'

ESXi와 PowerProtect DD 간의 MTU 불일치로 인해 네트워크 조각화가 발생하고 데이터 흐름이 중단될 때 백업 오류가 발생합니다. 이러한 불일치는 두 호스트, 이 경우 ESXi와 PowerProtect DD 사이의 경로에 있는 모든 네트워크 세그먼트에서 발생할 수 있습니다.

디바이스가 서로 다른 MTU 크기를 사용하는 경우 패킷이 조각화되거나 삭제되어 다음이 발생할 수 있습니다.

• 백업 성능 저하
• 시간 초과 또는 재시도
• 백업 작업 실패

ESXi 네트워킹, 스위치, 방화벽 및 DD 네트워크 경로를 관리하므로 MTU 구성 및 경로 MTU 문제는 네트워크 및 인프라스트럭처 팀이 담당합니다. 

MTU 크기는 두 호스트, 이 경우 ESXi와 PowerProtect DD 간의 경로에서 일관되어야 합니다. PowerProtect DD 문서 Data Domain: 경로에서 MTU의 일관성을 보장하는 방법

ESXi VMkernel에서 MTU를 확인합니다.

1. vSphere-Select> ESXi host-Configure-Networking-VMkernel>>>어댑터에 연결 -> VMkernel> - Edit를 선택합니다.

1500 MTU의 출력 예:

2. CLI를 통해 확인 -> SSH를 통해 ESXi에> - 아래 명령을 실행합니다.

esxcfg-vmknic -l

예시 출력:

PowerProtect DD 인터페이스에서 MTU를 확인합니다.

1. ssh를 통해 PowerProtect DD에 연결하고 아래 명령을 실행합니다.

net show config

예시 출력:

2. PowerProtect DD UI ->하드웨어 ->이더넷 ->인터페이스에서 다음을 수행합니다. 

MTU 테스트

먼저 포트가 열려 있는지 확인하고 닫힌 포트는 MTU 테스트에 실패합니다.

환경에 맞게 다음 매개변수를 바꿉니다( 포함 <>).
<your_dd_interface> 을 보호 정책에 설정된 대로 PowerProtect DD 네트워크 인터페이스로 바꿉니다.
<your_vmk_ip> ESXi로 VMkernel IP

1. 일반 통신을 확인합니다.

PowerProtect Data Manager 보호 정책에 설정된 DD 인터페이스를 사용합니다. PowerProtect DD FQDN(Fully Qualified Domain Name)을 사용하는 경우 ESXi는 FQDN을 백업에 필요한 올바른 DD IP로 확인할 수 있어야 합니다. 예제 ping 및 nslookup 구문:

ping <your_dd_interface>

nslookup <your_dd_interface>

예시 출력:
 

특정 VMkernel을 사용하는 ESXi NC(기본값이 아닌 경우):

nc -s <your_vmk_ip> -zv <your_dd_interface> 2049

예시 출력:

VMkernel IP check가 확실하지 않은 경우 다음을 수행합니다.

• vSphere UI -> ESXI host-Configure-Networking-VMkernel>>>adapter를 선택합니다.
• CLI:  esxcli network ip interface ipv4 get

2. ESXI와 DD 사이의 9000 점보 프레임에 대한 MTU 크기를 확인합니다.

다음 매개변수를 환경( 포함 <>)
<에 맞게 바꿉니다. 보호 정책에 설정된 대로 your_dd_interface> 네트워크 인터페이스를 PowerProtect DD 네트워크 인터페이스로 바꿉니다.

vmkping -d -s 8972 <your_dd_interface>
vmkping -d -s 8500 <your_dd_interface>

3. ESXI와 DD 사이의 MTU 크기가 1500인지 확인합니다.

vmkping -d 1472 <your_dd_interface>

왜 8972 또는 1472입니까?
다음 값은 프로토콜 오버헤드가 추가된 후 MTU에 도달하는 데 필요한 ICMP 페이로드 크기입니다.

• • ICMP 헤더의 경우 8바이트
  • IP 헤더의 경우 20바이트

페이로드 + 28 = MTU
(예: 1472 → 1500 MTU, 8972 → 9000 MTU)

예시 출력:

MTU vmkping 테스트가 실패하는 경우 ESXI와 DD 간의 네트워크 경로 어딘가에 MTU가 일치하지 않음을 나타냅니다. ESXi 네트워킹, 스위치, 방화벽 및 DD 네트워크 경로를 관리하므로 MTU 구성 및 경로 MTU 문제는 네트워크 및 인프라스트럭처 팀이 담당합니다. 

ESXi VMkernel 및 DD가 9000으로 설정되어 있지만 MTU ping이 실패하는 경우 VMkernel MTU를 일시적으로 1500으로 설정하고 TSDM 백업을 실행합니다. 소스에 1500, 대상에 9000이 있더라도 경로 MTU 차이로 인해 문제가 발생할 수 있습니다. 위와 같이 PowerProtect DD 문서 - Data Domain: 경로에서 MTU의 일관성을 보장하는 방법