Data Domain: Data Domain Restorer를 사용하여 데이터 이동을 모니터링하는 방법

특정 모델의 DDR(Data Domain Restorer)은 ER(Extended Retention) 또는 LTR(Long Term Retention)이라는 기능으로 구성할 수 있습니다. 이 기능을 사용하면 장기간 보존이 필요한 파일을 마이그레이션할 수 있는 시스템에 보조 스토리지 계층을 추가할 수 있습니다. 이 두 번째 계층에 사용되는 스토리지 유형은 다음과 같은 사용 중인 특정 기능에 따라 달라집니다.

• Extended Retention: 아카이브 계층이라고 하는 스토리지의 두 번째 계층은 DDR에 물리적으로 연결된 디스크 인클로저로 구성됩니다
• 장기간 보존: 스토리지의 두 번째 계층은 클라우드 계층이라고 하며 지원되는 클라우드 공급업체(즉, DDR 외부)에서 프로비저닝된 오브젝트 스토리지로 구성됩니다.

데이터 이동의 메커니즘:

두 경우 모두 파일을 활성 계층에서 아카이브/클라우드 계층으로 물리적으로 마이그레이션하기 위해 FMIG(Data Movement)라는 프로세스가 사용됩니다. FMIG가 시작되면 아래에 설명된 대로 5단계 작업을 거칩니다.

1단계 - 대량 시딩:

• 모든 LTR 지원 시스템에서는 이 작업을 건너뜁니다.
• DDOS 5.5.1.x(이상)를 실행하는 ER 시스템에서는 건너뜁니다.
• DDOS 5.5.0.x(및 이전 버전)를 실행하는 ER 시스템에서는 활성 계층에서 아카이브 계층으로 선택한 데이터의 블록 수준 복사를 수행할 수 있습니다. 이 복사본의 메커니즘은 이 문서의 범위를 벗어나므로 여기에서 설명하지 않습니다.

2단계 - 스캔:

• DDFS(Data Domain File System)는 아카이브/클라우드 계층으로 마이그레이션할 후보인 활성 계층의 파일을 찾습니다(상위 MTrees 데이터 이동 정책/기간 임계값보다 오래 수정되지 않은 파일)
• 각 스레드가 활성 계층의 후보 파일을 읽고 아카이브/클라우드 계층에 고유한 데이터(즉, 타겟 계층에 아직 없는 데이터)를 복제하는 여러 복사 스레드가 시작됩니다(특정 개수는 시스템 모델/구성에 따라 다름).
• 여러 검증 스레드가 시작되며(특정 스레드 수는 시스템 모델/구성에 따라 다름) 후보 파일의 복사가 완료되면 대상 계층에서 파일의 복사본을 다시 읽어 유효한지/모든 데이터에 연결할 수 있는지 확인합니다
• 후보 파일이 복사/확인되면 대상 계층에서 '설치' 보류 중인 파일 목록에 추가됩니다(대상 계층에 현재 존재함을 나타내기 위해 파일에 대한 메타데이터 업데이트). 주기적으로 설치 스레드는 보류 중인 모든 파일을 '설치'하기 위해 깨어납니다.

3단계 - 확인:

• 이 단계에서 DDFS는 타겟 계층에서 복사된 모든 파일의 확인이 완료되기를 기다립니다

4단계 - 포장:

• 모든 LTR 지원 시스템에서는 이 작업을 건너뜁니다.
• ER 시스템에서 FMIG는 스캔 단계 중에 아카이브 계층에 복사된 데이터의 중복 세그먼트를 제거하려고 시도합니다. 복제 프로세스 속도를 높이기 위해 중복된 데이터 세그먼트를 복제할 수 있지만 아카이브 계층의 설계(최대 전체 압축률, 낮은 읽기 성능)를 고려할 때 이러한 중복 데이터를 제거해야 합니다.

5단계 - 설치:

• 이 단계에서 DDFS는 복사/확인된 모든 파일의 설치가 완료될 때까지 기다립니다

FMIG 진행 상황 모니터링:

주로 DDSH(Data Domain Command Line Shell)는 ER 및 LTR 시스템에서 FMIG의 진행 상황을 모니터링하는 데 사용됩니다. 참고:

• ER 시스템에서는 'archive data-movement [status|watch]' 명령을 사용해야 하는 반면 LTR 시스템에서는 'data-movement [status|watch]' 명령을 사용해야 합니다.

• ER 시스템에서는 5단계 모두의 진행 상황이 보고되는 반면(즉, 출력에 'x of 5'가 표시됨) LTR 시스템에서는 1단계와 4단계를 항상 건너뛰기 때문에 2/3/5단계의 진행률만 표시됩니다(즉, 출력에 'x of 3'이 표시됨)
• 'status' 명령은 FMIG 진행 상황의 일회성 스냅샷을 표시합니다.

• 'watch' 명령은 FMIG가 단계를 통해 진행됨에 따라 롤링 출력을 표시합니다.

레지스트리 키 세트는 FMIG 진행 상황을 추적하는 데에도 사용됩니다. 이러한 키는 시스템에서 생성된 자동 지원에서 캡처되며 DDSH:ER을 통해 표시할 수도 있습니다.

# reg show dynamic.art.fmig
LTR: # reg show state.fmig2

두 경우 모두 표시되는 레지스트리 키는 매우 유사하므로 LTR 활성화 시스템의 레지스트리 키만 여기에 표시됩니다.

# reg show state.fmig2
state.fmig2_checked_inodes = 13 <=== 후보 기준과 일치하는지 확인하기 위해 검사한 DDFS 네임스페이스의 총 파일 수state.fmig2_end_time = 1470059610 <=== FMIG
의 마지막 실행 종료 시간 state.fmig2_fcopy_byte_count = 11274289151
<=== 지금까지 타겟 계층에 복사된 사전 구성 (논리적) 바이트state.fmig2_fcopy_post_lc_size = 10944662855 <=== 대상 계층에 복사된 구성 후 (물리적) 바이트 따라서 FA...


state.fmig2_files_copied = 8 <=== 복사
를 완료한 파일 state.fmig2_files_failed_in_copy = 0 <=== 복사
에 실패한 파일 state.fmig2_files_failed_in_install = 0 <=== 복사/확인했지만 설치
에 실패한 파일 state.fmig2_files_failed_in_verify = 0 <=== 복사했지만 확인
하지 못한 파일 state.fmig2_files_installed = 4 <=== 복사/확인/설치를 완료한 파일
state.fmig2_files_verified = 4 <=== 복사 / 확인을
완료 한 파일 ...
state.fmig2_is_running = 1 <=== FMIG가 실행
중입니다 state.fmig2_is_waiting = 0 <=== FMIG가 대기 중입니다 (예 : 정리가 완료 될 때까지)
state.fmig2_progress_current_phase = 2 <=== 현재 단계 (이 경우 복사 / 스캔)
state.fmig2_progress_percent_complete = 92 <=== 확인 된 파일 대 이름 공간
의 총 파일 수를 기준으로 현재 단계의 완료율 state.fmig2_progress_phase_time = 1245 <=== 지금까지 현재 단계에서
소요된 시간(초) state.fmig2_progress_total_time = 1255 <=== FMIG가 지금까지
실행된 시간(초) state.fmig2_start_time = 1470061560 <=== FMIG
의 현재 실행 시작 시간...
state.fmig2_total_inodes = 14 <=== 네임스페이스
에서 체크인할 총 파일...

마지막으로 FMIG의 진행 상황을 나타내기 위해 다양한 메시지가 DDFS 로그 파일(/ddr/var/log/debug/ddfs.info)에 기록됩니다. 다시 말하지만, 출력은 ER 및 LTR 기능에 대해 매우 유사하므로 LTR 지원 시스템의 출력만 여기에 표시됩니다.

08/01 15:26:00.945(tid 0x7ff4c683e090): 주의 사항: MSG-FMIG-00004: 데이터 이동 시작 <=== FMIG 시작...

08/01 15:26:00.977(tid 0x7ff4cbeabcf0): INFO: Fmig : 1 단계 (시딩) 시작<됨 === 대량 시딩 시작 (LTR에서 실행되지 않음)
08/01 15 : 26 : 10.978 (tid 0x7ff4cbeabcf0) : INFO: Fmig: 1단계(시딩) 종료
08/01 15:26:10.978(tid 0x7ff4cbeabcf0): INFO: Fmig : 2 단계 (스캔) 시작 <됨 === 스캔 단계 시작
 
08/01 15:26:22.162(tid 0x4ca2150): Fmig : 후보 파일 /data/col1/jftest/file2, src 파일 snap_fh 10:0:12:0:e8b645a6:57989b6e:0 <=== 복사 스레드
08/01 15:26:22.164(tid 0x7ff4c5214670)에서 선택한 후보 파일: Fmig : 후보 파일 / data / col1 / jftest / file3, src 파일 snap_fh 10 : 0 : 13 : 0 : e9b64736 : 57989b6e : 0<=== 후보 파일 복사
시작08/01 15 : 26 : 22.273 (tid 0x7ff7d252a9e0) : Fmig : 후보 파일 / data / col1 / jftest / file4, src 파일 snap_fh 10 : 0 : 14 : 0 : e6b64286 : 57989b6e : 0 <=== 후보 파일 복사
시작08/01 15 : 26 : 22.274 (tid 0x7ff7d090a630) : Fmig : 후보 파일 / data / col1 / jftest / file5, src 파일 snap_fh 10 : 0 : 15 : 0 : e7b64416 : 57989b6e : 0 <=== 후보 파일이 복사
 
를 시작합니다.08/01 15:27:11.072(tid 0x7ff45ad95d30): Fmig : fmig_dump_stats (클라우드) : 2 단계, phase_time 61, total_time 71, total_inodes 14, checked_inodes 5, copied_files 0, verified_files 0, installed_files 0, failed_files_in_copy 0, failed_files_in_verify 0, failed_files_in_install 0, copied_vbytes 0, 진행중인 vbytes 1936986672 <=== 주기적으로
 
덤프되는 통계08/01 15:45:59.040(tid 0x7ff7d25298c0): fmig : fmig verified file5, src 파일 snap_fh 10 : 0 : 15 : 0 : e7b64416 : 57989b6e : 0 <=== 복사 된 파일 확인
완료08/01 15 : 45 : 59.140 (tid 0x7ff4c5218310) : fmig : fmig verified file3, src 파일 snap_fh 10 : 0 : 13 : 0 : e9b64736 : 57989b6e : 0<=== 복사 된 파일 확인
완료08/01 15 : 45 : 59.225 (tid 0x7ff4c540b5f0) : fmig : fmig verified file2, src 파일 snap_fh 10 : 0 : 12 : 0 : e8b645a6 : 57989b6e : 0 <=== 복사 된 파일이 확인을
완료합니다08/01 15 : 45 : 59.228 (tid 0x7ff4e591bcd0) : fmig : fmig verified file4, src 파일 snap_fh 10 : 0 : 14 : 0 : e6b64286 : 57989b6e : 0 <=== 복사 된 파일이 확인을
 
완료합니다.08/01 15:47:15.113(tid 0x7ff45ad95d30): Fmig : fmig_dump_stats (클라우드) : 2 단계, phase_time 1265, total_time 1275, total_inodes 14, checked_inodes 13, copied_files 8, verified_files 4, installed_files 4, failed_files_in_copy 0, failed_files_in_verify 0, failed_files_in_install 0, copied_vbytes 10737418240, 진행중인 vbytes 536870911 <=== 더 주기적인 통계
 
08/01 15:47:41.858(tid 0x7ff4cbeabcf0): INFO: Fmig : 2 단계 (스캔) 종료 <=== 스캔 단계 완료 (모든 후보 파일 복사)
08/01 15 : 47 : 41.858 (tid 0x7ff4cbeabcf0) : INFO: Fmig: 3단계(확인) 시작<됨 === 단계 시작
 
확인 중08/01 15:47:57.855(tid 0x7ff50351a620): fmig : fmig verified file10, src 파일 snap_fh 10 : 0 : 1a : 0 : 64f703c6 : 57989b6e : 0 <=== 확인
된 나머지 파일08/01 15 : 47 : 57.875 (tid 0x7ff4cbeabcf0) : INFO: Fmig : 4 단계 (압축) 종료 <=== 압축 단계 (LTR에서 실행되지 않음)
08/01 15 : 47 : 57.875 (tid 0x7ff4cbeabcf0) : INFO: Fmig : 5 단계 (설치) 시작 <됨 === 설치 단계 시작
08/01 15 : 48 : 08.890 (tid 0x7ff4cbeabcf0) : INFO: Fmig : 5 단계 [설치] 종료<=== 설치 단계 종료
 
08/01 15 : 48 : 35.337 (tid 0x7ff4cbeabcf0) : 주의 사항: MSG-FMIG-00001: 클라우드 CPS에서 데이터 이동 완료(클라우드): 0:22:35 경과, 마이그레이션된 파일 9개, 마이그레이션 <된 총 바이트 11274289152 === FMIG 완료
08/01 15:48:35.337(tid 0x7ff4cbeabcf0): INFO: 에미그:  단계[1]: 10초 위상[2]: 1291초 단계[3]: 16초 위상[4]: 0초 위상[5]: 11초 <=== 위상 타이밍 표시

다음 사항에 유의하세요.

• 타겟 계층에 복사된 구성 후 (물리적) 데이터의 양을 나타내는 그림은 파일 복사가 완료될 때마다 업데이트됩니다. 따라서 하나의 큰 파일이 마이그레이션되는 경우 comp 후 복사(및 검사 단계)가 완료될 때까지 0바이트가 표시됩니다
• 타겟 계층에 복사된 사전 구성(논리적) 데이터의 양을 나타내는 그림은 파일 복사가 완료될 뿐만 아니라 주기적으로 업데이트됩니다
• 검사 단계에 표시된 완료율은 지금까지 복사된 후보 데이터의 총 백분율을 나타내지 않습니다. 대신, 마이그레이션 후보인지 여부를 판별하기 위해 지금까지 복사 스레드에서 DDFS 네임스페이스에 있는 총 파일 비율을 확인했음을 나타냅니다. 결과적으로 FMIG가 스캔 단계에 있을 때 일반적으로 다음을 볼 수 있습니다.