Data Domain: DDFS (Data Domain File System) 정리/가비지 수집 (GC) 단계

DDFS (Data Domain File System)는 파일 시스템 공간에서 파일이 삭제 되는 경우 해당 파일에 사용 되는 파일 시스템 공간에서 파일을 즉시 사용할 수 없게 되는 경우에는 다양 한 공통 파일 시스템 구현과 다릅니다. 그 이유는 Data Domain Restorer (DDR)가 삭제 된 파일에서 참조 하는 데이터가 다른 파일에 대해서도 복제 해제 되 고 있는지 여부를 알 수 없기 때문에 해당 데이터를 제거 하는 것이 안전 하기 때문입니다.

클리닝 (가비지 수집/GC 라고도 함)은 다음과 같은 DDR 하는 프로세스입니다.

• 디스크에서 불필요 한 데이터 (예: 파일 또는 스냅샷과 같은 객체에서 더 이상 참조 하지 않음)를 결정 합니다.
• 기본 디스크 공간을 다시 사용할 수 있도록 하는 불필요 한 데이터를 물리적으로 제거 합니다 (즉, 새 데이터의 수집).

일반적으로 Clean/GC는 정기적으로 실행 되도록 예약 되어 있습니다 (기본적으로 화요일 매일 오전 6 시에 시작).

• 장기 실행
• 계산 비용이 높습니다.

단, data Domain Restorer에서 물리적으로 데이터를 제거 하는 작업 (예:이 프로세스의 속도를 단축할 수 있는 바로 가기가 없음)

을 실행 하는 경우를 제외 하 고는 데이터를 제거할 수 있습니다. 이 문서에서는 다음을 설명 합니다.

• 정리는 일반적으로 실행 되는 단계입니다.
• 다양 한 버전의 DDOS에 사용 되는 여러 가지 클린 알고리즘

None

정리/GC가 실행 될 때마다 두 가지 주요 목적이 있습니다. 즉,이 작업을 수행 하는 방법에 대 한 간략 한 개요는 DDR에 나와 있습니다.

• Clean/GC는 시스템에 현재 존재 하는 파일, 스냅숏 및 복제 로그와 같은 개체를 찾는 DDFS 파일 시스템의 컨텐츠를 열거 합니다.
• 그런 다음 해당 개체에서 활발히 참조 하는 모든 물리적 데이터를 디스크에 확인 합니다.
• 현재 참조 되는 데이터는 ' 라이브 '로 간주 되며,이 데이터를 참조 하는 객체가 손상 될 DDR 수 없는 경우에는이 데이터를 참조 하는 객체가 손상 될 수 있습니다 .이 경우 해당 데이터가 더 이상 디스크에 존재 하지 않기 때문에 더 이상 읽을 수 없게 됩니다.
• 어떠한 오브젝트 에서도 현재 참조 하지 않는 데이터를 ' 비활성 ' 이라고 하며 불필요 한 데이터를 시스템에서 안전 하 게 제거할 수 있습니다.
• DDR의 모든 데이터는 컨테이너 라고 하는 크기의 4.5 Mb 오브젝트에 압축 되어 있습니다.
• 열거 정리/GC를 통해 비활성 데이터를 보유 하는 4.5 Mb 컨테이너와 각 구성 요소의 비활성 데이터 양을 결정할 수 있습니다.
• 기본적으로 clean/GC는 ' processing '에 대 한 > 8%의 비활성 데이터를 보유 하 고 있는 4.5 Mb 컨테이너를 선택 합니다.

두 번째는 DDR에서 비활성 데이터를 제거 해야 합니다 .이 작업을 수행 하는 방법에 대 한 간략 한 설명은 다음과 같습니다.

• 처리 하도록 선택 된 컨테이너를 다시 확인 하 여 비활성 데이터 양이 양호한 지 확인 합니다.
• 이러한 컨테이너에서 라이브 데이터가 추출 되 고 파일 시스템 끝에 있는 새 4.5 Mb 컨테이너에 기록 됩니다.
• 이 작업이 완료 되 면 선택한 컨테이너 (비활성 데이터 포함)가 디스크에서 삭제 되 고 물리적으로 디스크 공간을 확보 합니다.

정리 프로세스는 다음에 따라 총 위상 수의 ' 단계 '로 분할 됩니다.

• DDR에서 사용 되는 DDOS의 버전 (기본적으로 DDOS의 해당 버전에 의해 사용 되는 정상 알고리즘)
• 시스템의 구성/컨텐츠

일반적으로 ' 비활성 ' 데이터를 찾고 해당 컨테이너를 선택 하는 프로세스는 여러 단계에서 수행 됩니다. 하지만 비활성 데이터를 제거 하는 작업은 ' copy ' 라는 단일 단계에서 수행 됩니다. 예를 들어 특정 버전의 DDOS는 다음과 같이 깨끗 한 단계를 실행 합니다.

1. 사전 열거-DDFS 파일 시스템의 컨텐츠를 열거 합니다.
2. 사전 병합-DDFS 인덱스 병합을 수행 하 여 최신 인덱스 정보 복제본이 디스크로 플러시 되도록 합니다.
3. 사전 필터링-DDFS 파일 시스템 내에 중복 된 데이터가 있는지 확인 하 고,이 경우
4. 사전 선택-클리닝 하 여 ' 처리 ' 해야 하는 4.5 Mb 컨테이너를 결정 합니다.
5. Copy-선택한 컨테이너에서 라이브 데이터를 물리적으로 추출 하 여 새 컨테이너에 쓰고 선택한 컨테이너를 삭제 합니다.
6. Summary-새 데이터를 수집 하는 동안 최적화로 사용 되는 요약 벡터 재구축

위의 예에서는 1-4 단계를 사용 하 여 DDR에서 ' 비활성 ' 데이터가 존재 하는 위치를 확인 합니다 (이 문서의 나머지 부분에 있는 ' 열거 단계 ' 라고 함) .이 데이터를 물리적으로 제거 하려면 단계 5 (copy)를 사용 해야 합니다.

정리/GC가 복제 단계에 도달할 때까지 시스템에서 공간이 확보 되지 않습니다. 결과적으로, 정리를 시작 하는 데 상당한 시간이 소요 될 수 있습니다 (열거 프로세스를 처음부터 완료 해야 함). 따라서 클린/GC가 시작 되기 전에 시스템에서 100% full을 채우지 않도록 허용 해야 합니다.

열거 단계는 cpu utilisation (일반적으로 CPU 바운드)와 관련 하 여 비용이 많이 드는 반면, 복제 단계는 CPU와 입출력 모두의 측면에서 부담이 높습니다 (일반적으로 CPU 및 I/o 바인딩). 그러나 요약 하자면, 다음을 말할 수 있습니다.

• 열거 단계의 총 길이는 열거 해야 하는 DDR의 데이터 양에 따라 달라 집니다.
• 복제 단계의 총 길이는 제거 해야 하는 DDR에서 작동 하지 않는 데이터의 양과 해당 데이터가 디스크에 있는 ' 단편화 된 데이터의 양 (아래 설명 참조)에 따라 달라 집니다.

열거 단계의 수/기능은 DDR에서 사용 되는 DDOS 릴리즈에 따라 달라 집니다.

DDOS 5.4 (및 이전 버전)-full clean algorithm: 6 개 또는 10 개의 단계를 실행 합니다 (위의 그림 참조).

• DDFS 파일 시스템의 컨텐츠는 하향식으로 열거 됩니다. 즉, 파일 중심입니다.
• DDFS는 DDR에 있는 모든 파일을 검색 한 후 각 파일을 차례로 스캔 하 여 해당 파일이 참조 하는 데이터를 확인 합니다.
• 이를 통해 clean/GC는 디스크에서 ' 라이브 ' 된 데이터를 확인할 수 있습니다.

DDOS 5.5 (이상)-PGC (물리적 정리 알고리즘): 7 또는 12 단계를 실행 합니다.

• DDFS의 컨텐츠는 아래쪽으로 열거 됩니다 (즉, 개별 파일을 더 이상 스캔 하지 않음).
• DDFS는 디스크의 물리적 데이터를 참조 하는 파일 시스템 메타 데이터를 검색 하 고 해당 메타 데이터를 스캔 하 여 참조할 데이터를 확인 합니다.
• 이를 통해 clean/GC는 디스크에서 ' 라이브 ' 된 데이터를 확인할 수 있습니다.
• 이는 ' 분석 ' 단계를 추가 하 여 수행할 수 있습니다. 따라서 전체 복구 알고리즘을 통해 단계 수를 늘리면 됩니다.
• 하지만 대부분의 경우에는 물리적 치료의 총 기간이 동일한 시스템에 대 한 전체 정리 보다 짧아야 합니다 (개별 단계가 더 많은 경우에도 해당).

DDOS 6.0 (이상)-완벽 한 물리적 정리 알고리즘 (PPGC):

• 이는 물리적 정리 알고리즘을 최적화 하는 일 뿐 이며 아래에 자세히 설명 되어 있습니다.

전체 정리 알고리즘에서 물리적 깨끗 알고리즘으로 전환 하 여 열거 프로세스의 확장성/성능을 향상 시키기 위해 DDOS는 다음 중 하나가 있는 Ddr에서 올바르게 확장 되지 않은 전체 정리 알고리즘의 하향식 특성으로 인해

• 많은 수의 작은 파일 (한 파일의 열거에서 다음으로 이동 하는 경우 컨텍스트 스위치로)
• 높은 중복 제거 비율 (여러 파일이 동일한 물리적 데이터를 참조 하 여 동일한 데이터를 여러 번 열거할 경우)

DDOS 5.4 (또는 이전 버전)에서 5.5 이상으로 업그레이드 하는 경우 Ddr 스위치를 완전 하 게 물리적 정상 알고리즘으로 전환 합니다. 단,이에 대 한 유일한 예외 사항은 물리적 치료를 활성화 하기 전에 DDFS 파일 시스템의 컨텐츠를 ' 스패닝 ' 파일을 검사 해야 하는 시스템입니다 .이 프로세스에 대 한 설명은이 문서의 범위를 벗어나므로이 문서에서 설명 하지 않습니다 .이 확인 작업은 업그레이드 후 자동으로 실행 되며 수동 조치 없이이 검사를 완료 하는 데 물리적 정리가 활성화 되어 있습니다.

DDOS 5.x에서 6.0 이상으로 업그레이드 한 경우에는 물리적에서 완벽 한 물리적 치료 알고리즘으로의 유사 Ddr 스위치가 자동으로 전환 됩니다. 그러나 완벽 한 물리 치료 알고리즘을 사용 하려면 인덱스를 ' 인덱스 2.0 ' 형식으로 지정 해야 합니다. 참고:

• DDOS 5.5에는 ' 인덱스 2.0 ' 형식이 도입 되어 있습니다. 따라서 5.5 이상에서 생성 된 모든 파일 시스템은 이미 인덱스 2.0을 사용 하 고 있습니다.
• 5.4 또는 이전 버전에서 생성 된 파일 시스템은 처음에 인덱스 1.0 형식으로 인덱스를가지고 있습니다. DDOS 5.5 (이상)로 업그레이드 한 후에는 인덱스가 인덱스 2.0 형식으로 변환 됩니다. 즉, 정리를 실행할 때마다 인덱스를 1% 씩 변환 하는 것이 가능 하기 때문에 전체 인덱스는 최대 2 년 동안 (완전 하 게 실행 되는 것으로 간주) 인덱스를 2.0 형식으로 완전히 변환 해야 합니다.

처음에 DDOS 5.4 (또는 이전 버전)을 실행 했지만 이후에 DDOS 5.5 이상으로 업그레이드 된 Ddr은 한 번의 ' 인덱스 재구축 '을 통해 인덱스를 인덱스 2.0 형식으로 변환할 수 있습니다. 하지만 인덱스를 재구축 하는 동안 인덱스를 물리적으로 재구축 하는 데 시간이 소요 될 수 있습니다 .이 작업은 일반적으로 DDR 데이터의 크기/양에 따라 완료 하는 데 2-8 시간이 소요 됩니다. 인덱스 재구축을 수행 하는 방법을 논의 하려면 계약 한 지원 공급 업체에 문의 하십시오.

위에서 언급 한 것 처럼, 사용 되는 클리닝/GC 알고리즘에 관계 없이 clean에는 다양 한 단계를 요구할 수 있습니다. 예를 들어 full clean 알고리즘은 6 또는 10 단계를 필요로 할 수 있습니다. 그 이유는 다음과 같습니다.

• DDFS가 시작 될 때 clean/GC에서 사용할 고정 된 양의 메모리를 예약 합니다.
• 이 메모리 내에서 clean/GC는 열거 결과를 설명 하는 데이터 구조를 생성 합니다. 즉, 라이브 vs 데드 데이터가 디스크에 존재 하는 위치를 설명 합니다.
• DDR에 비교적 적은 양의 데이터가 포함 된 경우에는이 메모리 영역에서 DDFS 파일 시스템의 전체 컨텐츠를 설명할 수 있습니다.
• 하지만 대부분의 시스템에서는이 방법이 가능 하지 않으며 DDFS 파일 시스템의 전체 내용이 열거 되기 전에이 영역 메모리가 소모 됩니다.
• 따라서 이러한 시스템은 ' 샘플링 '을 수행 하 여 필요한 정리 단계의 수를 높입니다.

샘플링을 사용 하는 경우 clean/GC는 다음을 수행 합니다.

• 전체 파일 시스템에서 열거의 샘플링 단계를 수행 합니다. 즉,이 열거형은 ' complete '가 아닙니다. 즉, 파일 시스템의 각 부분에 대 한 전체 정보를 기록 하지 않고, 대신 파일 시스템의 각 부분에 대 한 정보를 대략적으로 설명 합니다.
• 이 샘플링 정보를 사용 하 여 DD FS 파일 시스템에 대 한 클린/GC 실행을 가장 많이 얻을 수 있는 기능을 결정 합니다. 즉, 파일 시스템의 어느 부분이 정리 된 경우 확보 되는 공간 측면에서 최상의 반환을 제공 합니다.
• 파일 시스템에서 선택한 부분에 대 한 두 번째 전체 열거를 수행 합니다. 이제 GC 용으로 예약 된 메모리 내에서 해당 컨텐츠를 완전히 설명할 수 있습니다.

다음을 수행 하는 경우 클리닝이 자동으로 활성화 됩니다. 하지만 필요한 경우는 다음과 같습니다.

• 클린/GC에서 수행 해야 하는 단계 수가 늘어났습니다.
• Clean/GC의 총 지속 기간에 해당 하는 시간 연장

DDOS 6.0 이전 버전의 Ddr은 clean/GC 중에 샘플링을 수행 합니다 (비교적 작은 데이터 세트를 보유 하 고 있지 않은 경우). 그러나 완벽 한 물리적 치료 알고리즘에는 파일 시스템 내에서 데이터를 열거할 때 clean/GC에 필요한 메모리 양을 줄이기 위한 다양 한 optimisations 포함 되어 있습니다. 즉, DDOS 5. x에서 clean/GC를 사용 하는 경우 샘플링을 수행 하는 많은 시스템에서 더 이상 DDOS 6.0에서 샘플링을 수행할 필요가 없습니다. 따라서 정리를 통해 수행 되는 단계 수가 줄어들고 완전 한 실행 시간 (즉, 깨끗 한 성능 향상)

이 감소 하 게 됩니다. 시스템이 물리적 깨끗 알고리즘에서 다음과 같은 완벽 한 물리적 정리 알고리즘으로 전환 되었는지 직접 확인 하는 데 사용할 수 있는 정보는 없습니다.

• 시스템이 DDOS 5.5-5.7에서 물리적 clean을 실행 하는 경우, 정리 하는 동안 12 단계를 수행 하는 중입니다.
• DDOS 6.0 이상으로 업그레이드 되는 시스템 다음에는 정리 하는 동안 7 단계만 수행 합니다.

DDOS 6.0을 실행 하는 시스템에서 여전히 샘플링을 수행 해야 하는 경우이 작업은 정리 시 자동으로 활성화 되 고, 깨끗 하 게 진행 되는 동안 12 단계 실행이 취소 됩니다.

정상 알고리즘을 사용 하는 경우에는 모든 릴리즈에서와 유사한 방식으로 복제 단계 (비활성 데이터를 물리적으로 시스템에서 제거)를 사용 했습니다. 복제본 단계의 성능은 일반적으로 다음에 따라 달라 집니다.

• 제거 해야 하는 ' 비활성 ' 데이터의 양입니다.
• 이 유효 하지 않은 데이터의 ' 조각화 ' (즉, 디스크 전체에 분산 되는 방법)

위의 copy는 작동 하지 않는 데이터를 보관 하는 4.5 Mb 컨테이너를 선택 하 고, 해당 컨테이너에서 라이브 데이터를 추출 하 고, 새 컨테이너에 해당 라이브 데이터를 쓴 다음 원래 선택한 컨테이너를 삭제 하는 방식으로 작동 합니다. 다음 예는 비활성 데이터의 조각화가 중요 한 이유를 설명 합니다.

예 1:

• 복제본을 위해 10 개의 컨테이너가 선택 됩니다 (45Mb total data).
• 이러한 컨테이너가 라이브 데이터를 보유 하 고 있지 않은 경우 (즉, 저장 된 데이터가 완전히 참조 되지 않거나 비활성 상태)
• 결과적으로 이러한 컨테이너는 디스크의 45Mb 물리적 공간을 확보할 수 있도록 삭제 된 것으로 표시 하면 됩니다.

예 2:

• 복제본을 위해 100 컨테이너를 선택 합니다 (450Mb total data).
• 각 컨테이너에는 90% live data/10%의 비활성 데이터가 포함 됩니다.
• 이러한 컨테이너 복제본을 처리 하려면 다음을 수행 합니다.

예 1에 나와 있는 것과 비교 했을 때 예제 2에서 설명 하는 복제본을 수행 하는 데 필요한 I/o 및 CPU의 양이 훨씬 더 많이 필요 하므로이 예에서는 디스크에서 45Mb 물리적 공간을 더 많이 차지 하 게 됩니다.

일반적으로 사용자 DDR는 시스템에 기록 되는 데이터의 활용 사례/유형에 따라 사용 되는 데이터의 작동 중단 없는 데이터의 ' 조각화 '를 제어할 수 없습니다. 그러나 clean/GC는 복제 단계에서 발견 된 비활성 데이터의 ' 조각화 '를 결정 하는 데 도움이 되는 통계를 유지 합니다. 따라서 사용자는이 조각화가 장기간 실행 되는 복제본 단계를 설명할 수 있습니다. Clean/GC의 최신 단계에서 이러한 통계는 autosupports에서 수집 됩니다. 예를 들어 다음은 비활성 데이터가 매우 인접 한 복제 단계를 보여 줍니다. 즉, 복제본에 대해 선택 된 대부분의 컨테이너가 거의 작동 하지 않는 데이터를 유지 합니다.

복제 된 라이브 데이터의 비율 :              3.6% 4.3%

다음과 같은 경우에는 비활성 데이터가 조각화 된 복제본 단계를 보여 줍니다 (즉, 복제본을 위해 선택한 컨테이너의 대부분은 대부분 라이브 데이터).

복제 된 라이브 데이터의 비율:             70.9% 71.5%

앞에서 설명한 것 처럼, 두 번째 시나리오에서 2 차/GC는 복제 단계의 처리량을 줄이기 위해 DDR에 물리적으로 사용 가능한 공간을 확보 하기 위해 비교적 많은 작업을 수행 해야 합니다.

다음과 같은 경우에도 복제 단계 처리량에 악영향을 미칠 수 있습니다.

• 암호화 사용: 복제본을 실행 하는 동안 데이터의 암호를 해독 하 고 다시 암호화 해야 할 수 있습니다. 필요한 CPU 양이 대폭 증가 함
• 낮은 대역폭 최적화를 사용 하는 경우: 컨테이너를 복제 하는 동안 ' 스케치 ' 정보를 생성 해야 하는 경우에도 필요한 CPU 양이 크게 증가 합니다.

낮은 대역폭 최적화 및/또는 암호화를 최근에 활성화 한 경우에는 모든 기존 컨테이너 (복제본을 위해 선택 되었는지 여부와 관계 없이)가 암호화 되 고 후속 정리 과정에서이에 대 한 스케치 정보를 생성 해야 할 수 있습니다 .이로 인해 정상 작업 (특히 복제본 단계)이 평소 보다 훨씬 더 오래 걸릴 수 있습니다.

다음 KB 문서에서는 https://support.emc.com/kb/306100 참고에 정리/수정에 대 한 점검/수정에 대 한 추가 정보를 확인할 수 있습니다

.

• 정상 상황에서 clean은 1 주일에 한 번에 한 번씩 실행 되도록 예약 해야 합니다 .이 경우 디스크의 데이터가 과도 하 게 ' 단편화 ' 되지 않은 상태가 될 수 있습니다. 즉, 잘못 된 공간 집약성이 발생 하 여 읽기/복제/데이터 이동 성능이 저하 될 수 있습니다.
• 정리를 해제 해도 시스템의 다른 워크 로드와 관련 하 여 영향을 받는 CPU의 총 양 및 입출력 대역폭은 영향을 받지 않습니다. 예:

• 기본적으로 clean 스로틀은 50로 설정 됩니다 .이는 사용자가 다른 스로틀 DDR 설정으로 clean을 실행 하는 것을 테스트 하는 것을 말합니다

• 정리를 실행 하는 동안에는 다음과 같은 긴 문제가 발생 하지 않습니다.

• 확장 보존 기능을 사용 하는 시스템은 다음과 같이 구성 해야 합니다.

• 최신 정리 작업의 전체 정보는 다음 및 details에 포함 되어 있습니다.