Data Domain Operating System은 Data Domain File System의 용량을 확장한 후 스토리지 전체에서 데이터의 사전 예방적 재조정을 지원하지 않음

많은 스토리지 어레이와 마찬가지로 대부분의 DDR(Data Domain Restorer) 모델 용량은 외장형 스토리지 인클로저 셸프(ES30, DS60)를 시스템에 추가한 다음 DDFS(Data Domain File System)를 이러한 인클로저 셸프로 확장하면 늘릴 수 있습니다. 이 작업을 수행하는 경우,

• 새 인클로저 셸프가 물리적으로 연결됩니다(케이블 연결 방식으로 전원 켜짐).
• DDOS(Data Domain Operating System)에서 스토리지를 재검사하여 새 인클로저 셸프가 있음을 식별합니다.
• 그러면 이러한 새 인클로저 셸프가 DDR 내 스토리지 계층(활성 계층 또는 특정 아카이브 유닛)에 추가됩니다.
• 이후 운영 중단 없이 온라인으로 이 계층을 DDFS로 확장할 수 있습니다.
• 해당 스토리지 계층에 기록된 모든 새 데이터는 기존 셸프와 새 셸프에 기록됩니다.
• 그러나 기존 셸프의 데이터는 새 인클로저 셸프 간에 재조정되지 않습니다.

더 구체적으로 설명하면 다음과 같습니다.

• DDOS 내에서 데이터 스토리지 유닛은 4.5Mb '컨테이너'입니다.
• 생성 시 4.5Mb 컨테이너가 라운드 로빈 방식으로 해당 계층 아카이브 유닛의 모든 인클로저 셸프에 기록됩니다.
• 추가 인클로저 셸프가 계층 아카이브 유닛에 추가되면 DDFS는 기존 인클로저 외에도 이러한 인클로저에 새 4.5Mb 컨테이너를 쓰기 시작합니다(라운드 로빈 컨테이너 쓰기 시 새 인클로저가 포함됨).
• 그러나 DDOS는 계층의 기존 컨테이너를 기존 셸프 인클로저에서 새 셸프 인클로저로 마이그레이션하기 위해 특정 시도를 하거나 특정 기능을 제공하지 않습니다.

즉, 셸프 인클로저를 추가하면 연결된 스토리지 전체에서 데이터가 '불균형'해질 수 있습니다. 예:

• 처음에 DDR에는 활성 계층에 90%가 채워진 단일 인클로저가 있습니다.
• 추가 인클로저가 활성 계층에 추가되고 DDFS가 이 인클로저로 확장됩니다.
• 새로 생성된 4.5Mb 컨테이너의 쓰기가 이제 기존 인클로저와 새 인클로저에서 라운드 로빈 방식으로 진행됩니다.
• 이렇게 하면 기존 인클로저의 여유 공간이 부족하지만 새로 추가된 인클로저는 거의 비어 있습니다.

이 시나리오의 많은 스토리지 어레이는 관리자가 연결된 인클로저 간에 데이터를 재조정하고, 기존 인클로저에서 새로 추가된 인클로저로 일부 데이터를 사전에 마이그레이션하여 모든 인클로저의 사용 용량이 거의 동일하도록 보장할 수 있습니다. 하지만 이 기능은 DDOS가 제공하지 않으며 DDFS 설계상 시간이 지남에 따라 자연스럽게 데이터 재조정이 수행되므로 필요하지 않습니다.

데이터 재조정은 다음 두 가지 작업을 통해 수행됩니다.

• 가비지 컬렉션 정리
• 로컬리티 복구

이러한 각 작업과 그로 인해 데이터 자동 재조정이 이루어지는 방식을 더 자세히 설명하겠습니다.

가비지 컬렉션 정리

GC(Garbage Collection Cleaning)는 DDR에서 정기적으로 실행되는 예약된 작업입니다(기본적으로 활성 계층에 대해 일주일에 한 번, 아카이브 유닛에 대해 필요한 경우 공간 재확보가 활성화되어 있다고 가정). 실행 시,

• 계층 아카이브 유닛 내의 어떤 물리적 데이터가 '라이브'(파일 시스템이나 스냅샷과 같은 오브젝트에 있는 하나 이상의 파일에서 사용됨) 또는 '데드'(어떤 오브젝트에서도 참조되지 않아 시스템에 불필요함) 상태인지 식별합니다.
• 계층 아카이브 유닛 내에서 대부분의 '데드' 데이터를 보관하는 4.5Mb 컨테이너를 결정합니다.
• 이러한 4.5Mb 컨테이너를 읽고 포함된 '라이브' 데이터를 추출합니다. 이 데이터는 계층 아카이브 유닛의 모든 셸프에 기록되는 새로 생성된 4.5Mb 컨테이너에 '복사'됩니다.
• 이전 4.5Mb 컨테이너를 삭제하여 포함된 데드 데이터를 제거하고 재사용을 위해 디스크의 기본 공간을 확보합니다.

어떤 형태로든 데이터 불균형이 있는 시스템에서 GC가 실행되는 경우 대부분의 오래된 데이터(따라서 대부분의 데드 데이터)가 계층 아카이브 유닛 내의 이전 셸프 인클로저에 보관될 것으로 예상됩니다. 결과적으로 읽고, 복사하고, 삭제하는 대부분의 컨테이너는 이전 셸프 인클로저에 있습니다. 하지만 새로 생성된 컨테이너는 계층의 모든 셸프 간에 라운드 로빈 형식으로 기록됩니다. 따라서 GC를 통해 확보된 대부분의 공간은 이전 셸프에 있는 반면 새로 사용되는 공간은 모든 셸프에 있습니다.

간단한 예를 들면 다음과 같습니다.

• DDR의 활성 계층에는 두 개의 셸프가 있습니다. 첫 번째 셸프에는 10,000개의 4.5Mb 컨테이너가 있고, 두 번째 셸프에는 100개의 4.5Mb 컨테이너가 있습니다(두 번째 셸프에 있는 컨테이너 1개마다 첫 번째 셸프에 있는 컨테이너 100개가 있음).
• GC는 첫 번째 셸프에 있는 5,000개 컨테이너의 데이터를 실행하고 복사합니다.
• 이러한 5,000개 컨테이너 내의 라이브 데이터로 인해 1,000개의 새로운 4.5Mb 컨테이너가 생성됩니다.
• 이 새로운 4.5Mb 컨테이너 1,000개는 두 셸프 모두에 기록됩니다.
• 따라서 GC가 완료하면 첫 번째 셸프는 5,500개의 4.5Mb 컨테이너를 보관하고, 두 번째 셸프는 600개의 컨테이너를 보관합니다(두 번째 셸프에 있는 컨테이너 1개마다 첫 번째 셸프에 있는 컨테이너는 대략 9개임).
• GC를 한 번 실행하면서 첫 번째 셸프와 두 번째 셸프 간의 컨테이너 불균형이 10배 감소하고, 후속 GC 실행 중에 더 감소할 것으로 예상됩니다. 즉, 시간이 지남에 따라 셸프 간에 데이터가 자연스럽게 재조정되는 것입니다.

로컬리티 복구:

파일이 DDR에 기록되면 다음과 같은 대략적인 작업이 실행됩니다.

• 파일이 4~12Kb 크기의 논리적 청크(세그먼트라고 함)로 분할됩니다.
• 각 세그먼트에 대해 파일이 기록되는 계층 내에서 디스크에 이미 존재하는지 여부가 검사됩니다.
• 세그먼트가 이미 존재하는 경우 중복된 데이터이므로, 새로 기록된 파일 내의 세그먼트가 디스크의 기존 데이터에 대한 포인터로 대체됩니다.
• 세그먼트가 존재하지 않는 경우 고유한 데이터이므로, 새 4.5Mb 컨테이너에 패키징되어 디스크에 기록됩니다.

모든 파일에는 '로컬리티'라는 개념이 있습니다. 즉, 해당 파일이 참조하는 데이터 세그먼트가 DDR의 디스크에 순차적으로 배치되는 방식입니다. 명백히 중복 제거 비율이 높은(많은 양의 중복 데이터가 포함된) 파일은 수집할 때 해당 계층 아카이브 유닛 내의 컨테이너/디스크에 분산될 수 있는 기존 데이터에 대한 포인터로 대체되므로 고유 파일보다 로컬리티가 떨어질 수 있습니다.

DDR에서 데이터의 읽기 성능을 높이려면 DDFS 미리 읽기 알고리듬이 최적으로 작동할 수 있도록 파일의 '로컬리티'가 양호해야 합니다(데이터가 디스크에서 상대적으로 순차적임). 또한 DDFS는 복원이나 복제를 위해 읽을 가능성이 가장 큰 파일이 주어진 백업의 최신 복사본이라고 가정합니다. 따라서 가상 합성과 같은 특정 유형의 데이터에 대해 새로 기록된 파일 데이터의 로컬리티를 '최적화'하기 위해 '로컬리티 복구'라는 프로세스가 수행됩니다. 실행 시 로컬리티 복구를 통해 다음 작업이 진행됩니다.

• 파일이 참조하는 데이터를 검사하여 디스크에서 데이터가 순차적이지 않은(로컬리티가 떨어지는 것으로 보이는) 섹션을 찾습니다.
• 디스크에서 이 비순차적 데이터를 읽고 새로 생성된 4.5Mb 컨테이너에 순차적으로(중복 데이터로) 다시 씁니다.

이후 중복 데이터의 이전(비순차적) 복사본은 다음번 GC 실행 중에 '데드'로 식별되고 시스템에서 제거될 것으로 예상됩니다. 결과는 다음과 같습니다.

• 데이터 불균형이 있는 시스템에서는 이전 비순차적 데이터의 대부분이 더 완전히 채워진 이전 인클로저 셸프에 있을 것으로 예상됩니다.
• 이 데이터가 중복 데이터로서 순차적으로 다시 기록되면 해당 계층의 모든 인클로저에서 라운드 로빈 방식인 새로운 4.5Mb 컨테이너에 배치됩니다.
• 결과적으로 로컬리티 복구를 통해 생성된 대부분의 '데드' 데이터(이전 중복 데이터)는 더 완전히 채워진 이전 셸프에 존재합니다.
• GC를 실행하면 대부분의 '데드' 데이터가 더 완전히 채워진 이전 셸프에서 발견되고 위에서 설명한 대로 제거됩니다(셸프의 공간 확보).

결론

결과적으로, 로컬리티 복구 및 정리(GC) 기능을 정상적으로 사용하면 DDR이 시간이 지남에 따라 셸프 간에 데이터를 투명하게 재조정할 수 있습니다. 이 작업은 관리자의 추가적인 입력 없이 수행되며 다른 스토리지 어레이에서 가끔 볼 수 있는 전용 데이터 재조정 작업 기능이 필요 없습니다. 재조정 속도를 높이려면 다음 중 하나를 수행해야 합니다.

• DDR에서 데이터 '이탈' 비율 증가
• DDR에서 로컬로 복구되는 데이터의 양 증가

이러한 옵션을 자세히 알아보려면 계약된 지원 제공업체에 이 문서의 세부 정보를 언급하며 문의하십시오.