OneFS: ISILON의 데이터 압축 이해

Isilon F810 노드를 사용하면 Isilon 클러스터에서 인라인 데이터 압축을 수행할 수 있습니다. OneFS는 Isilon F810 노드 풀에서만 인라인 데이터 압축을 지원합니다. F810 노드에는 노드에서 수신한 데이터를 압축하고 압축 해제하는 NIC(Network Interface Card)가 포함되어 있습니다. 클라이언트가 클러스터에서 데이터를 읽고 쓸 때 F810 노드의 40Gb 이더넷 인터페이스에서 하드웨어 압축 및 압축 해제가 병렬로 수행됩니다. 이 분산 인터페이스 모델을 사용하면 Isilon 클러스터가 확장되고 F810 노드가 추가될 때 올플래시 F810 노드 풀 전체에서 압축을 선형적으로 확장할 수 있습니다.

다음과 같은 클러스터에서 인라인 데이터 압축을 활성화할 수 있습니다.

• F810 노드 풀
• 40Gb 이더넷 백엔드 네트워크
• OneFS 8.1.3 또는 OneFS 8.2.1 이상 릴리스

혼합 클러스터
F810 이외의 노드 유형을 포함하는 혼합 클러스터에서는 파일이 F810 노드 풀에 압축된 형식으로만 저장됩니다. 다른 노드 유형의 스토리지 풀에 기록되거나 계층화된 데이터는 풀 간에 이동할 때 압축 해제됩니다.

개괄적으로 Isilon의 새로운 압축 기능의 이점은 다음과 같습니다.

• 단순: 구성이 필요 없으며 기본적으로 지속적인 압축이 수행되어 관리 부담이 해소됩니다.
• 효율성: Isilon은 인라인 하드웨어 오프로드를 사용하여 성능에 미치는 영향을 최소화하면서 스토리지 효율성을 극대화합니다.
• 투명성: 압축은 기본적으로 OneFS 파일 시스템에 통합되어 있어 애플리케이션과 워크플로에 영향을 주지 않습니다.
• 조화: 다른 Isilon 스토리지 효율성 툴과 함께 작동합니다.

OneFS 인라인 압축은 디스크에 기록될 때 데이터의 물리적 크기를 줄이는 무손실 알고리듬을 사용합니다. 압축된 데이터는 다시 읽을 때 압축 해제됩니다. 압축은 다음과 같은 프로토콜 기반 서비스를 포함하여 파일 시스템 상단에 있는 애플리케이션에 영향을 미치지 않습니다. NFS(Network File System) 및 SMB(Server Message Block).

Isilon 인라인 압축의 주된 목적은 데이터에 대한 스토리지 요구 사항을 줄이는 것입니다. 인라인 압축은 일반적으로 스토리지 설치 공간이 더 작고, 전력 및 냉각 요구 사항이 감소하며, 전체 TB당 스토리지 비용을 절감합니다. 그러나 압축은 스토리지 디바이스에 기록되는 총 데이터 양을 줄이는 데도 도움이 됩니다. 이는 드라이브 마모율을 줄이기 때문에 덮어쓰기 제한이 한정된 SSD(Solid State Drive) 및 기타 미디어에 유용합니다.

그렇다면 후드 아래에는 무엇이 있을까요?

OneFS 인라인 데이터 압축은 다음과 같은 5가지 주요 구성 요소로 구성됩니다.

1. 압축 플랫폼
2. 압축 엔진
3. 압축 청크 맵(Compression Chunk Map)
4. 압축 알림 및 보고 프레임워크
5. 압축 제어 경로

이 문서에서는 플랫폼 및 압축 엔진에 중점을 둡니다.

인라인 데이터 압축은 새로운 Isilon F810 올플래시 플랫폼에서만 지원되며, 각 노드에는 압축 오프로드 어댑터가 포함되어 있습니다. 이 어댑터는 Look-aside 압축을 제공하여 네트워크 프로세서에서 특정 작업을 오프로드합니다. 즉, 압축 및 압축 해제는 최소한의 대기 시간으로 전용 FPGA(Field Programmable Gate Array)를 사용하여 투명하게 수행되어 CPU 및 메모리 리소스를 줄입니다.

새로운 F810 섀시는 다음 스토리지 옵션과 함께 사용할 수 있습니다.

듀얼 포트 40Gb 이더넷 인터페이스 외에도 각 압축 오프로드 어댑터에는 데이터 압축 및 압축 해제 전용 FPGA 칩이 포함되어 있습니다. 노드의 백엔드 PCI-e 슬롯에 있는 각 어댑터 카드의 이더넷 포트 2개는 이중화 백엔드 네트워크 연결에 사용됩니다.

클라이언트가 클러스터에서 데이터를 읽고 쓸 때 하드웨어 압축 및 압축 해제는 F810 노드의 40GB 이더넷 인터페이스에서 병렬로 수행됩니다. 이 분산 인터페이스 모델을 사용하면 Isilon 클러스터가 확장되고 F810 노드가 추가됨에 따라 압축이 F810 노드 풀 전체에서 선형적으로 확장될 수 있습니다. OneFS 버전 8.1.3 이상은 클러스터당 4개에서 144개의 F810 노드 또는 36개의 섀시를 지원합니다. 모범 사례는 클러스터당 최대 40개의 F810 노드를 사용하는 것입니다.

F810 노드는 백엔드 PCI-e 네트워크 어댑터에서 FPGA 기반 하드웨어 오프로드 엔진을 사용하여 데이터의 실시간 압축 및 압축 해제를 수행합니다. 이 문제는 연결된 클라이언트 세션을 사용하여 클러스터의 노드에서 파일을 쓰고 읽을 때 발생합니다.

FPGA 외에도 하드웨어 압축 엔진은 DEFLATE의 독점 구현을 사용합니다. 이를 통해 압축률이 높은 데이터 세트의 성능 저하를 최소화하거나 전혀 발생시키지 않으면서 최고 수준의 압축을 제공합니다.

압축 엔진은 세 가지 주요 구성 요소로 구성됩니다.

동일한 카드에 상주하기 때문에 압축 엔진은 노드의 백엔드 이더넷 인터페이스와 PCI-e 대역폭을 공유합니다.

또한 OneFS는 압축 하드웨어에 장애가 발생할 경우 예비 소프트웨어 구현을 제공합니다. 혼합 클러스터에서는 하드웨어 압축 기능이 없는 비 F810 노드에서 소프트웨어를 구현합니다. 하드웨어 및 소프트웨어 압축 구현 방식 모두 DEFLATE와 호환됩니다.