VMware ESXi 기반 인텔 COD(Cluster-On-Die) 기술

소개

    NUMA 지원 시스템에서는 메모리 채널이 프로세서 전체에 분산되어 있습니다. 모든 메모리 관련 작업에는 캐시 데이터 정합성을 유지하기 위해 스눕 작업이 필요합니다. 스누핑은 로컬 프로세서와 원격 프로세서 모두에서 캐시 콘텐츠를 조사하여 캐시에 상주하는 요청된 데이터의 복제본을 찾는 데 사용됩니다.  NUMA가 비활성화되면(BIOS에서 노드 인터리빙이 활성화됨) 스눕 모드가 자동으로 비활성화됩니다.

        인텔 Haswell 마이크로아키텍처에서 사용할 수 있는 스눕 모드에는 세 가지 유형이 있습니다. Dell 13^{세대 서버}(13G)는 다음과 같은 세 가지 스눕 모드를 모두 지원합니다.

1) 조기 스눕

2) 홈 스눕

3) 클러스터 온 다이(Cluster On Die)

이 블로그에서는 VMware ESXi의 관점에서 COD(Cluster-On-Die) 스눕 모드에 대해 설명합니다. 이 블로그에서는 다음과 같은 측면을 다룹니다.

• COD의 기초
• 하드웨어 및 VMware ESXi 관점에서 COD를 활성화하기 위한 사전 요구 사항
• COD가 활성화된 경우와 비활성화된 NUMA 목록의 차이를 보여 주는 ESXi의 몇 가지 명령줄 옵션

COD에 대해 자세히 알아보기 전에 인텔 Haswell 프로세서 마이크로아키텍처의 코어 수를 기반으로 프로세서 유형을 이해해야 합니다.

인텔은 haswell 프로세서 아키텍처를 다음 유형으로 분류했습니다.

1) LCC- 낮은 코어 수 [4 -8 코어]

2) MCC- 중간 코어 수[10 – 12코어]

3) HCC- 높은 코어 수[14-18 코어]

                   참고: 이 코어 수 유형은 인텔 마이크로아키텍처에 따라 다릅니다.

 

COD(Cluster-On-Die) 모드란 무엇입니까?

COD는 코어가 10개 이상인 인텔 Haswell 프로세서 제품군에서 도입된 새로운 스눕 모드입니다. MCC 및 HCC 프로세서 범주의 경우 인텔은 단일 프로세서 소켓에 두 개의 메모리 컨트롤러를 통합한 반면 LCC 프로세서에는 하나의 메모리 컨트롤러만 있습니다. 프로세서 소켓의 각 메모리 컨트롤러는 하나의 HA(Home Agent) 역할을 합니다.

COD가 활성화된 서버에서 각 프로세서는 소켓을 논리적으로 2개의 NUMA 노드로 분할합니다.각 NUMA 노드에는 총 물리적 코어 수의 절반과 하나의 홈 에이전트가 있는 마지막 수준 캐시(LLC)의 절반이 있습니다. 클러스터라는 용어는 프로세서 코어로 형성되며 해당 메모리 컨트롤러는 함께 그룹화되어 소켓 다이에서 클러스터로 형성됩니다. 각 홈 에이전트는 두 개의 메모리 채널을 사용하고 더 적은 수의 프로세서 논리 코어에서 요청을 확인하므로 더 높은 메모리 대역폭과 짧은 대기 시간을 제공합니다. 이 운영 모드는 주로 NUMA 워크로드를 최적화하는 데 사용됩니다. 운영 체제는 ACPI SRAT 테이블을 읽어 NUMA 노드 수를 표시합니다.

COD의 그래픽 표현은 다음과 같습니다.


 

두 번째 이미지에서는 COD가 활성화될 때 단일 프로세서 소켓 다이가 두 개의 논리 노드로 분할되는 것을 볼 수 있습니다. 

필수 구성 요소:

이 섹션에서는 하드웨어 및 VMware ESXi의 관점에서 사전 요구 사항에 대해 설명합니다.

하드웨어:

• COD는 코어가 10개 이상인 인텔 Haswell-EP 프로세서에서만 활성화할 수 있습니다.
• 메모리는 대체 메모리 채널(CH0, CH2 & CH1 & CH3)에 채워야 합니다. 예를 들어 R730, R730xd, R630 및 T630 서버에는 소켓당 4개의 메모리 채널이 있습니다.

              위의 사전 요구 사항을 더 잘 이해하기 위해 예를 들어 보겠습니다. 채널당 메모리 모듈이 2개만 장착된 서버의 경우 특정 채널에 대해 다음 슬롯을 채워야 합니다

• A1 및 A3 

 4 메모리 모듈로,

• A1, A3 및 B1, B3

 8 메모리 모듈로,

• A1, A3, B1, B3 및 A2, A4, B2, B4

참고: COD를 활성화하려면 최소 2개의 메모리 모듈을 장착해야 합니다.

• BIOS 설정에서 Cluster On Die 토큰을 활성화해야 합니다.

• COD에 대한 VMware 지원은 처음에 vSphere 6.0에서 시작되었으며 이제 ESXi 5.5 U3b에서도 지원됩니다. 자세한 내용은 VMware KB 2142499를 참조하십시오. 

VMware ESXi는 ACPI SRAT(System Resource Affinity Tables) 및 SLIT(System Locality Information Tables)를 읽어 사용 가능한 하드웨어 리소스를 식별하고 매핑합니다. 여기에는 NUMA 노드 매핑도 포함됩니다. 이 섹션에서는 사용자가 VMware ESXi에서 COD 상태를 확인하는 데 사용할 수 있는 몇 가지 명령줄 옵션에 대해 설명합니다.

• esxtop은 채워진 NUMA 노드를 볼 수 있는 옵션을 제공합니다. esxtop 명령을 입력한 후 'm'을 누르면 다음과 같이 NUMA 노드의 세부 정보가 표시됩니다.

다음 스크린샷은 2개의 프로세서 소켓과 128GB의 시스템 메모리가 있는 시스템에서 찍은 것입니다. COD가 활성화되지 않은 기본 구성에서 esxtop은 NUMA 노드당 64GB가 할당된 2개의 NUMA 노드를 표시합니다. 다음 그림은 COD가 비활성화된 VMware ESXi의 esxtop 명령 출력을 보여줍니다. 

COD가 활성화된 경우 esxtop은 단일 프로세서 소켓 다이가 2개로 분할되므로 2개가 아닌 4개의 NUMA 노드를 나열합니다.

이점

COD 모드에서 운영 체제에는 소켓당 두 개의 NUMA 노드가 표시됩니다. COD는 로컬 대기 시간이 가장 좋습니다. 각 홈 에이전트는 더 적은 수의 스레드에서 더 많은 메모리 대역폭을 제공할 수 있는 요청을 봅니다. COD 모드는 메모리 디렉토리 비트를 지원합니다. 이 모드는 NUMA 최적화 워크로드에 가장 적합합니다. 다양한 스누핑 모드에 대해 자세히 설명하는 Dell HPC 팀의 블로그를 참조하십시오. 

참조

인텔 COD 지원을 언급하는 VMware KB

해당 사항 없음

해당 사항 없음