Технологія Intel Cluster-On-Die (COD) на VMware ESXi

Введення

    У системах з підтримкою NUMA канали пам'яті розподіляються між процесорами. Усі операції, пов'язані з пам'яттю, вимагають операцій snoop для підтримки зв'язності даних кешу. Стеження використовується для зондування вмісту кешу як на локальних, так і на віддалених процесорах, щоб знайти копію запитуваних даних, що знаходиться в будь-якому з кешів.  Якщо NUMA вимкнено (у BIOS увімкнено чергування вузлів), то режим снупа вимикається автоматично.

        У мікроархітектурі Intel Haswell доступні три типи режиму стеження. Сервери Dell^13-го покоління (13G) підтримують усі три режими снупа, такі як:

1) Раннє підглядання

2) Домашнє підглядання

3) Кластер на кристалі

У цьому блозі ми обговорюємо режим сну Cluster-On-Die (COD) з точки зору VMware ESXi. Цей блог охоплює наступні аспекти.

• Основи ХСК
• Передумови для включення COD як з апаратної, так і з точки зору VMware ESXi
• Кілька параметрів командного рядка в ESXi, які показують різницю в списку NUMA з увімкненим і вимкненим COD.

Перш ніж ми перейдемо до деталей COD, необхідно зрозуміти типи процесорів на основі кількості ядер на мікроархітектурі процесора Intel Haswell.

Intel класифікувала архітектуру процесора Haswell на такі типи:

1) LCC - Низька кількість ядер [4 -8 ядер]

2) MCC - Середня кількість ядер [10 – 12 ядер]

3) HCC - Велика кількість ядер [14-18 ядер]

                   ПРИМІТКА: Ця кількість ядер залежить від різних мікроархітектур Intel.

 

Що таке режим Cluster-On-Die (COD)?

COD — це новий режим снупа, представлений із сімейства процесорів Intel Haswell, який має 10 або більше ядер. Для категорій процесорів MCC і HCC Intel включила два контролери пам'яті в один процесорний роз'єм, тоді як процесор LCC має лише один контролер пам'яті. Кожен контролер пам'яті в процесорному роз'ємі діє як один домашній агент [HA].

На серверах з підтримкою COD, кожен процесор логічно розділяє сокет на 2 вузли NUMA Кожен вузол NUMA має половину загальної кількості фізичних ядер і половину кеш-пам'яті останнього рівня (LLC) з одним домашнім агентом. Термін кластер формується у вигляді процесорних ядер і відповідного контролера пам'яті, згрупованих разом і сформованих у вигляді кластера на кристалі сокета. Кожен домашній агент використовує два канали пам'яті і бачить запити від меншої кількості логічних ядер процесора, забезпечуючи тим самим більш високу пропускну здатність пам'яті і низьку затримку. Цей режим роботи в основному використовується для оптимізації робочих навантажень NUMA. Операційні системи відображають кількість вузлів NUMA шляхом читання таблиць ACPI SRAT.

Графічне зображення ХСК виглядає наступним чином:


 

На другому зображенні видно, що матриця однопроцесорного сокета розділена на два логічні вузли, коли COD увімкнено. 

Обов'язкові умови:

У цьому розділі ми обговорюємо передумови як з апаратної, так і з точки зору VMware ESXi.

Устаткування:

• COD можна ввімкнути лише на процесорі Intel Haswell-EP з 10 і більше ядрами.
• Пам'ять потрібно заповнювати альтернативними каналами пам'яті (CH0, CH2, CH1 і CH3). Наприклад, сервер R730, R730xd, R630 і T630 має 4 канали пам'яті на сокет.

              Розглянемо приклад, щоб краще зрозуміти вищевказану передумову. Для сервера, на якому заповнено лише два модулі пам'яті на канал, для певного каналу потрібно заповнити такі слоти

• A1 і A3 

 З 4 модулями пам'яті,

• A1, A3 і B1, B3

 З 8 модулем пам'яті,

• A1, A3, B1, B3 і A2, A4, B2, B4

ПРИМІТКА: Щоб увімкнути COD, потрібно заповнити мінімум два модулі пам'яті.

• Маркер Cluster On Die потрібно ввімкнути в налаштуваннях BIOS.

• Підтримка VMware для COD почалася з vSphere 6.0 на початку, а тепер підтримується і в ESXi 5.5 U3b. Зверніться до VMware KB 2142499 для отримання детальної інформації. 

VMware ESXi зчитує ACPI SRAT (таблиці спорідненості системних ресурсів) і SLIT (інформаційні таблиці локальності системи) для ідентифікації та відображення доступних апаратних ресурсів. Це також включає відображення вузлів NUMA. У цьому розділі розповідається про кілька параметрів командного рядка, якими користувачі можуть скористатися, щоб побачити стан COD з VMware ESXi.

• esxtop надає можливість побачити заповнені вузли NUMA. Коли введено команду esxtop, натисніть 'm', щоб переглянути деталі вузлів NUMA наступним чином.

Наступні скріншоти зроблені з системи з двома процесорними роз'ємами та системною пам'яттю 128 ГБ. У типовій конфігурації без увімкненого COD, esxtop відображатиме два вузли NUMA з 64 ГБ, виділеними на вузол NUMA. На наступному малюнку показано виведення команди esxtop у VMware ESXi з вимкненим COD. 

Якщо увімкнено COD, esxtop виводить список чотирьох вузлів NUMA замість двох, оскільки кристал однопроцесорного сокета поділено на два.

Переваги

У режимі COD операційна система бачить два вузли NUMA на сокет. COD має найкращу локальну затримку. Кожен домашній агент бачить запити від меншої кількості потоків, що потенційно забезпечує більшу пропускну здатність пам'яті. Режим COD має в пам'яті підтримку бітів каталогів. Цей режим найкраще підходить для робочих навантажень, оптимізованих NUMA. Зверніться до блогу, опублікованого командою Dell HPC, у якому детально описані різні режими стеження. 

Посилання

VMware KB закликає до підтримки Intel COD

Не застосовується

Не застосовується