Intel Cluster-On-Die(COD)-Technologie auf VMware ESXi

Einführung

    In NUMA-fähigen Systemen werden Speicherkanäle über die Prozessoren verteilt. Alle speicherbezogenen Vorgänge erfordern Snoop-Vorgänge, um die Kohärenz der Cachedaten aufrechtzuerhalten. Snooping wird verwendet, um den Inhalt des Caches auf lokalen und Remoteprozessoren zu untersuchen, um die Kopie der angeforderten Daten zu finden, die sich in einem der Caches befindet.  Wenn NUMA deaktiviert ist (Node-Interleaving im BIOS aktiviert), wird der Snoop-Modus automatisch deaktiviert.

        Es gibt drei Arten von Snoop-Modi, die in der Intel Haswell-Mikroarchitektur verfügbar sind. Dell Server der 13^. Generation (13G) unterstützen alle drei Snoop-Modi wie:

1) Frühzeitiger Schnüffler

2) Snoop nach Hause

3) Cluster On Die

In diesem Blog besprechen wir den Cluster-On-Die-Snoop-Modus (COD) in Bezug auf VMware ESXi. In diesem Blog werden die folgenden Aspekte behandelt.

• Grundlagen der Nachnahme
• Voraussetzungen für die Aktivierung von Nachnahme sowohl aus Hardware- als auch aus VMware ESXi-Sicht
• Einige Befehlszeilenoptionen in ESXi, was den Unterschied in der NUMA-Auflistung mit aktiviertem und deaktiviertem COD zeigt.

Bevor wir uns mit den Details von COD befassen, müssen Sie die Prozessortypen basierend auf der Core-Anzahl der Mikroarchitektur der Intel Haswell-Prozessoren verstehen.

Intel hat die Haswell-Prozessorarchitektur in die folgenden Typen eingeteilt:

1) LCC – niedrige Core-Anzahl [4–8 Cores]

2) MCC – mittlere Core-Anzahl [10–12 Cores]

3) HCC – hohe Core-Anzahl [14–18 Cores]

                   HINWEIS: Diese Core-Anzahltypen variieren je nach Intel Mikroarchitektur.

 

Was ist der Cluster-On-Die-Modus (COD)?

COD ist ein neuer Snoop-Modus, der von der Intel Haswell-Prozessorfamilie mit 10 oder mehr Cores eingeführt wurde. Für die MCC- und HCC-Prozessorkategorien hat Intel zwei Speichercontroller in einem einzigen Prozessorsockel integriert, während der LCC-Prozessor nur über einen Speichercontroller verfügt. Jeder Speicher-Controller in einem Prozessorsockel fungiert als ein Home Agent [HA].

Auf COD-fähigen Servern teilt jeder Prozessor den Sockel logisch in 2 NUMA-Nodes auf. Jeder NUMA-Node verfügt über die Hälfte der Gesamtzahl der physischen Cores und die Hälfte des Caches der letzten Ebene (Last Level Cache, LLC) mit einem Home-Agent. Der Begriff Cluster wird gebildet, wenn Prozessorkerne und die entsprechenden Speichercontroller gruppiert und als Cluster auf dem Sockelchip gebildet werden. Jeder Home-Agent verwendet zwei Speicherkanäle und sieht Anforderungen von einer geringeren Anzahl logischer Prozessorkerne, wodurch eine höhere Speicherbandbreite und niedrige Latenz bereitgestellt werden. Dieser Betriebsmodus wird hauptsächlich zur Optimierung der NUMA-Workloads verwendet. Das Betriebssystem zeigt die Anzahl der NUMA-Nodes durch Lesen der ACPI-SRAT-Tabellen an.

Eine grafische Darstellung von COD sieht wie folgt aus:


 

In der zweiten Abbildung ist zu sehen, dass der Chip mit einem einzelnen Prozessorsockel in zwei logische Nodes aufgeteilt ist, wenn COD aktiviert ist. 

Voraussetzungen:

In diesem Abschnitt besprechen wir die Voraussetzungen sowohl aus Hardware- als auch aus VMware ESXi-Sicht.

Hardware:

• COD kann nur auf einem Intel Haswell-EP-Prozessor mit 10 oder mehr Cores aktiviert werden.
• Der Speicher muss auf alternativen Speicherkanälen (CH0, CH2 und CH1 und CH3) bestückt werden. Zum Beispiel verfügt der R730-, R730xd-, R630- und T630-Server über 4 Speicherkanäle pro Sockel.

              Nehmen wir ein Beispiel, um die oben genannte Voraussetzung besser zu verstehen. Bei einem Server mit nur zwei Speichermodulen pro bestücktem Kanal müssen die folgenden Steckplätze für einen bestimmten Kanal bestückt werden:

• A1 und A3 

 Mit 4 Speichermodulen,

• A1, A3 und B1, B3

 Mit 8 Speichermodulen

• A1, A3, B1, B3 und A2, A4, B2, B4

HINWEIS: Es müssen mindestens zwei Speichermodule bestückt werden, um COD zu ermöglichen.

• Das Token "Cluster On Die" muss in den BIOS-Einstellungen aktiviert werden.

• Die VMware-Unterstützung für COD begann mit vSphere 6.0 und wird jetzt auch in ESXi 5.5 U3b unterstützt. Weitere Informationen finden Sie in der VMware KB-2142499. 

VMware ESXi liest ACPI SRAT (System Resource Affinity Tables) und SLIT (System Locality Information Tables), um die verfügbaren Hardwareressourcen zu identifizieren und zuzuordnen. Dazu gehört auch die Zuordnung der NUMA-Nodes. In diesem Abschnitt werden einige Befehlszeilenoptionen beschrieben, die die Nutzer verwenden können, um den COD-Status von VMware ESXi anzuzeigen.

• esxtop bietet eine Option, mit der Sie die NUMA-Knoten befüllt sehen können. Wenn der Befehl esxtop eingegeben wird, drücken Sie "m", um die Details der NUMA-Nodes wie folgt anzuzeigen.

Die folgenden Screenshots wurden von einem System mit zwei Prozessorsockeln und 128 GB Systemspeicher erstellt. In der Standardkonfiguration ohne aktivierten COD würde esxtop zwei NUMA-Nodes mit 64 GB pro NUMA-Node anzeigen. Die folgende Abbildung zeigt die Ausgabe des esxtop-Befehls in VMware ESXi bei deaktiviertem COD. 

Wenn COD aktiviert ist, listet esxtop vier NUMA-Nodes anstelle von zwei auf, da der Chip mit einem Prozessorsockel in zwei aufgeteilt ist.

Vorteile

Im COD-Modus erkennt das Betriebssystem zwei NUMA-Nodes pro Sockel. COD hat die beste lokale Latenz. Jeder Home-Agent sieht Anforderungen von einer geringeren Anzahl von Threads, die potenziell eine höhere Speicherbandbreite bieten. Der COD-Modus unterstützt In-Memory-Verzeichnisbits. Dieser Modus eignet sich am besten für hochgradig NUMA-optimierte Workloads. Weitere Informationen zu den verschiedenen Snooping-Modi finden Sie in einem Blog des Dell HPC-Teams. 

Referenzen

VMware-Wissensdatenbank mit Intel COD-Support

Nicht zutreffend

Nicht zutreffend