Tecnologia Intel Cluster-On-Die (COD) su VMware ESXi

Introduzione

    Nei sistemi abilitati per NUMA, i canali di memoria vengono distribuiti tra i processori. Tutte le operazioni correlate alla memoria richiedono operazioni di snoop per mantenere la coerenza dei dati della cache. Lo snooping viene utilizzato per sondare il contenuto della cache su processori locali e remoti per trovare la copia dei dati richiesti che risiedono in una qualsiasi delle cache.  Se NUMA è disabilitato (interfoliazione dei nodi abilitata nel BIOS), la modalità snoop viene disabilitata automaticamente.

        Nella microarchitettura Intel Haswell sono disponibili tre tipi di modalità snoop. I server Dell di^tredicesima generazione (13G) supportano tutte e tre le modalità Snoop, tra cui:

1) Ficcare il naso presto

2) Ficcanaso a casa

3) Cluster sullo stampo

In questo blog descriviamo la modalità snoop Cluster-On-Die (COD) in termini di VMware ESXi. Questo blog tratta i seguenti aspetti.

• Nozioni di base su COD
• Prerequisiti per abilitare COD dal punto di vista dell hardware e di VMware ESXi
• Alcune opzioni della riga di comando in ESXi che mostrano la differenza nell'elenco NUMA con COD abilitato e disabilitato.

Prima di entrare nei dettagli di COD, è necessario comprendere i tipi di processori in base al numero di core sulla microarchitettura del processore Intel Haswell.

Intel ha classificato l'architettura del processore haswell nei seguenti tipi:-

1) LCC- Basso numero di core [4 -8 core]

2) MCC- Numero medio di core [10 - 12 core]

3) HCC - Elevato numero di core [14-18 core]

                   NOTA: Questo tipo di numero di core varia a seconda della microarchitettura Intel.

 

Che cos'è la modalità Cluster-On-Die (COD)?

COD è una nuova modalità snoop introdotta dalla famiglia di processori Intel Haswell con 10 o più core. Per le categorie di processori MCC e HCC, Intel ha incorporato due controller di memoria su un singolo socket del processore, mentre il processore LCC dispone di un solo controller di memoria. Ogni controller di memoria in un socket del processore funge da agente principale [HA].

Nei server abilitati per COD, ogni processore suddivide logicamente il socket in 2 nodi NUMA Ogni nodo NUMA ha metà del numero totale di core fisici e metà della cache di ultimo livello (LLC) con un home agent. Il termine cluster è formato dai core del processore e il controller di memoria corrispondente vengono raggruppati e formati come cluster sul die del socket. Ogni agente domestico utilizza due canali di memoria e vede le richieste da un numero inferiore di core logici del processore, fornendo così una maggiore larghezza di banda della memoria e una bassa latenza. Questa modalità operativa viene utilizzata principalmente per ottimizzare i carichi di lavoro NUMA. Il sistema operativo visualizza il numero di nodi NUMA leggendo le tabelle ACPI SRAT.

Una rappresentazione grafica di COD è la seguente: -


 

Nella seconda immagine è possibile vedere che il die del socket del singolo processore è diviso in due nodi logici quando COD è abilitato. 

Prerequisiti:

In questa sezione vengono discussi i prerequisiti dal punto di vista dell'hardware e di VMware ESXi.

Hardware:

• COD può essere abilitato solo su processori Intel Haswell-EP con 10 core o più.
• La memoria deve essere popolata su canali di memoria alternativi (CH0, CH2, CH1 e CH3). Ad esempio, i server R730, R730xd, R630 e T630 dispongono di 4 canali di memoria per socket.

              Facciamo un esempio per comprendere meglio il prerequisito di cui sopra. Per un server con solo due moduli di memoria per canale popolato, è necessario popolare i seguenti slot per un canale specifico

• A1 e A3 

 Con 4 moduli di memoria,

• A1, A3 e B1, B3

 Con 8 moduli di memoria,

• A1, A3, B1, B3 e A2, A4, B2, B4

NOTA: Per abilitare COD, è necessario popolare almeno due moduli di memoria.

• Il token Cluster On Die deve essere abilitato nelle impostazioni del BIOS.

• Il supporto VMware per COD è iniziato da vSphere 6.0 all'inizio e ora è supportato anche in ESXi 5.5 U3b. Fare riferimento all'2142499 della KB di VMware per i dettagli. 

VMware ESXi legge ACPI SRAT (System Resource Affinity Tables) e SLIT (System Locality Information Tables) per identificare e mappare le risorse hardware disponibili. Ciò include anche la mappatura dei nodi NUMA. In questa sezione vengono descritte alcune opzioni della riga di comando che gli utenti possono utilizzare per visualizzare lo stato del COD da VMware ESXi.

• esxtop fornisce un'opzione per visualizzare i nodi NUMA popolati. Quando si immette il comando esxtop, premere "m" per visualizzare i dettagli dei nodi NUMA come indicato di seguito.

Le schermate seguenti sono tratte da un sistema con due socket del processore e 128 GB di memoria di sistema. Nella configurazione predefinita senza COD abilitato, esxtop visualizzerebbe due nodi NUMA con 64 GB allocati per nodo NUMA. La figura seguente mostra l'output del comando esxtop in VMware ESXi con COD disabilitato. 

Con COD abilitato, esxtop elenca quattro nodi NUMA anziché due, poiché il singolo die del socket del processore è diviso in due.

Vantaggi

In modalità COD, il sistema operativo rileva due nodi NUMA per socket. COD ha la migliore latenza locale. Ogni home agent visualizza le richieste da un numero inferiore di thread, offrendo potenzialmente una larghezza di banda di memoria più elevata. La modalità COD ha il supporto di bit di directory in memoria. Questa modalità è ideale per i carichi di lavoro altamente ottimizzati NUMA. Fare riferimento a un blog pubblicato dal team HPC di Dell che descrive in dettaglio le diverse modalità di snooping. 

Riferimenti

Articolo della KB VMware che richiama il supporto Intel COD

Non applicabile

Non applicabile