Data Domain: risoluzione dei problemi relativi alle prestazioni di Data Domain Virtual Edition

Rete e connettività dell'appliance di hosting della macchina virtuale:

I/O Ethernet:

Quando si utilizzano aggregati Ethernet per le connessioni di trasferimento dei dati all'appliance di hosting, non si può presumere che l'esistenza di una configurazione di aggregati Ethernet bilanci il carico correttamente. È necessario disporre di tecniche di bilanciamento del carico e di larghezza di banda appropriate per garantire I/O senza restrizioni all'appliance di hosting della macchina virtuale.

Connettività dall'appliance di hosting della macchina virtuale allo storage su disco:

Il tipo e il protocollo di connettività hanno un impatto significativo sulle capacità delle prestazioni di una macchina virtuale DD VE. Di seguito sono elencati i tipi di connettività più comunemente utilizzati tra l'appliance di hosting della macchina virtuale e lo storage su disco. L'opzione 1 offre il miglior livello di prestazioni, mentre l'opzione 5 rappresenta la scelta meno idonea per la connettività. Anche le impostazioni della cache di scrittura HBA possono influire drasticamente sulle prestazioni tra l'appliance di hosting e lo storage su disco. Si consiglia di abilitare la cache in scrittura nell'HBA per garantire prestazioni ottimali dall'appliance di hosting allo storage su disco.

1. Direct Attached Storage: dischi/SSD SAS in RAID 5 o RAID 6 + cache in scrittura HBA abilitata (preferibile per prestazioni ottimali)
2. Direct Attached Storage: JBOD senza RAID + cache in scrittura HBA abilitata (prestazioni accettabili, ma mancanza di protezione RAID consigliata)
3. Storage RAID esterno collegato a FC (active/active, 16 GB o più veloce) (prestazioni accettabili, ma limitate dalle funzionalità delle prestazioni FC)
4. ISCSI 10G (storage su disco esterno) (non consigliato)
5. NFS 10G (storage su disco esterno) (non consigliato)

Controllo degli array di storage fisico, delle statistiche e delle prestazioni:

Confronto tra qualità del disco, dimensioni del disco e quantità di dischi:

Le unità a densità più elevata, ad esempio oltre 4 TB, hanno un numero inferiore di IOPS per TB rispetto alle unità di dimensioni ridotte. Per questo motivo, un DD VE implementato su una quantità maggiore di unità con pochi TB offre prestazioni più veloci rispetto a un DD VE implementato su poche unità con vari TB. Ciò è dovuto all'elevata dipendenza di DD VE dalle prestazioni di lettura casuale. Il normale carico di lavoro di DD VE può rendere questo conflitto tra le dimensioni del disco fisico e la quantità di dischi fisici ancora più pronunciata, quindi assicurarsi che il sistema di storage sia adeguatamente bilanciato e soddisfi le aspettative indicate nella guida alle best practice di DD VE appropriata. Per questo articolo non ci concentreremo sui singoli tipi di unità HDD e SSD fisiche e sulle relative capacità delle prestazioni. Queste informazioni possono essere ottenute dal produttore del disco. È sufficiente sapere che dischi fisici con prestazioni più elevate si traducono in una macchina virtuale DD VE con prestazioni superiori.

Risoluzione dei problemi di storage:

Verificare la latenza sui dischi fisici associati alla macchina virtuale DD VE.

Per VMware, questa operazione può essere eseguita selezionando la macchina virtuale, quindi la scheda Performance e infine Datastore dall'elenco a discesa. Mostra tutti i datastore pertinenti per la specifica macchina virtuale DD VE. Infine, selezionare il pulsante Advanced per una visualizzazione grafica granulare della latenza per i datastore associati alla macchina virtuale DD VE.

Figura 1. Datastore in Performance

Per determinare il carico di I/O per un datastore, calcolare gli IOPS elaborati dal datastore.

Iniziare con lo stesso grafico precedente, ma selezionare Chart Options, deselezionare Write latency and Read latency, quindi selezionare i due valori Average read requests per second e Average write requests per second. Il grafico risultante mostra il numero di IOPS che il datastore sta eseguendo e potrebbe dare un'idea del carico complessivo che lo storage DD VE "dev" sta inserendo su un datastore. Questo output può essere utile anche per capire se il datastore viene condiviso con il carico di lavoro proveniente da un'applicazione non DD VE.

Figura 2. Chart Options

Per una vista più granulare degli IOPS, controllare i rapporti tra lettura e scrittura.

Per impostazione predefinita, DD VE in genere esegue letture dallo storage su disco 2-4 volte in più rispetto alle scritture. L'eccezione si verifica durante la generazione 0 (seeding) dei backup, quando vengono scritti dati completamente nuovi e non possono essere deduplicati. Per questi motivi, lo storage fisico utilizzato da DD VE deve essere in grado di gestire in modo efficiente i carichi di lavoro casuali prevalentemente incentrati sulle letture, ma misti, del file system Data Domain.

Gli array di storage su disco fisico (unità SSD, disco magnetico e così via) possono presentare una capacità molto diversa per elaborare in modo efficiente le letture rispetto alle scritture. La capacità di un sistema di storage su disco fisico di fornire prestazioni IOPS di lettura casuale eccezionali, abbinata a basse latenze (inferiori a 40 millisecondi), rappresentano i fattori più critici per determinare se un datastore soddisfa caratteristiche di prestazioni accettabili per una macchina virtuale DD VE.

Se è necessaria un'analisi approfondita degli array di storage o delle prestazioni del datastore, viene utilizzato uno strumento della riga di comando denominato vscsiStats. Consultare il supporto VMware per ulteriori dettagli su come utilizzare vscisiStat per ottenere dimensioni dei blocchi, latenze e statistiche sulle prestazioni di lettura/scrittura più dettagliate.

Come verificare che il provisioning delle risorse soddisfi i requisiti per DD VE:

Spesso, la causa di un problema di prestazioni di una macchina virtuale DD VE può essere attribuita ad alcune impostazioni configurate che limitano le risorse disponibili per la macchina virtuale DD VE. In generale, i pool di risorse con limitazioni servono solo a limitare le prestazioni complessive di una macchina virtuale DD VE e, come tali, sono sconsigliati. Al contrario, alcune prenotazioni di risorse migliorano le prestazioni complessive di una macchina virtuale DD VE. Consultare sempre le guide alle best practice e all'amministrazione di DD VE per la configurazione durante il deployment, la risoluzione dei problemi o l'ottimizzazione di una macchina virtuale DD VE per le prestazioni.

Avviare la verifica dell'allocazione delle risorse selezionando la scheda Resource Allocation. Quindi, selezionare la macchina virtuale DD VE su cui si sta eseguendo la risoluzione dei problemi dal pool di macchine virtuali. Nella sezione View selezionare CPU e controllare tutte le macchine virtuali all'interno di tale pool (supponendo che vi sia anche la macchina virtuale problematica). Assicurarsi che l'opzione Limit MHz sia impostata sul valore Unlimited. La limitazione delle risorse della CPU per una macchina virtuale DD VE è sconsigliata e si traduce in prestazioni ridotte.

Figura 3. Resource Allocation

Passare alla verifica delle risorse di memoria allocate alla macchina virtuale DD VE. Verificare che le risorse di memoria siano "riservate" correttamente e impostate su Unlimited per garantire prestazioni ottimali. L'impostazione dei limiti di allocazione della memoria per un sistema DD VE è sconsigliata e comporta una riduzione delle prestazioni.

Figura 4. Risorse di memoria

Nella scheda Storage verificare che non vi siano limitazioni sugli IOPS di storage. Selezionare il pulsante Storage e visualizzare i dischi/datastore. Il valore "Limit-IOPS" per ogni disco associato a una macchina virtuale DD VE deve essere impostato su Unlimited.

Figura 5. Risorse di storage

Per le tre categorie di risorse già menzionate, prendere nota dei valori % shares. I valori % shares indicano la percentuale di condivisioni a cui una particolare macchina virtuale attinge dall'intero pool di risorse. Questi valori sono relativi, non assoluti. Tuttavia, assicurarsi che non vi sia una varianza significativa tra i valori di tutti i dispositivi nel pool. Per esempio, 1.000, 2.000 o 3.000 sono valori prevedibili. Tuttavia, valori come 10, 5 o 4.000 indicherebbero una disparità anomala e una distribuzione non equa delle risorse. Se una singola macchina virtuale ha un valore molto diverso, è necessario prendere in considerazione una modifica alle impostazioni "shares value".

Controllo delle statistiche delle prestazioni per la macchina virtuale DD VE:

Una macchina virtuale DD VE in esecuzione in modo efficiente richiede un accesso non inibito alle risorse per garantire prestazioni ottimali. DD VE richiede un utilizzo intensivo di memoria e CPU ed eventuali limitazioni determinano problemi. Una volta che una macchina virtuale DD VE è in produzione, è possibile utilizzare i grafici e le tabelle nella scheda Performance per valutarne l'utilizzo delle risorse. È possibile consultarli per determinare l'efficienza del funzionamento.

CPU

Selezionare la macchina virtuale DD VE di cui si desidera eseguire la risoluzione dei problemi. Selezionare la scheda Performance. In Switch to selezionare CPU dall'elenco a discesa. Da questa vista è possibile valutare la quantità e la percentuale di CPU che la macchina virtuale DD VE sta utilizzando. Se la percentuale di CPU utilizzata dalla macchina virtuale DD VE costituisce un'elevata percentuale della risorsa complessiva, possiamo presumere che l'appliance di hosting potrebbe non essere idoneo per l'esecuzione della macchina virtuale DD VE al suo pieno potenziale.

Figura 6. Prestazioni CPU

Memoria

Se la macchina virtuale risponde lentamente, la CPU potrebbe avere un problema di pianificazione. Per valutare l'efficienza del processore, partire dal grafico precedente e, di nuovo, selezionare Chart Options. Deselezionare tutti i contatori e selezionare Ready. In questo modo viene visualizzato il tempo di preparazione delle CPU virtuali. Il valore in millisecondi indica il tempo in cui una macchina virtuale è pronta per l'avvio, ma l'hypervisor non può assegnare una CPU all'attività in modo tempestivo. Per ottenere prestazioni ottimali della macchina virtuale DD VE, questo valore deve essere impostato al di sotto degli 8 millisecondi. 

Figura 7. Tempo di preparazione della CPU

Anche le prestazioni e la disponibilità della memoria potrebbero essere un fattore limitante delle prestazioni complessive della macchina virtuale DD VE. Se una macchina virtuale DD VE non è configurata con la quantità richiesta di memoria fisica riservata, viene generato un avviso attivo. Controllare gli avvisi attivi eseguendo # alerts show current nella CLI di DD VE e risolvere i problemi secondo necessità.

Se una macchina virtuale DD VE non dispone di risorse di memoria sufficienti, la macchina virtuale DD VE risponde scambiando le pagine di memoria su disco. Si tratta di una condizione da evitare, che determina una significativa riduzione delle prestazioni. Per valutare l'utilizzo della memoria attiva di una macchina virtuale DD VE, iniziare selezionando la scheda Performance e quindi selezionare Memory dalla casella Switch To.

Per impostazione predefinita, il grafico visualizza i valori di memoria Active, Granted, Balloon e Consumed. Per un funzionamento ottimale, assicurarsi che la memoria attiva corrisponda approssimativamente al 35-50% del valore di memoria Granted. Ogni volta che il valore della memoria attiva si avvicina al 60% del valore di memoria Granted, potrebbe verificarsi uno scambio all'interno della macchina virtuale DD VE.

Figura 8. Prestazioni della memoria

Come verificare che una macchina virtuale DD VE soddisfi le "best practice" e rifletta le configurazioni consigliate:

In fase di risoluzione dei problemi delle prestazioni, sono molti gli aspetti da controllare e i registri da raccogliere direttamente dalla macchina virtuale DD VE. Prima di aprire una richiesta di assistenza DD VE, verificare che la configurazione di DD VE soddisfi le best practice e rifletta le impostazioni consigliate. Fare riferimento alla documentazione sul sito del supporto per la versione di DD VE e la piattaforma di hosting in esecuzione.

Raccolta di statistiche sulle prestazioni:

1. Raccogliere i risultati dai seguenti strumenti e comandi della CLI per valutare lo storage su disco sottostante e assicurarsi che la configurazione soddisfi il livello di prestazioni richiesto per supportare la capacità DD VE scelta.

• Eseguire Disk Assessment Test (DAT) per ogni disco devs collegato a DD VE. La sezione Performance Monitoring della guida all'amministrazione di DD VE contiene istruzioni dettagliate su quando e come utilizzare lo strumento DAT.
• Eseguire il test DAT in base al tipo di I/O acquisito. La variabile with-vnvram deve essere utilizzata se si utilizza principalmente CIFS/NFS per scrivere i backup. Alcuni utenti utilizzano Boost per eseguire i backup e quindi NFS per ottenere l'accesso in lettura. In questo caso, l'utilizzo del flag with-vnvram non è obbligatorio.
• L'utilizzo dello strumento DAT non è supportato per un sistema DD VE implementato nel cloud (Microsoft Azure, Amazon AWS).

2. Comandi della CLI di DD VE per raccogliere informazioni per la risoluzione dei problemi relativi alle prestazioni:

• #alerts show current
• #system vresource show required
• #system vresource show current
• #storage show all (verificare che le assegnazioni dei gruppi di spindle soddisfino le best practice)
• #cd /ddr/var/log/debug/kern.info/disk_perf/perf.log (esaminare la latenza e gli IOPS per dispositivo)
• #system show performance (utilizzare la sintassi migliore per restringere la vista dell'output della CLI durante il normale carico di I/O di DD VE)
  • #system show perf custom-view protocol-latency duration 1 hr interval 3 min
  • #system show perf custom-view utilization duration 1 hr interval 3 min
  • #system show perf custom-view iops duration 1 hr interval 3 min
  • #system show perf custom-view streams duration 1 hr interval 3 min
• #disk show performance <dev2> (è possibile inserire più devs per ottenere una vista completa)

 Disk                            Read                                                   Write                                             Read+Write
            KiB/sec IOPs    Resp(ms)  Ops >1s   KiB/sec     IOPs  Resp(ms)   Ops >1s   MiB/sec   IOPs   Resp(ms)    Random     Busy
----   ------------------------------   ------------------------------   ----------------------------------------  ----------------------------------------  ----------------------------------------
dev2   0             0       3.63               0               0           0     7172.87         4801       0.000       0        2486.26           81.64%    0.01%
----   ------------------------------   ------------------------------   ----------------------------------------  ----------------------------------------   ----------------------------------------

3. Raccolta di informazioni sulle prestazioni di DD VE utilizzando il comando della CLI # vserver Raccolta di informazioni sulle prestazioni di DD VE utilizzando il comando della CLI # vserver (in inglese)

• #se # vserver : output durante il carico di I/O. L'output fa parte dell'upload del bundle se VServer è configurato e avviato prima della creazione del bundle.

                                SE@localhost## vserver config set host 12x.xxx.90.xx 
                                The SHA1 fingerprint for the vServer's CA certificate is
                                D1:71:7C:57:3F:3D:3D:3xxxxxxxxxxxxxxxx

                                 Do you want to trust this certificate? (yes|no) [yes]: yes

                                    Enter vServer username: xxxxxxxx
                                    Enter vServer password:xxxxxxxxxxxx

                                 vServer configuration saved.
                                 Started periodic collection of DDVE performance information at/ddvar/log/debug/vserver/ddveperf.log 

4. Creare ed eseguire l'upload di un bundle di supporto corrente, tra cui i registri vserver e disk_perf .

Video utili:

Modello per l'apertura di una SR con supporto DD per risolvere i problemi delle prestazioni delle macchine virtuali DD VE

Configurazione di hosting della macchina virtuale

Produttore host, modello, versione e nome host del sistema operativo?
Fornitore di hypervisor (VMware, Hyper-V, altro)?
Versione e numero di build del server ESXi/Hyper-V host?
Versione e numero di build di vSphere Client o Hyper-V Manager?
Si tratta di una configurazione in cluster o di una configurazione HA?
Sono state apportate modifiche recenti alle configurazioni di host o macchine virtuali?
L'appliance host dispone di memoria cache supportata da batteria, NVRAM o un altro tipo di meccanismo per conservare i dati in caso di arresto non pianificato?

Storage di hosting della macchina virtuale

Configurazione RAID e dimensioni del disco di storage, velocità, tipo (ad esempio, RAID 6 - 3 TB - 7.200 RPM - SATA)?
Tipo di connettività del sistema di storage (NFS, FCP, iSCSI, SAS)?
I volumi di storage e i datastore utilizzati da DD VE sono condivisi con carichi di lavoro non Data Domain?
La memorizzazione nella cache in scrittura è abilitata o disabilitata sullo storage in uso da parte di DD VE?
Sono state apportate modifiche recenti alla configurazione dello storage?
Viene utilizzato il thick o il thin provisioning per i dischi DD VE?

Configurazione di Data Domain Virtual Edition

Versione e dimensioni del sistema operativo DD VE (ad esempio, DD VE 3.0 - 6.0.1.10 - 64 TB)?
Protocollo di trasferimento dei dati DD VE (ad esempio, Boost, NFS, CIFS, NDMP, FCP)?
Carichi di lavoro DD VE (ad esempio, cloud, replica, backup, VTL)?
Versioni di plug-in e applicazioni di backup?

Descrizione dettagliata del problema

Reti:
Prestazioni:
Installazione e configurazione:
File system DD:
Dati non disponibili o perdita di dati?
È stato aperto un caso corrente con un altro fornitore correlato a questo sistema DD VE?

Registri richiesti

Bundle di supporto: #support bundle create default Data Domain: come raccogliere ed eseguire l'upload di un pacchetto di supporto da un Data Domain Restorer (DDR)

vserver perf-stats: #support bundle create files-only /ddvar/log/debug/platform/disk_perf/perf.log
disk_perf/perf.log: #support bundle create files-only /ddvar/log/debug/vserver/ddveperf.log
Bundle di registri VMware "opzionale": consultare l'articolo sul sito self-service di VMware