Data Domain: Data Domain Virtual Edition – Performance-Troubleshooting

VM-Hosting-Appliance – Netzwerk und Konnektivität:

Ethernet-I/O:

Bei der Verwendung von Ethernetaggregaten für Datenübertragungsverbindungen zur Host-Appliance können Sie nicht davon ausgehen, dass das Vorhandensein einer Ethernet-Aggregatkonfiguration die Last ordnungsgemäß ausgleicht. Es sollten geeignete Lastenausgleichstechniken und Bandbreite vorhanden sein, um uneingeschränkte I/O-Vorgänge für die VM-Host-Appliance zu gewährleisten.

Konnektivität von der VM-Hosting-Appliance zum Festplattenspeicher:

Konnektivitätstyp und Protokoll haben einen großen Einfluss auf die Leistungsfähigkeit einer DDVE-VM. Hier sind die am häufigsten verwendeten Konnektivitätstypen zwischen der VM-Hosting-Appliance und dem Festplattenspeicher aufgeführt. Option 1 bietet das beste Maß an Leistung, während Option 5 die schlechteste Wahl für die Konnektivität ist. HBA-Schreibcacheeinstellungen können sich auch drastisch auf die Leistungsfähigkeit der Verbindung zwischen Host-Appliance und Festplattenspeicher auswirken. Es wird empfohlen, den Schreibcache auf dem HBA zu aktivieren, um eine optimale Leistung von der Host-Appliance zum Festplattenspeicher zu gewährleisten.

1. Direct Attached Storage – SAS-Festplatten/SSD in RAID 5 oder RAID 6 + HBA-Schreibcache aktiviert (für optimale Leistung bevorzugt)
2. Direct Attached Storage – JBOD ohne RAID + HBA-Schreibcache aktiviert (akzeptable Leistung, aber kein empfohlener RAID-Schutz)
3. Über FC verbundener externer RAID-Speicher (16 GB oder schneller) (akzeptable Leistung, kann jedoch durch FC-Leistungsfähigkeit eingeschränkt sein)
4. iSCSI 10G (externer Festplattenspeicher) (nicht empfohlen)
5. NFS 10G (externer Festplattenspeicher) (nicht empfohlen)

Überprüfen von physischen Storage-Arrays und Statistiken und Performance:

Festplattenqualität zu Festplattengröße zu Festplattenanzahl:

Laufwerke mit höherer Dichte, z. B. 4+ TB, haben weniger IOPS pro TB als kleinere Laufwerke. Aus diesem Grund bietet eine DDVE, die auf einer größeren Anzahl kleinerer TB-Laufwerke bereitgestellt wird, eine schnellere Leistung als eine DDVE, die auf einigen wenigen großen TB-Laufwerken bereitgestellt wird. Dies ist auf die hohe Abhängigkeit von DDVE von der Performance bei zufälligen Lesevorgängen zurückzuführen. Die normale Workload von DDVE kann diesen Wettstreit zwischen der Größe des physischen Laufwerks und der Anzahl der physischen Laufwerke noch deutlicher machen. Sorgen Sie daher dafür, dass Ihr Storage-System über ein ausgewogenes Verhältnis verfügt und die im entsprechenden Best-Practices-Handbuch zu DDVE dargelegten Erwartungen erfüllt. In diesem Artikel konzentrieren wir uns nicht auf einzelne, physische HDD- und SSD-Typen und ihre Leistungsfähigkeiten. Diese Informationen erhalten Sie vom Festplattenhersteller. Nur so viel: Physische Festplatten mit höherer Performance sind gleichbedeutend mit besserer Performance einer DDVE-VM.

Storage-Troubleshooting:

Überprüfen Sie die Latenz auf den physischen Festplatten, die Ihrer DDVE-VM zugeordnet sind.

Für VMware kann dies erreicht werden, indem Sie Ihre VM auswählen. Wählen Sie dazu die Registerkarte Leistung aus und wählen Sie dann Datenspeicher aus der Drop-down-Liste aus. Es werden alle relevanten Datenspeicher für Ihre spezielle DDVE-VM angezeigt. Wählen Sie abschließend die Schaltfläche Erweitert aus, um eine detaillierte, grafische Anzeige der Latenz für Datenspeicher zu erhalten, die Ihrer DDVE-VM zugeordnet sind.

Abbildung 1: Datenspeicherperformance

Um die I/O-Last für einen Datenspeicher zu bestimmen, berechnen Sie die IOPS, die von Ihrem Datenspeicher verarbeitet werden.

Beginnen Sie mit demselben Diagramm wie zuvor, wählen Sie jedoch Diagrammoptionen aus, deaktivieren Sie Schreiblatenz und Leselatenz und wählen Sie dann die beiden Werte Durchschnittliche Leseanforderungen pro Sekunde und Durchschnittliche Schreibanforderungen pro Sekunde aus. Das resultierende Diagramm zeigt Ihnen an, wie viele IOPS der Datenspeicher ausführt, und kann Ihnen eine Vorstellung von der Gesamtlast geben, die der DDVE-Storage „dev“ einem Datenspeicher auferlegt. Diese Ausgabe kann auch nützlich sein, um zu unterscheiden, ob der Datenspeicher mit Workloads von einer Nicht-DDVE-Anwendung gemeinsam genutzt wird.

Abbildung 2: Diagrammoptionen

Um eine genauere Ansicht der IOPS zu erhalten, überprüfen Sie das Lese-/Schreibverhältnis.

Designbedingt liest DDVE in der Regel 2- bis 4-mal mehr vom Festplattenspeicher als geschrieben wird. Eine Ausnahme bildet Gen-0 (Seeding) von Backups, wenn komplett neue Daten geschrieben werden und nicht dedupliziert werden können. Aus den oben genannten Gründen muss der von DDVE verwendete physische Speicher in der Lage sein, die überwiegend lesezentrierten, aber gemischten, zufälligen Workloads des Data Domain-Dateisystems effizient zu verarbeiten.

Storage-Arrays für physische Festplatten (SSD, magnetische Festplatte usw.) können eine ganz andere Funktion zur effizienten Verarbeitung von Lesevorgängen als Schreibvorgänge aufweisen. Die Fähigkeit eines Speichersystems für physische Festplatten, eine außergewöhnliche IOPS-Leistung bei zufälligen Lesevorgängen in Verbindung mit niedrigen Latenzen (unter 40 Millisekunden) bereitzustellen, sind die wichtigsten Faktoren, um festzustellen, ob ein Datenspeicher die akzeptablen Leistungsmerkmale für eine DDVE-VM erfüllt.

Wenn eine eingehendere Untersuchung der Storage-Arrays oder der Datenspeicherperformance erforderlich ist, wird ein Befehlszeilentool namens vscsiStats eingesetzt. Weitere Informationen dazu, wie vscisistats genutzt werden kann, um Blockgrößen, Latenzen und detailliertere Lese-/Schreibleistungsstatistiken zu erhalten, erhalten Sie vom VMware-Support.

Überprüfen, ob die Ressourcenbereitstellung die Anforderungen für DDVE erfüllt:

Häufig kann die Ursache für ein Performanceproblem der DDVE-VM auf eine konfigurierte Einstellung zurückgeführt werden, die die für die DDVE-VM verfügbaren Ressourcen einschränkt. Im Allgemeinen dienen Ressourcenpools mit Einschränkungen nur dazu, die Gesamtperformance einer DDVE-VM einzuschränken, und daher wird davon abgeraten. Umgekehrt gibt es einige Ressourcenreservierungen, die die Gesamtperformance einer DDVE-VM verbessern. Konsultieren Sie immer die DDVE Best Practices und Administrationshandbücher für Ihre Konfiguration, wenn Sie eine DDVE-VM bereitstellen, Fehler beheben oder die Leistung optimieren.

Starten Sie die Überprüfung der Ressourcenzuweisung, indem Sie die Registerkarte Ressourcenzuweisung auswählen. Wählen Sie als Nächstes die DDVE-VM aus dem VM-Pool aus, für die Sie ein Troubleshooting durchführen. Wählen Sie im Abschnitt Ansicht die Option CPU aus und überprüfen Sie alle VMs in diesem Pool (vorausgesetzt, dass sich auch Ihre problematische VM darin befindet). Stellen Sie sicher, dass „MHz begrenzen“ auf den Wert Unbegrenzt eingestellt ist. Es wird davon abgeraten, die CPU-Ressourcen für eine DDVE-VM zu begrenzen, da das zu einer geringeren Leistung führt.

Abbildung 3: Ressourcenzuweisung

Fahren Sie mit der Überprüfung der Speicherressourcen fort, die der DDVE-VM zugewiesen sind. Überprüfen Sie, ob die Speicherressourcen ordnungsgemäß „reserviert“ und auf Unbegrenzt eingestellt sind, um eine optimale Performance zu gewährleisten. Es wird davon abgeraten, Begrenzungen für die Speicherzuweisung für eine DDVE festzulegen, da dies zu einer geringeren Performance führt.

Abbildung 4: Speicherressourcen

Überprüfen Sie auf der Registerkarte „Storage“, ob es Einschränkungen für Storage-IOPS gibt. Wählen Sie die Schaltfläche Storage aus und zeigen Sie die Festplatten/Datenspeicher an. Der Wert „IOPS begrenzen“ muss für jede Festplatte, die einer DDVE-VM zugeordnet ist, auf den Wert Unbegrenzt festgelegt werden.

Abbildung 5: Storage-Ressourcen

Beachten Sie für die drei bereits erwähnten Ressourcenkategorien die Anteilswerte in %. Die Anteilswerte in % geben an, wie viel Prozent der Freigaben diese bestimmte VM aus dem gesamten Ressourcenpool zieht. „Anteilswerte“ sind relativ, nicht absolut. Stellen Sie jedoch sicher, dass es keine große Abweichung zwischen den Werten für alle Geräte im Pool gibt. Zum Beispiel sind Werte wie 1000, 2000 oder 3000 zu erwarten, aber Werte wie 10, 5, 4000 würden auf ein anormales Ungleichgewicht und eine ungleiche Verteilung der Ressourcen hindeuten. Wenn eine einzelne VM einen stark abweichenden Wert hat, sollten Sie eine Änderung Ihrer Einstellungen für den „Anteilswert“ in Betracht ziehen.

Überprüfen der Performancestatistiken für die DDVE-VM:

Eine effizient ausgeführte DDVE-VM benötigt ungehinderten Zugriff auf Ressourcen, um Spitzenleistung zu gewährleisten. DDVE nutzt Arbeitsspeicher und CPU sehr gut und kann nicht ohne Probleme eingeschränkt werden. Sobald eine DDVE-VM in Produktion ist, können wir die Grafiken und Diagramme auf der Registerkarte Leistung nutzen, um die Ressourcennutzung zu bewerten. Wir können sie verwenden, um zu bestimmen, wie effizient sie funktioniert.

CPU

Wählen Sie die DDVE-VM aus, auf dem Sie ein Troubleshooting durchführen möchten. Wählen Sie als Nächstes die Registerkarte Leistung aus. Wählen Sie an der Stelle, an der Wechseln zu steht, CPU aus der Drop-down-Liste aus. In dieser Ansicht können Sie die Menge und den Prozentsatz der CPU bewerten, die die DDVE-VM verbraucht. Wenn der Prozentsatz der CPU, der von der DDVE-VM verwendet wird, einen hohen Prozentsatz der Gesamtressource ausmacht, können wir davon ausgehen, dass die Hosting-Appliance möglicherweise nicht für die Ausführung des vollen Potenzials der DDVE-VM geeignet ist.

Abbildung 6: CPU-Performance

Arbeitsspeicher

Wenn die VM langsam zu reagieren scheint, hat die CPU möglicherweise ein Planungsproblem. Um die CPU-Effizienz zu bewerten, beginnen Sie mit dem vorherigen Diagramm und wählen Sie erneut Diagrammoptionen aus. Löschen Sie alle Zähler und wählen Sie dann Bereit aus. Hier wird die Bereitschaftszeit der virtuellen CPU(s) angezeigt. Der Wert in Millisekunden gibt die Zeit an, zu der eine VM startbereit ist, aber der Hypervisor der Aufgabe nicht rechtzeitig eine CPU zuweisen kann. Für eine optimale DDVE-VM-Performance sollte dieser Wert kleiner als 8 Millisekunden sein. 

Abbildung 7: CPU-Bereitschaftszeit

Performance und Verfügbarkeit des Arbeitsspeichers können auch ein einschränkender Faktor für die Gesamtleistung der DDVE-VM sein. Wenn eine DDVE-VM nicht mit der erforderlichen Menge an reserviertem physischem Arbeitsspeicher konfiguriert ist, wird eine aktive Warnmeldung erzeugt. Überprüfen Sie aktive Warnmeldungen, indem Sie # alerts show current auf der DDVE-CLI ausführen und nach Bedarf beheben.

Wenn eine DDVE-VM nicht über genügend verfügbare Speicherressourcen verfügt, reagiert die DDVE-VM, indem sie ihre Arbeitsspeicherseiten auf die Festplatte verlagert. Dies ist ein unerwünschter Zustand und führt zu stark beeinträchtigter Leistung. Um die aktive Speichernutzung einer DDVE-VM zu bewerten, wählen Sie zunächst die Registerkarte Leistung aus und wählen Sie dann im Feld Wechseln zu die Option Arbeitsspeicher aus.

Standardmäßig zeigt das Diagramm die Werte „Aktiv“, „Zugelassen“, „Balloon“ und „Verbrauchter Arbeitsspeicher“ an. Um eine optimale Performance zu erzielen, stellen Sie sicher, dass der aktive Arbeitsspeicher etwa 35 bis 50 % des zulässigen Arbeitsspeicherwerts beträgt. Wenn sich der Wert des aktiven Arbeitsspeichers 60 % des gewährten Speichers nähert, könnte es zu einer Situation kommen, in der ein Swapping innerhalb der DDVE-VM erfolgt.

Abbildung 8: Arbeitsspeicherleistung

Überprüfen, ob eine DDVE-VM den Best Practices und empfohlenen Konfigurationen entspricht:

Beim Troubleshooting von Performanceproblemen gibt es viele Dinge zu überprüfen und Protokolle von der DDVE-VM selbst zu erfassen. Bevor Sie einen DDVE-Supportfall öffnen, überprüfen Sie zunächst, ob die DDVE-Konfiguration den empfohlenen Best Practices und Einstellungen entspricht. Weitere Informationen zur DDVE-Version und der von Ihnen verwendeten Hosting-Plattform finden Sie in der Dokumentation auf der Support-Website.

Erfassen von Leistungsstatistiken:

1. Erfassen Sie die Ergebnisse aus den folgenden Befehlen und Tools der CLI, um den zugrunde liegenden Festplattenspeicher zu bewerten und sicherzustellen, dass die Konfiguration das erforderliche Performancelevel zur Unterstützung der ausgewählten DDVE-Kapazität erreicht.

• Führen Sie einen Disk Assessment Test (DAT) für jedes mit der DDVE verbundene Festplatten-devs durch. Der Abschnitt Performanceüberwachung im Administrationshandbuch für DDVE enthält detaillierte Anweisungen dazu, wann und wie das DAT-Tool zu verwenden ist.
• Führen Sie die DAT-Tests basierend auf dem Typ der aufgenommenen I/O durch. Die Datei with-vnvram sollte verwendet werden, wenn Sie hauptsächlich CIFS/NFS zum Schreiben von Backups verwenden. Einige NutzerInnen verwenden Boost, um Backups durchzuführen, und verwenden dann NFS, um Lesezugriff zu erhalten. In diesem Fall ist die Verwendung des Flag with-vnvram nicht erforderlich.
• Die Verwendung des DAT-Tools wird für eine in der Cloud bereitgestellte DDVE (Microsoft Azure, Amazon AWS) nicht unterstützt.

2. DDVE-CLI-Befehle zum Erfassen von Informationen für das Performance-Troubleshooting:

• #alerts show current
• #system vresource show required
• #system vresource show current
• #storage show all (Stellen Sie sicher, dass die Spindelgruppenzuweisungen den Best Practices entsprechen.)
• #cd /ddr/var/log/debug/kern.info/disk_perf/perf.log (Überprüfen Sie die Latenz und IOPS pro Gerät.)
• #system show performance (Verwenden Sie die beste Syntax, um die Ansicht der CLI-Ausgabe während der normalen DVE-I/O-Last einzugrenzen)
  • #system show perf custom-view protocol-latency duration 1 hr interval 3 min
  • #system show perf custom-view utilization duration 1 hr interval 3 min
  • #system show perf custom-view iops duration 1 hr interval 3 min
  • #system show perf custom-view streams duration 1 hr interval 3 min
• #disk show performance <dev2> (Es können mehrere devs eingegeben werden, um eine vollständige Ansicht zu erhalten)

 Disk                            Read                                                   Write                                             Read+Write
            KiB/sec IOPs    Resp(ms)  Ops >1s   KiB/sec     IOPs  Resp(ms)   Ops >1s   MiB/sec   IOPs   Resp(ms)    Random     Busy
----   ------------------------------   ------------------------------   ----------------------------------------  ----------------------------------------  ----------------------------------------
dev2   0             0       3.63               0               0           0     7172.87         4801       0.000       0        2486.26           81.64%    0.01%
----   ------------------------------   ------------------------------   ----------------------------------------  ----------------------------------------   ----------------------------------------

3. Erfassen von DDVE-Leistungsinformationen mit # vserver CLI Erfassen von DDVE-Leistungsinformationen mit # vserver CLI

• #se # vserver Ausgabe während I/O-Last. (Die Ausgabe ist Teil des Bundle-Uploads, wenn VServer konfiguriert und vor der Erstellung des Bundles gestartet wurde.)

                                SE@localhost## vserver config set host 12x.xxx.90.xx 
                                The SHA1 fingerprint for the vServer's CA certificate is
                                D1:71:7C:57:3F:3D:3D:3xxxxxxxxxxxxxxxx

                                 Do you want to trust this certificate? (yes|no) [yes]: yes

                                    Enter vServer username: xxxxxxxx
                                    Enter vServer password:xxxxxxxxxxxx

                                 vServer configuration saved.
                                 Started periodic collection of DDVE performance information at/ddvar/log/debug/vserver/ddveperf.log 

4. Erstellen und Hochladen eines aktuellen Support-Bundles, einschließlich vserver und disk_perf Protokollen.

Hilfreiche Videos:

Vorlage für das Öffnen eines SR beim DD-Support zum Troubleshooting der DDVE-VM-Performance

VM-Hostkonfiguration

Hosthersteller, Modell, Version und Betriebssystem-Hostname?
Hypervisor-Anbieter (VMware, Hyper-V, andere)?
Host-ESXi/Hyper-V-Serverversion und Build-Nummer?
Version und Build-Nummer des vSphere Client oder Hyper-V Managers?
Handelt es sich um eine Clusterkonfiguration oder eine HA-Konfiguration?
Gab es kürzlich Änderungen an Host- oder VM-Konfigurationen?
Verfügt Ihre Host-Appliance über batteriegestützten Cache, NVRAM oder eine andere Art von Mechanismus, um Daten beim ungeplanten Herunterfahren beizubehalten?

VM-Host-Storage

Storage-RAID-Konfiguration und Größe, Geschwindigkeit, Typ der Festplatten (z. B. RAID 6 – 3 TB – 7.200 RPM – SATA)?
Konnektivitätstyp des Speichersystems (NFS, FCP, iSCSI, SAS)?
Werden die von DDVE verwendeten Storage-Volumes und Datenspeicher gemeinsam mit Nicht-Data Domain-Workloads genutzt?
Ist Schreib-Caching auf dem von DDVE verwendeten Storage aktiviert oder deaktiviert?
Gab es kürzlich Änderungen an der Storage-Konfiguration?
Verwenden Sie Thick oder Thin Provisioning für DDVE-Festplattengeräte?

Konfiguration der Data Domain Virtual Edition

Version und Größe des DDVE-Betriebssystems (z. B. DDVE 3.0 – 6.0.1.10 – 64 TB)?
DDVE-Datenübertragungsprotokoll (z. B. Boost, NFS, CIFS, NDMP, FCP)?
DDVE-Workloads (z. B. Cloud, Replikation, Backup, VTL)?
Backupanwendungs- und Plug-in-Versionen?

Detaillierte Problembeschreibung

Netzwerke:
Leistung:
Installation und Konfiguration:
DD-Dateisystem:
Daten nicht verfügbar oder Datenverlust?
Haben Sie einen aktuellen Fall bei einem anderen Anbieter im Zusammenhang mit dieser DDVE geöffnet?

Erforderliche Protokolle

Supportbundle – #support bundle create default Data Domain: So sammeln/laden Sie ein Support-Paket (Sub) von einem Data Domain Restorer (DDR)

vserver perf-stats - #support bundle create files-only /ddvar/log/debug/platform/disk_perf/perf.log
disk_perf/perf.log - #support bundle create files-only /ddvar/log/debug/vserver/ddveperf.log
„Optionales“ VMware-Protokoll-Bundle – siehe Artikel auf der VMware-Selfservice-Website