Data Domain: Prestatieproblemen oplossen voor Data Domain Virtual Edition

Netwerken en connectiviteit van VM-hostingapparaten:

Ethernet I/O:

Wanneer u Ethernet-aggregaten gebruikt voor dataoverdrachtverbindingen met het hostapparaat, kunt u er niet van uitgaan dat het bestaan van een Ethernet-aggregatieconfiguratie de belasting goed in evenwicht brengt. De juiste werklastverdelingstechnieken en bandbreedte moeten aanwezig zijn om onbeperkte I/O naar het VM-hostingapparaat te garanderen.

Connectiviteit van VM-hostingapparaat naar schijfstorage:

Connectiviteitstype en protocol hebben een enorme impact op de prestatiemogelijkheden van een DDVE VM. Hier vindt u de meest gebruikte connectiviteitstypen tussen het VM-hostingapparaat en schijfstorage. Optie 1 biedt het beste prestatieniveau, terwijl optie 5 de slechtste keuze is voor connectiviteit. HBA-schrijfcache-instellingen kunnen ook de prestaties tussen het hostapparaat en de schijfstorage drastisch beïnvloeden. Het wordt aanbevolen om schrijfcache in te schakelen op de HBA om de beste prestaties van het hostapparaat naar schijfopslag te garanderen.

1. Direct Attached Storage - SAS-schijven/SSD in RAID 5 of RAID 6 + HBA-schrijfcache ingeschakeld (voorkeur voor de beste prestaties)
2. Direct Attached Storage - JBOD zonder RAID + HBA-schrijfcache ingeschakeld (acceptabele prestaties, maar heeft geen aanbevolen RAID-bescherming)
3. FC attached external RAID storage (actief/actief 16 GB of sneller) (acceptabele prestaties, maar kunnen worden beperkt door FC perf-mogelijkheden)
4. iSCSI 10G (externe schijfstorage) (niet aanbevolen)
5. NFS 10G (externe schijfopslag) (niet aanbevolen)

Controle van fysieke storage-arrays, statistieken en prestaties:

Schijfkwaliteit versus schijfgrootte versus schijfkwantiteit:

Schijven met een hogere dichtheid, bijvoorbeeld 4+ TB, hebben minder IOPS per TB dan kleinere schijven. Daarom biedt een DDVE die is geïmplementeerd op een groter aantal kleinere TB-schijven snellere prestaties dan een DDVE die is geïmplementeerd op een paar grote TB-schijven. Dit komt door de hoge afhankelijkheid van DDVE van random-read-prestaties. De normale workload van DDVE kan deze strijd tussen de grootte van fysieke schijven en de hoeveelheid fysieke schijven nog groter maken, dus probeer ervoor te zorgen dat uw storagesysteem een goede balans heeft en voldoet aan de verwachtingen die zijn uiteengezet in de juiste DDVE Best Practices Guide. In dit artikel richten we ons niet op afzonderlijke, fysieke HDD's en SSD's en hun prestatiemogelijkheden. Deze informatie kan worden verkregen bij de fabrikant van de schijf. Het volstaat te zeggen dat beter presterende fysieke schijven gelijk staan aan beter presterende DDVE VM.

Storageproblemen oplossen:

Controleer de latentie op de fysieke schijven die zijn gekoppeld aan uw DDVE VM.

Voor VMware kunt u dit doen door uw VM te selecteren, het tabblad Prestaties te selecteren en vervolgens Datastore te selecteren in de vervolgkeuzelijst. Het toont alle relevante datastores voor uw specifieke DDVE VM. Selecteer ten slotte de knop Geavanceerd voor een granulaire, grafische weergave van latentie voor datastores die zijn gekoppeld aan uw DDVE VM.

Afbeelding 1: Datastore-prestaties

Als u de I/O-belasting voor een datastore wilt bepalen, berekent u de IOP's die door uw datastore worden verwerkt.

Begin met dezelfde grafiek als voorheen, maar selecteer Grafiekopties, schakel Schrijflatentie en Leeslatentie uit en selecteer vervolgens de twee waarden Gemiddelde leesverzoeken per seconde en Gemiddelde schrijfverzoeken per seconde. De resulterende grafiek toont u hoeveel IOPS de datastore uitvoert en het kan u een idee geven van de totale belasting die de DDVE storage "dev" op een datastore zet. Deze uitvoer kan ook nuttig zijn om te onderscheiden of de datastore wordt gedeeld met een workload van een niet-DDVE-applicatie.

Afbeelding 2: Grafiek opties

Controleer de lees-/schrijfverhoudingen voor een gedetailleerdere weergave van de IOP's.

Door het ontwerp leest DDVE meestal 2-4 keer meer vanaf schijfstorage dan schrijven. De uitzondering hierop is tijdens de gen-0 (seeding) van back-ups, wanneer volledig nieuwe data worden geschreven en niet kunnen worden gededupliceerd. Om de bovengenoemde redenen moet de fysieke storage die door DDVE wordt gebruikt, in staat zijn om de overwegend leesgerichte, maar gemengde, willekeurige workloads van het Data Domain-bestandssysteem efficiënt af te handelen.

Fysieke schijfstorage-arrays (SSD, magnetische schijf enzovoort) kunnen een heel ander vermogen vertonen om leesbewerkingen efficiënt te verwerken in vergelijking met schrijfbewerkingen. De mogelijkheid voor een fysiek schijfopslagsysteem om uitzonderlijke IOPS-prestaties voor willekeurige leesbewerkingen te leveren, in combinatie met lage latentie (minder dan 40 milliseconden), zijn de meest kritische factoren om te bepalen of een datastore voldoet aan acceptabele prestatiekenmerken voor een DDVE VM.

Als dieper onderzoek naar de prestaties van storage-arrays of datastore vereist is, wordt een opdrachtregelprogramma met de naam vscsiStats gebruikt. Raadpleeg VMware-ondersteuning voor meer informatie over hoe vscisistats kunnen worden gebruikt om blokgroottes, latenties en meer gedetailleerde statistieken over lees-/schrijfprestaties te verkrijgen.

Controleren of resourceprovisioning voldoet aan de vereisten voor DDVE:

Vaak kan de oorzaak van een DDVE VM-prestatieprobleem worden toegeschreven aan een geconfigureerde instelling die de resources beperkt die beschikbaar zijn voor de DDVE VM. Over het algemeen zullen resourcegroepen met beperkingen alleen dienen om de algehele prestaties van een DDVE VM te beperken en als zodanig worden afgeraden. Omgekeerd zijn er enkele resourcereserveringen die de algehele prestaties van een DDVE VM verbeteren. Raadpleeg altijd de DDVE Best Practices & Administration handleidingen voor uw configuratie bij het implementeren, oplossen van problemen of het afstemmen van een DDVE VM op prestaties.

Start uw verificatie van de toewijzing van middelen door het tabblad Toewijzing van middelen te selecteren. Selecteer vervolgens de DDVE VM die u aan het oplossen bent uit de pool van VM's. Selecteer CPU in het gedeelte Weergave en controleer alle VM's in die pool (ervan uitgaande dat uw problematische VM daar ook aanwezig is). Zorg ervoor dat de limiet MHz is ingesteld op de waarde Onbeperkt. Het beperken van CPU-resources voor een DDVE VM wordt afgeraden en resulteert in verminderde prestaties.

Afbeelding 3: Brontoewijzing

Ga verder met het verifiëren van de geheugenbronnen die zijn toegewezen aan de DDVE VM. Controleer of de geheugenbronnen correct zijn "gereserveerd" en ingesteld op Onbeperkt voor de beste prestaties. Het instellen van limieten voor geheugentoewijzing voor een DDVE wordt afgeraden en resulteert in verminderde prestaties.

Afbeelding 4: Geheugenbronnen

Controleer op het tabblad Storage of er geen beperkingen zijn ingesteld op storage-IOP's. Selecteer de knop Storage en bekijk de schijven/datastores. De waarde Limit-IOPS voor elke schijf die is gekoppeld aan een DDVE VM moet worden ingesteld op de waarde Unlimited.

Afbeelding 5: Storageresources

Let voor de drie reeds genoemde resourcecategorieën op de waarden van het % aandeel . De waarden voor % shares geven aan welk percentage shares die specifieke VM gebruikt uit de gehele resourcegroep. "Aandelenwaarden" zijn relatief, niet absoluut. Zorg er echter voor dat er geen groot verschil is tussen de waarden op alle apparaten in de groep. Er kunnen bijvoorbeeld 1000, 2000 of 3000 worden verwacht, maar waarden als 10, 5, 4000 duiden op een abnormale ongelijkheid en een ongelijke verdeling van de middelen. Als een enkele VM een sterk verschillende waarde heeft, moet u een wijziging van uw instellingen voor "shares value" overwegen.

Prestatiestatistieken voor de DDVE VM controleren:

Een efficiënt draaiende DDVE VM heeft ongeremde toegang tot resources nodig om topprestaties te garanderen. DDVE maakt veel gebruik van geheugen en CPU en kan niet zonder problemen worden beperkt. Zodra een DDVE VM in productie is, kunnen we de grafieken en diagrammen onder het tabblad Prestaties gebruiken om het gebruik van resources te beoordelen. We kunnen deze gebruiken om te bepalen hoe efficiënt het werkt.

CPU

Selecteer de DDVE VM die u wilt oplossen. Selecteer vervolgens het tabblad Prestaties . Waar staat dat u moet overschakelen, selecteert u CPU in de vervolgkeuzelijst. Vanuit deze weergave kunt u de hoeveelheid en het percentage CPU beoordelen dat de DDVE VM verbruikt. Als het % CPU dat door de DDVE VM wordt gebruikt een hoog percentage is van de totale resource, kunnen we aannemen dat het hostingapparaat mogelijk niet geschikt is om de DDVE VM volledig uit te voeren.

Afbeelding 6: CPU-prestaties

Geheugen

Als de VM traag lijkt te reageren, heeft de CPU mogelijk een planningsprobleem. Als u de CPU-efficiëntie wilt beoordelen, begint u met de vorige grafiek en selecteert u nogmaals Grafiekopties. Wis alle tellers en selecteer vervolgens Gereed. Dit geeft de gereedheidstijd van de VirtualCPU(s) weer. De millisecondenwaarde geeft de tijd aan dat een VM gereed is om te starten, maar de hypervisor kan niet tijdig een CPU aan de taak toewijzen. Voor optimale DDVE VM-prestaties zien we dit graag onder 8 milliseconden. 

Afbeelding 7: Tijd CPU-gereed

Geheugenprestaties en -beschikbaarheid kunnen ook een beperkende factor zijn in de algehele prestaties van DDVE VM's. Als een DDVE VM niet is geconfigureerd met de vereiste hoeveelheid gereserveerd fysiek geheugen, wordt er een actieve waarschuwing gegenereerd. Controleer actieve waarschuwingen door het uitvoeren van # alerts show current bij de DDVE CLI en los indien nodig op.

Als een DDVE VM niet genoeg beschikbare geheugenbronnen heeft, reageert de DDVE VM door de geheugenpagina's naar schijf te wisselen. Dit is een ongewenste toestand en resulteert in ernstig verminderde prestaties. Om het actieve geheugengebruik van een DDVE VM te beoordelen, selecteert u eerst het tabblad Prestaties en selecteert u vervolgens Geheugen in het vak Overschakelen naar.

Standaard worden in de grafiek de waarden Actief, Verleend, Ballon en Verbruikt geheugen weergegeven. Voor optimale prestaties moet u ervoor zorgen dat het actieve geheugen ongeveer 35-50% van de toegekende geheugenwaarde is. Wanneer de waarde van het actieve geheugen 60% van het toegekende geheugen nadert, kunt u een scenario invoeren waarin swapping plaatsvindt in de DDVE VM.

Afbeelding 8: Geheugenprestaties

Controleren of een DDVE VM voldoet aan "best practices" en aanbevolen configuraties:

Bij het oplossen van prestatieproblemen zijn er veel dingen die u moet controleren en logboeken die u van de DDVE VM zelf moet verzamelen. Voordat u een DDVE-ondersteuningsaanvraag opent, moet u eerst controleren of de DDVE-configuratie voldoet aan de aanbevolen best practices en aanbevolen instellingen. Raadpleeg de documentatie op de supportwebsite voor de DDVE-versie en het hostingplatform dat u gebruikt.

Gathering Performance statistics:

1. Verzamel de resultaten van de volgende CLI-opdrachten en -tools om de onderliggende schijfstorage te beoordelen en zorg ervoor dat de configuratie voldoet aan het vereiste prestatieniveau om de gekozen DDVE-capaciteit te ondersteunen.

• Voer een Disk Assessment Test (DAT) uit voor elke schijfontwikkelaar die is gekoppeld aan de DDVE. Het gedeelte Prestatiecontrole van de DDVE-beheerhandleiding bevat gedetailleerde instructies over wanneer en hoe de DAT-tool moet worden gebruikt.
• Voer de DAT-test uit op basis van het type ingenomen I/O. De with-vnvram optie moet worden gebruikt als u voornamelijk CIFS/NFS gebruikt om back-ups te schrijven. Sommige gebruikers gebruiken Boost om back-ups te maken en gebruiken vervolgens NFS om leestoegang te krijgen Zo ja, dan is het gebruik van de with-vnvram Vlag is niet vereist.
• Het gebruik van de DAT-tool wordt niet ondersteund voor een in de cloud geïmplementeerde DDVE (Microsoft Azure, Amazon AWS).

2. DDVE CLI-opdrachten voor het verzamelen van informatie voor probleemoplossing bij prestaties:

• #alerts show current
• #system vresource show required
• #system vresource show current
• #storage show all (Controleer of de toewijzing van spindelgroepen voldoet aan de best practices)
• #cd /ddr/var/log/debug/kern.info/disk_perf/perf.log (controleer latentie en IOPS per apparaat)
• #system show performance (beste syntaxis gebruiken om de weergave van CLI-uitvoer tijdens normale DDVE I/O-belasting te verfijnen)
  • #system show perf custom-view protocol-latency duration 1 hr interval 3 min
  • #system show perf custom-view utilization duration 1 hr interval 3 min
  • #system show perf custom-view iops duration 1 hr interval 3 min
  • #system show perf custom-view streams duration 1 hr interval 3 min
• #disk show performance <dev2> (Er kunnen meerdere ontwikkelaars worden ingevoerd om een volledig beeld te krijgen)

 Disk                            Read                                                   Write                                             Read+Write
            KiB/sec IOPs    Resp(ms)  Ops >1s   KiB/sec     IOPs  Resp(ms)   Ops >1s   MiB/sec   IOPs   Resp(ms)    Random     Busy
----   ------------------------------   ------------------------------   ----------------------------------------  ----------------------------------------  ----------------------------------------
dev2   0             0       3.63               0               0           0     7172.87         4801       0.000       0        2486.26           81.64%    0.01%
----   ------------------------------   ------------------------------   ----------------------------------------  ----------------------------------------   ----------------------------------------

3. DDVE-prestatiegegevens verzamelen met # vserver CLI DDVE-prestatiegegevens verzamelen met # vserver CLI

• #se # vserver uitgang tijdens I/O-belasting. (Uitvoer maakt deel uit van het uploaden van de bundel als VServer is geconfigureerd en gestart voordat de bundel wordt gemaakt.)

                                SE@localhost## vserver config set host 12x.xxx.90.xx 
                                The SHA1 fingerprint for the vServer's CA certificate is
                                D1:71:7C:57:3F:3D:3D:3xxxxxxxxxxxxxxxx

                                 Do you want to trust this certificate? (yes|no) [yes]: yes

                                    Enter vServer username: xxxxxxxx
                                    Enter vServer password:xxxxxxxxxxxx

                                 vServer configuration saved.
                                 Started periodic collection of DDVE performance information at/ddvar/log/debug/vserver/ddveperf.log 

4. Maak en upload een huidige supportbundel met daarin vserver als disk_perf Logs.

Handige video's:

Sjabloon voor het openen van een SR met DD Support om problemen met DDVE VM-prestaties op te lossen

VM-hostconfiguratie

Hostfabrikant, model, versie en hostnaam besturingssysteem?
Hypervisorleverancier (VMware, Hyper-V, overig)?
Versie en buildnummer van ESXi/Hyper-V-server hosten?
Versie en buildnummer van vSphere-client of Hyper-V Manager?
Is dit een geclusterde configuratie of een HA-configuratie?
Recente wijzigingen in host- of VM-configuraties?
Heeft uw hostapparaat een cache met batterijback-up, NVRAM of een ander mechanisme om data te bewaren wanneer het ongepland wordt afgesloten?

VM-hoststorage

Storage RAID-configuratie en schijfgrootte, snelheid, type (bijvoorbeeld RAID 6 - 3 TB - 7200 RPM - SATA)?
Connectiviteitstype storagesysteem (NFS, FCP, iSCSI, SAS)?
Worden de storagevolumes en datastores die door DDVE worden gebruikt, gedeeld met niet-Data Domain-workloads?
Is schrijf-caching in- of uitgeschakeld op de storage die in gebruik is door DDVE?
Zijn er recente wijzigingen in de storageconfiguratie?
Gebruikt u thick of thin provisioning voor DDVE-schijfapparaten?

Data Domain Virtual Edition Configuration

Versie en grootte van DDVE besturingssysteem (bijvoorbeeld DDVE 3.0 - 6.0.1.10 - 64 TB)?
DDVE-protocol voor gegevensoverdracht (bijvoorbeeld Boost, NFS, CIFS, NDMP, FCP)?
DDVE-workloads (bijvoorbeeld Cloud, Replicatie, Back-up, VTL)?
Back-upversies van applicaties en plug-ins?

Gedetailleerde beschrijving van het probleem

Networking:
Performance:
Install and configuration:
DD file system:
Data unavailable or data loss?
Hebt u een lopende zaak openstaan bij een andere leverancier met betrekking tot deze DDVE?

Logboeken vereist

Supportbundel - #support bundle create default Data Domain: Een supportbundel (SUB) verzamelen/uploaden uit een Data Domain Restorer (DDR)

vServer perf-stats - #support bundle create files-only /ddvar/log/debug/platform/disk_perf/perf.log
disk_perf/perf.log - #support bundle create files-only /ddvar/log/debug/vserver/ddveperf.log
"Optionele" VMware-logboekbundel - Zie de VMware-selfservicesite voor een artikel