Data Domain: Odstraňování problémů s výkonem systému Data Domain Virtual Edition

Sítě a připojení hostitelského zařízení virtuálních počítačů:

Ethernet I/O:

Při použití ethernetových agregací pro připojení pro přenos dat k hostitelskému zařízení nelze předpokládat, že existence agregované konfigurace ethernetové sítě správně vyvažuje zatížení. Měly by být zavedeny správné techniky vyrovnávání zatížení a šířka pásma, aby se zajistily neomezené operace I/O do zařízení hostujícího virtuální počítač.

Připojení hostitelského zařízení virtuálních počítačů k diskovému úložišti:

Typ a protokol připojení mají obrovský vliv na možnosti výkonu virtuálního počítače DDVE. Tady jsou uvedené nejčastěji používané typy připojení mezi hostitelským zařízením virtuálního počítače a diskovým úložištěm. Možnost 1 nabízí nejlepší úroveň výkonu, zatímco možnost 5 představuje nejhorší možnost připojení. Nastavení cache pro zápis HBA může také výrazně ovlivnit výkon mezi hostitelským zařízením a diskovým úložištěm. V adaptéru HBA se doporučuje povolit cache pro zápis, aby byl zajištěn nejlepší výkon z hostitelského zařízení do diskového úložiště.

1. Přímo připojené úložiště – disky SAS / SSD v poli RAID 5 nebo RAID 6 + povolená cache pro zápis HBA (preferováno pro nejlepší výkon)
2. Přímo připojené úložiště – JBOD bez povolené cache zápisu RAID + HBA (přijatelný výkon, ale bez doporučené ochrany RAID)
3. Externí úložiště RAID připojené k FC (aktivní/aktivní, 16 GB nebo rychlejší) (přijatelný výkon, ale možné omezení možnostmi výkonu FC)
4. iSCSI 10G (externí diskové úložiště) (nedoporučuje se)
5. NFS 10G (externí diskové úložiště) (nedoporučuje se)

Kontrola fyzických diskových polí a statistik a výkonu:

Kvalita disku vs velikost disku vs množství disků:

Disky s vyšší hustotou, například 4+ TB, mají méně operací IOPS na TB než menší disky. Z tohoto důvodu nabízí řešení DDVE nasazené na větším počtu menších disků TB vyšší výkon než řešení DDVE nasazené na několika velkých TB discích. To je způsobeno vysokou závislostí systému DDVE na výkonu náhodného čtení. Běžné zatížení systému DDVE může tuto bitvu mezi velikostí fyzického disku a počtem fyzických disků ještě zvýraznit, proto se snažte zajistit, aby byl váš úložný systém v pořádku a splňoval očekávání stanovená v příslušném průvodci vzorovými postupy pro systém DDVE. V tomto článku se nebudeme zabývat jednotlivými fyzickými typy pevných disků a disků SSD a jejich výkonem. Tyto informace získáte od výrobce disku. Stačí říci, že výkonnější fyzické disky odpovídají výkonnějšímu virtuálnímu počítači DDVE.

Odstraňování problémů s úložištěm:

Ověřte latenci na fyzických discích přidružených k vašemu virtuálnímu počítači DDVE.

V případě systému VMware to můžete provést tak, že vyberete svůj virtuální počítač, vyberete kartu Performance a pak v rozevíracím seznamu vyberete položku Datastore. Zobrazí všechna relevantní datová úložiště pro váš konkrétní virtuální počítač DDVE. Nakonec vyberte tlačítko Advanced pro podrobné grafické zobrazení latence datových úložišť přidružených k vašemu virtuálnímu počítači DDVE.

Obrázek 1: Výkon datového úložiště

Pokud chcete určit zatížení operací I/O úložiště dat, vypočítejte operace I/O zpracovávané vaším datovým úložištěm.

Začněte se stejným grafem jako předtím, ale vyberte možnost Chart Options, vymažte pole Write Latency and Read Latency a pak vyberte dvě hodnoty Average read requests per second a Average write requests per second. Výsledný graf vám zobrazí, kolik operací IOPS datové úložiště provádí, a může vám poskytnout určitou představu o celkovém zatížení, které jednotka „dev“ DDVE vkládá do datového úložiště. Tento výstup může být také užitečný při rozlišování, jestli je datové úložiště sdíleno s úlohou z jiné aplikace než DDVE.

Obrázek 2: Možnosti grafu

Chcete-li získat podrobnější přehled o operacích IOPS, zkontrolujte poměry čtení a zápisu.

Princip DDVE obvykle umožňuje provádět čtení z diskového úložiště 2–4krát více než zápis. Výjimkou je období během procesu gen-0 (seeding) záloh, kdy se zapisují zcela nová data a nelze je deduplikovat. Z výše uvedených důvodů musí být fyzické úložiště používané řešením DDVE schopno efektivně zpracovávat převážně na čtení orientované, ale smíšené, náhodné úlohy systému souborů Data Domain.

Fyzická disková úložná pole (SSD, magnetický disk atd.) mohou vykazovat výrazně odlišnou schopnost efektivně zpracovávat čtení ve srovnání s operacemi zápisu. Schopnost fyzického diskového úložného systému poskytovat výjimečný výkon náhodného čtení IOPS spolu s nízkou latencí (méně než 40 milisekund) jsou nejdůležitějšími faktory při určování, zda datové úložiště splňuje přijatelné výkonové charakteristiky pro virtuální počítač DDVE.

Pokud se vyžaduje hlubší šetření výkonu polí úložišť nebo datového úložiště, použije se nástroj příkazového řádku s názvem vscsiStats. Další podrobnosti o tom, jak lze využít nástroj vscisiStats k získání velikostí bloků, latencí a podrobnějších statistik výkonu čtení a zápisu, vám poskytne podpora VMware.

Ověření, zda zřizování zdrojů splňuje požadavky pro systém DDVE:

Příčina problému s výkonem virtuálního počítače DDVE může být často způsobena některým nakonfigurovaným nastavením, které omezuje zdroje dostupné pro virtuální počítač DDVE. Obecně platí, že fondy zdrojů s omezeními slouží pouze k omezení celkového výkonu virtuálního počítače DDVE, a proto se nedoporučují. Naopak existují některé rezervace zdrojů, které zlepšují celkový výkon virtuálního počítače DDVE. Při nasazování, odstraňování problémů nebo ladění výkonu virtuálního počítače DDVE se vždy řiďte vzorovými postupy a pokyny pro správu systému DDVE.

Ověřování přidělení zdrojů zahájíte výběrem karty Resource Allocation. Dále z fondu virtuálních počítačů vyberte virtuální počítač DDVE, u kterého chcete odstraňovat problémy. V části View vyberte položku CPU a zkontrolujte všechny virtuální počítače v tomto fondu (za předpokladu, že je tam i váš problematický virtuální počítač). Ujistěte se, že je limit MHz nastaven na hodnotu Unlimited. Omezování zdrojů procesoru pro virtuální počítač DDVE se nedoporučuje a vede ke snížení výkonu.

Obrázek 3: Přidělení zdrojů

Přejděte k ověření paměťových zdrojů přidělených virtuálnímu počítači DDVE. Ověřte, zda jsou paměťové zdroje správně „vyhrazeny“ a nastaveny na hodnotu Unlimited, aby byl zajištěn nejlepší výkon. Nastavení limitů pro přidělování paměti pro řešení DDVE se nedoporučuje a vede ke snížení výkonu.

Obrázek 4: Paměťové zdroje

Na kartě Storage ověřte, že na IOPS úložiště nejsou kladena žádná omezení. Klikněte na tlačítko Storage a zobrazte disky nebo datová úložiště. Položka „Limit-IOPS“ pro každý disk přidružený k virtuálnímu počítači DDVE musí být nastavená na hodnotu Unlimited.

Obrázek 5: Zdroje úložiště

U tří již zmíněných kategorií zdrojů si poznamenejte hodnoty % shares. Hodnoty % shares udávají, jaké procento sdílených složek daný virtuální počítač čerpá z celého fondu zdrojů. Hodnoty „Shares values“ jsou relativní, nikoli absolutní. Ujistěte se ale, že mezi hodnotami napříč všemi zařízeními ve fondu není velký rozdíl. Daly by se očekávat například hodnoty 1 000, 2 000 nebo 3 000, ale hodnoty jako 10, 5, 4 000 by znamenaly abnormální nepoměr a nerovnoměrné rozdělení zdrojů. Pokud má jeden virtuální počítač výrazně odlišnou hodnotu, musíte zvážit úpravu nastavení hodnoty sdílené složky.

Kontrola statistik výkonu pro virtuální počítač DDVE:

Efektivní virtuální počítač DDVE potřebuje neomezený přístup ke zdrojům, aby byl zajištěn špičkový výkon. Systém DDVE ve velké míře využívá paměť a procesor a nelze jej bez problémů omezit. Jakmile je virtuální počítač DDVE v produkčním prostředí, můžeme využít grafy a tabulky na kartě Performance k vyhodnocení využití zdrojů. Můžeme je použít k určení toho, jak efektivně systém funguje.

Procesor

Vyberte virtuální počítač DDVE, ve kterém chcete odstranit problémy. Dále vyberte kartu Performance. Tam, kde je uvedeno switch to, vyberte z rozevíracího seznamu položku CPU. V tomto zobrazení můžete posoudit množství a procento procesoru, které virtuální počítač DDVE spotřebovává. Pokud % procesoru využívaného virtuálním počítačem DDVE představuje vysoké procento celkového zdroje, můžeme předpokládat, že hostitelské zařízení nemusí být vhodné pro spuštění virtuálního počítače DDVE na plný potenciál.

Obrázek 6: Výkon procesoru

Paměť

Pokud se zdá, že virtuální počítač reaguje pomalu, může mít procesor problém s plánováním. Pokud chcete vyhodnotit efektivitu procesoru, začněte s předchozím grafem a znovu vyberte položku Chart Options. Vymažte všechny čítače a pak vyberte položku Ready. Zobrazí dobu připravenosti virtuálních procesorů. Hodnota v milisekundách označuje dobu, po kterou je virtuální počítač připraven ke spuštění, ale hypervisor nemůže k úloze včas přiřadit procesor. Pro optimální výkon virtuálních počítačů DDVE je žádoucí, aby tato hodnota byla kratší než 8 milisekund. 

Obrázek 7: Doba připravenosti procesoru

Výkon a dostupnost paměti mohou být také omezujícím faktorem celkového výkonu virtuálních počítačů DDVE. Pokud virtuální počítač DDVE není nakonfigurován s požadovaným množstvím rezervované fyzické paměti, vygeneruje se aktivní výstraha. Zkontrolujte aktivní výstrahy spuštěním příkazu # alerts show current v rozhraní příkazového řádku DDVE a v případě potřeby problém vyřešte.

Pokud virtuální počítač DDVE nemá dostatek dostupných paměťových zdrojů, virtuální počítač DDVE odpoví přesunutím paměťových stránek na disk. To je nežádoucí stav, který má za následek závažné snížení výkonu. Pokud chcete vyhodnotit využití aktivní paměti virtuálního počítače DDVE, začněte tím, že vyberete kartu Performance a pak v poli Switch to vyberete možnost Memory.

Ve výchozím nastavení graf zobrazuje hodnoty paměti Active, Granted, Balloon a Consumed memory. Pro optimální výkon se ujistěte, že aktivní paměť je přibližně 35–50 % hodnoty přidělené paměti. Pokaždé, když se hodnota aktivní paměti přiblíží 60 % přidělené paměti, může se stát, že ve virtuálním počítači DDVE dojde k prohození.

Obrázek 8: Výkon paměti

Ověření, že virtuální počítač DDVE splňuje „vzorové postupy“ a doporučené konfigurace:

Při odstraňování problémů s výkonem je potřeba zkontrolovat mnoho věcí a shromáždit protokoly ze samotného virtuálního počítače DDVE. Před otevřením případu u podpory systému DDVE začněte ověřením, zda konfigurace řešení DDVE splňuje doporučené vzorové postupy a doporučená nastavení. Verzi systému DDVE a hostitelskou platformu, kterou používáte, naleznete v dokumentaci na webu podpory.

Shromažďování statistik výkonu:

1. Shromážděte výsledky z následujících příkazů a nástrojů příkazového řádku, abyste vyhodnotili základní diskové úložiště a zajistili, že konfigurace splňuje požadovanou úroveň výkonu pro podporu zvolené kapacity systému DDVE.

• Provedení testu DAT (Disk Assessment Test) pro všechny vývojáře disků připojené k systému DDVE. Část Sledování výkonu v příručce pro správu systému DDVE obsahuje podrobné pokyny, kdy a jak používat nástroj DAT.
• Proveďte testování DAT na základě typu přijatých operací I/O. Skript with-vnvram Tato možnost by měla být použita, pokud pro zápis záloh primárně používáte systém CIFS/NFS. Někteří uživatelé používají funkci Boost k provádění záloh a poté pomocí NFS získávají přístup ke čtení. Pokud tomu tak je, použití příznaku with-vnvram není povinné.
• Použití nástroje DAT není podporováno u systému DDVE nasazeného v cloudu (Microsoft Azure, Amazon AWS).

2. Příkazy rozhraní příkazového řádku systému DDVE ke shromažďování informací pro odstraňování problémů s výkonem:

• #alerts show current
• #system vresource show required
• #system vresource show current
• #storage show all (ověřte, zda přiřazení skupin ploten splňují vzorové postupy)
• #cd /ddr/var/log/debug/kern.info/disk_perf/perf.log (kontrola latence a operací IOPS na zařízení)
• #system show performance (použijte nejlepší syntaxi pro zúžení zobrazení výstupu příkazového řádku během normálního zatížení I/O systému DDVE)
  • #system show perf custom-view protocol-latency duration 1 hr interval 3 min
  • #system show perf custom-view utilization duration 1 hr interval 3 min
  • #system show perf custom-view iops duration 1 hr interval 3 min
  • #system show perf custom-view streams duration 1 hr interval 3 min
• #disk show performance <dev2> (pro získání úplného přehledu lze zadat více disků dev)

 Disk                            Read                                                   Write                                             Read+Write
            KiB/sec IOPs    Resp(ms)  Ops >1s   KiB/sec     IOPs  Resp(ms)   Ops >1s   MiB/sec   IOPs   Resp(ms)    Random     Busy
----   ------------------------------   ------------------------------   ----------------------------------------  ----------------------------------------  ----------------------------------------
dev2   0             0       3.63               0               0           0     7172.87         4801       0.000       0        2486.26           81.64%    0.01%
----   ------------------------------   ------------------------------   ----------------------------------------  ----------------------------------------   ----------------------------------------

3. Shromáždění informací o výkonu systému DDVE pomocí příkazového řádku # vserver Shromáždění informací o výkonu systému DDVE pomocí příkazového řádku # vserver

• #se # vserver výstup během zátěže I/O. (Výstup je součástí nahrávání balíčku, pokud je nástroje VServer nakonfigurován a spuštěn před vytvořením balíčku.)

                                SE@localhost## vserver config set host 12x.xxx.90.xx 
                                The SHA1 fingerprint for the vServer's CA certificate is
                                D1:71:7C:57:3F:3D:3D:3xxxxxxxxxxxxxxxx

                                 Do you want to trust this certificate? (yes|no) [yes]: yes

                                    Enter vServer username: xxxxxxxx
                                    Enter vServer password:xxxxxxxxxxxx

                                 vServer configuration saved.
                                 Started periodic collection of DDVE performance information at/ddvar/log/debug/vserver/ddveperf.log 

4. Vytvořte a nahrajte aktuální balíček podpory s vserver a disk_perf protokoly.

Užitečná videa:

Šablona pro otevření servisního požadavku s podporou DD pro odstraňování problémů s výkonem virtuálního počítače DDVE

Konfigurace hostitele virtuálního počítače

Výrobce hostitele, model, verze a název hostitele operačního systému?
Dodavatel hypervisoru (VMware, Hyper-V, jiný)?
Verze serveru Host ESXi/Hyper-V a číslo sestavení?
Verze a číslo sestavení klienta vSphere nebo nástroje Hyper-V Manager?
Jedná se o clusterovou konfiguraci nebo konfiguraci HA?
Došlo v poslední době ke změnám v konfiguracích hostitelů nebo virtuálních počítačů?
Má vaše hostitelské zařízení cache zálohovanou baterií, paměť NVRAM nebo jiný typ mechanismu pro uchování dat při neplánovaném vypnutí?

Hostitelské úložiště virtuálního počítače

Konfigurace pole RAID úložiště a velikost, rychlost, typ disku (například RAID 6 – 3 TB – 7 200 ot/min – SATA)?
Typ připojení úložného systému (NFS, FCP, iSCSI, SAS)?
Jsou svazky úložiště a datová úložiště používaná softwarem DDVE sdílena s úlohami mimo systém Data Domain?
Je povolen nebo zakázán zápis do cache v úložišti používaném softwarem DDVE?
Došlo v poslední době k nějakým změnám v konfiguraci úložiště?
Používáte silné nebo tenké přidělování pro disková zařízení DDVE?

Konfigurace systému Data Domain Virtual Edition

Verze a velikost operačního systému DDVE (např. DDVE 3.0 – 6.0.1.10 – 64 TB)?
Protokol DDVE pro přenos dat (například Boost, NFS, CIFS, NDMP, FCP)?
Zatížení DDVE (například cloud, replikace, zálohování, VTL)?
Zálohování verzí aplikací a zásuvných modulů?

Podrobný popis problému

Sítě:
Výkon:
Instalace a konfigurace:
Systém souborů DD:
Nedostupná nebo ztracená data?
Máte aktuálně otevřený případ u jiného dodavatele související s tímto systémem DDVE?

Vyžadované protokoly

Balíček podpory – #support bundle create default Data Domain: Jak sbírat/odesílat balíček podpory (SUB) ze zařízení DDR (Data Domain Restorer)

vserver perf-stats - #support bundle create files-only /ddvar/log/debug/platform/disk_perf/perf.log
disk_perf/perf.log - #support bundle create files-only /ddvar/log/debug/vserver/ddveperf.log
„Volitelný“ balíček protokolů VMware – článek naleznete na samoobslužném webu VMware.