Data Domain: Odstraňování problémů s pomalým obnovením výkonu CIFS s jedním souborem

To jsou nejdůležitější informace, které je třeba vzít na vědomí: se zálohovací aplikací i bez ní používá obnovení CIFS s jedním souborem pouze jeden datový proud. 

Systém Data Domain provede tuto operaci jako jednoduché sekvenční čtení souborů diktované protokolem CIFS / Server Message Block (SMB)) operačního systému. 

Vzhledem k tomu, že data jsou čtena z jedné připojené sdílené síťové cesty pomocí standardního protokolu, fungují jako jedno logické připojení nebo datový proud.

CIFS SMB používá jeden datový proud pro obnovení jednoho souboru, protože protokol vynucuje seřazené zápisy prostřednictvím jednoho popisovače souboru, aby byla zachována integrita a konzistence dat. 

Tato operace obnovení jednoho datového proudu pro každý soubor není omezením návrhu z datové domény, ale je jedinečná pro samotný proces CIFS. 

Pokud používáte záložní aplikaci a chcete provést ověření u dodavatele, otevřete případ u dodavatele a ověřte využití datového proudu a další konfiguraci. 

Kromě toho, jak proces CIFS funguje, jsou do procesu obnovení zapojeny i další komponenty:

• Konfigurace síťové karty (NIC) na straně
  klienta (rychlost, duplex, snižování zátěže),
  nastavení
  jednotky MTU Využití procesoru nebo paměti
• Přepínače Network Path
  (rychlost portů, duplex, využití vyrovnávací paměti, zásady QoS)
  Směrovače (zásady směrování, MTU, ACL)
  Brány firewall (kontrola paketů, omezování rychlosti, filtrování specifické pro malé a střední podniky)
  Nástroje pro vyrovnávání zatížení (pokud jsou k dispozici)
  Konfigurace VLAN (označování, konzistence MTU)
  SFP/transceivery (kontrola chyb, neodpovídající rychlosti)
  Kabely (poškozené nebo nekvalitní kabely způsobující chyby CRC)
  Zahlcení sítě (sledování vysokého využití nebo zahození paketů)
• Nastavení jednotky MTU na straně
  úložiště v rozhraních úložiště: jednotky MTU musí být konzistentní a komplexní (klient → přepínač → směrovač → brána firewall → úložiště). Neshoda kdekoli může způsobit fragmentaci nebo zahození paketů, což snižuje výkon CIFS.
  Konfigurace
  spojování síťové karty / LACP Zatížení
  procesoru nebo paměti řadiče úložiště Výkon backendu disku (cache pro zápis, vrstvení, latence)
• Zprostředkující zařízení
  : Systémy IDS/IPS / antivirus pro zásah do cloudu (hloubková kontrola paketů může omezit SMB)
  Optimalizátory WAN (pokud je obnova vzdálená)
  Tunely VPN (režie šifrování, neshoda MTU)
• Fyzická vrstva
  Patch panely a integrita
  kabeláže Čistota vláken a správné vložení pro SFP
• Další faktory
  Konzistence rámce Jumbo (MTU napříč všemi skoky)
  Chyby sítě (CRC, výpadky, opakované přenosy)
  QoS nebo zásady řízení provozu, které snižují prioritu provozu SMB
• Test konzistence jednotky MTU – ověřte komplexní jednotku MTU pomocí příkazu ping s parametrem -f a odpovídající velikostí paketu.
  Test propustnosti nástroje Iperf – měří hrubou šířku pásma sítě mezi klientem a systémem Data Domain.
  Nastavení rychlosti nebo duplexu síťové karty – ujistěte se, že jsou oba konce nastaveny na správnou rychlost (1/10/25/40GbE) a plně duplexní provoz.
  Konfigurace síťového přepínače – Zkontrolujte rychlost portu, využití vyrovnávací paměti a zásady QoS.
  Kontrola směrovače/firewallu – Zajistěte, aby žádná kontrola paketů nebo omezení rychlosti neomezovaly provoz SMB.
  Stav kabelů a SFP – Zkontrolujte, zda nedošlo k chybám CRC, poškozeným kabelům nebo neshodným transceiverům.
  Načtení zálohovací aplikace – potvrzení, že neběží současně žádné náročné úlohy (úplné zálohování, úlohy deduplikace).
  Priorita úlohy zálohování – ujistěte se, že úloha obnovení není omezená nebo neběží s nízkou prioritou.
  Režie inline zpracování – Pokud je to možné
  , zakažte kompresi, šifrování nebo deduplikaci během obnovení. Načtení řadiče úložiště – Zkontrolujte využití procesoru nebo paměti DD a latenci backendu disku.
  Zásady QoS nebo Traffic Shaping – Ověřte, že provoz SMB nemá v síti sníženou prioritu.

Další kroky pro kontrolu stavu obnovení CIFS lze provést při odstraňování problémů. 

Doporučujeme zakázat podepisování serveru, pokud je povolené, protože vytváří velkou režii, která by mohla snížit propustnost. 

I když propustnost může být vyšší po zakázání datových proudů pro obnovení, může být stále pouze jeden záměrně. 

Data Domain – výkon zálohování CIFS systému Windows může klesnout, pokud je povoleno podepisování SMB.

Ověřte, zda se obnovení připojuje k IP adrese, která je ve stejné podsíti jako data domain. 

Pokud si nejste jistí, ověřte, zda má systém Data Domain brány pro podsítě každé ze svých IP adres. 
Přihlaste se do rozhraní příkazového řádku a spusťte příkaz pro zobrazení IP adres systému Data Domain. 

net show set

Poté zkontrolujte brány. 

net route show gateways detailed 

Doporučuje se přidat brány pro všechny podsítě. 

net route add gateway x.x.x.x 

• Zkontrolujte, jestli je jednotka MTU (Maximum Transmission Unit) konzistentní s klientem provádějícím obnovení. 
• Pokud test MTU selže při 1472, zkuste použít nižší MTU, například 1372. 

WINDOWS:
If MTU is standard 1500 
C:> ping xx.xx.xx.xx -f -l 1472 
OR 
If you are using Jumbo  
C:> ping xx.xx.xx.xx -f -l 8972   

From DD side,
# net ping <IP address> count 2 packet-size 1472 path-mtu do
If you know the interface on the data domain that communicates with the restore you can specify it in the command. 
# net ping <IP address> count 2 packet-size 1472 path-mtu do interface ethXx (MTU size of 1500)
# net ping <IP address> count 2 packet-size 8972 path-mtu do interface ethXx (MTU size of 9000)  

• Kontrola jednotky MTU v klientovi zajišťuje, že jeho síťové rozhraní odpovídá nastavení úložiště a síťové cesty, což zabraňuje fragmentaci paketů a problémům s výkonem obnovení.
• MTU je největší velikost paketu, který lze přenášet v síti bez fragmentace.

Pokud si nejste jisti, jaká je velikost jednotky MTU v klientovi okna, můžete příkaz spustit. 

netsh interface ipv4 show subinterfaces

Nebo pomocí PowerShellu 

Get-NetIPInterface | Select-Object

Pokud se vyskytne problém s MTU, obraťte se na svůj síťový tým s žádostí o další odstraňování problémů, protože problém nepochází ze strany datové domény, ale do vaší sítě na přepínačích, směrovačích a branách firewall. 

Kromě pingu je také důležitý počet milisekund a doba odezvy. Pokud je výsledkem příkazu ping vysoký počet milisekund, předpokládá se, že zařízení není v síti LAN, ale v síti WAN. 

Pokud jste v síti WAN, pak čím větší vzdálenost, tím vyšší je dopad propustnosti Pokud je problémem vzdálenost, podpora nemůže nic dělat, je nejlepší promluvit si s poskytovatelem internetových služeb. 

Pokud je jednotka MTU konzistentní a příkazy ping nezpůsobují žádnou ztrátu paketů, zkontrolujte šířku pásma ve směru datové domény ke klientovi. 

Můžete porovnat oba směry z datové domény do klienta a z klienta do datové domény, abyste měli jistotu, že jsou stejné. 

Iperf měří zbývající zbývající šířku pásma, takže pokud máte spuštěnou zálohu, změří zbývající šířku pásma. 

Pokud chcete měřit plnou šířku pásma, pak je nejlepší zastavit všechny úlohy. 
Data Domain: Odstraňování problémů s výkonem sítě pomocí nástroje iperf

Pokud je MTU konzistentní a šířka pásma je také měřena jako přesná, lze provést test drag-and-drop v Průzkumníkovi Windows. 

Příklady: Přejděte do složky Průzkumník Windows, kde se soubor nachází, a přetáhněte jej na sdílenou jednotku CIFS v systému Data Domain. 

Pokud je přetahování rychlejší než zálohovací aplikace, je možné, že došlo k problému s aplikací pro zálohování. 

Níže jsou uvedeny příkazy, které zobrazují statistické údaje procesoru, sítě a disku. 

Příkazy CIFS:

system show stats view cifs interval 2

sysadmin@DD6900-2# system show stats view cifs interval 2

INTERVAL: 2 secs
"-" indicates that system is busy and unable to get recent data.
---------------------------------------------------------------------------------------------------------------------------------------------------------------------
CPU      |State     |CIFS                                                            |Protocol Aggr                 |Net        |Disk                |NVRAM
aggr aggr|          |                                                                |                              | aggr  aggr|                    |   aggr    aggr
busy  max|          |ops/s      in     out  read write create getattr setattr readdir|        ops/s data in data out|   in   out|   read   write busy|   read   write
   %    %|CDPVMSFIRL|         MB/s    MB/s ops/s ops/s  ops/s   ops/s   ops/s   ops/s|                 MB/s     MB/s| MB/s  MB/s|  KiB/s   KiB/s    %|  KiB/s   KiB/s
---- ---- ---------- ----- ------- ------- ----- ----- ------ ------- ------- ------- ------------- ------- -------- ----- ----- ------- ------- ---- ------- -------
   2    8        I       0       0       0     0     0      0       0       0       0             5    0.09     0.01  0.10  0.02    1649    1070    0       -       -
   6    7        I       0       0       0     0     0      0       0       0       0             0       0        0  0.09  0.02    1084     962    0       -       -
   7    7        I       0       0       0     0     0      0       0       0       0             0       0        0     0     0    1090    4385    0       0       5
   6    7        I       0       0       0     0     0      0       0       0       0             0       0        0     0     0    1087     312    0       0      39
   7    7        I       0       0       0     0     0      0       0       0       0             0       0        0     0     0    1077    1097    0       0      27
   7    7        I       0       0       0     0     0      0       0       0       0             3       0        0     0     0    1043    3285    0       0       4
   6    7        I       0       0       0     0     0      0       0       0       0             8       0        0     0     0    1043    1845    0       0      15

Níže je uveden příklad výstupu příkazu pro kontrolu chyb rámců v rozhraních Data Domain. 

Pokud je počítadlo rámců vysoké, znamená to, že SFP, ethernetový kabel nebo optický kabel je vadný na straně datové domény nebo na straně přepínače. 

Obraťte se na síťový tým s žádostí o výměnu kabelu nebo SFP. 
Data Domain - Odstraňování problémů s chybami síťového rámce

sysadmin@DD6900-2# sysadmin@DD6900-2# net show config
ethMa     Link encap:Ethernet  HWaddr 34:80:0D:05:A7:6C
          inet addr:10.60.36.127  Bcast:10.60.36.255  Mask:255.255.255.0
          UP BROADCAST RUNNING MULTICAST  MTU:1000  Metric:1
          RX packets:183498916 errors:0 dropped:10508 overruns:0 frame:0 <========
          TX packets:68813481 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:144299913892 (134.3 GiB)  TX bytes:7890283345 (7.3 GiB)
          Interrupt:152 Memory:a2060000-a207ffff

Dále zkontrolujte konfiguraci čištění v systému Data Domain. 

Standardní konfigurace je 50% omezení naplánované na úterý. 

Pokud je omezení nastaveno na více než 50 % navíc k plánovanému několikrát týdně, může to mít vliv na výkon. 

Můžete také dočasně nastavit omezení výkonu na méně než 50 %, aby se uvolnily další prostředky, ale není zaručeno, že se zlepší obnovení.  

Níže je uveden příklad příkazu a čisté konfigurace v datové doméně 6900. 

sysadmin@dd6900# filesys clean show config
        50 Percent Throttle
Filesystem cleaning is scheduled to run "Tue" at "0600".

Pokud pro obnovení CIFS používáte zálohovací aplikaci, zkontrolujte následující: 

Výkon je omezen na jeden logický datový proud na soubor při obnovení jednoho souboru přes CIFS/SMB. Chcete-li se vyhnout dalším úzkým místům způsobeným zálohovací aplikací, zkontrolujte následující:

• Ujistěte se, že současně neběží žádné úplné zálohy, syntetické zálohy nebo velká obnovení více datových proudů.
• Zkontrolujte úlohy deduplikace nebo komprese, které spotřebovávají prostředky procesoru a I/O na zálohovacím serveru. Potvrďte prioritu úlohy obnovení.
• Ujistěte se, že úloha obnovení s jedním souborem není spuštěná s nízkou prioritou nebo v omezené skupině prostředků.
• Pokud aplikace podporuje stanovení priorit úloh, dočasně zvyšte prioritu úlohy obnovení. Kontrola kolizí zdrojů
• Ověřte, zda má záložní server k dispozici dostatečný procesor, paměť a I/O disku.
• Hledejte zpoždění ve frontě nebo čekající úlohy v zálohovací aplikaci, které by mohly zpomalit obnovení. Zakažte vložené zpracování během obnovení.
• Pokud je to možné, vypněte pro úlohu obnovení vloženou deduplikaci, kompresi nebo šifrování.
• Tyto funkce zvyšují režii a mohou zpomalit přenosy CIFS s jedním datovým proudem. Kontrola nastavení sítě v zálohovací aplikaci
• Ověřte, že aplikace nevynucuje omezení šířky pásma nebo omezení rychlosti pro úlohy obnovení.
• Zkontrolujte, zda je pro obnovení CIFS zakázáno multiplexování na straně klienta (některé aplikace umožňují více datových proudů pro obnovení více souborů, ale ne pro obnovení jednoho souboru). Zkontrolujte, zda v protokolování nejsou chyby nebo opakované pokusy.
• Hledání opakovaných pokusů o vstupně-výstupní operace, chyb vypršení časového limitu nebo konfliktů oplock v protokolech záložní aplikace
• Nadměrné opakování značí problémy se sítí nebo serverem CIFS, které vyžadují odstranění problémů. Pozastavení nepodstatných úkolů údržby
• Zastavte indexování, aktualizace katalogu nebo úlohy ověřování během okna obnovení.
• Tyto úlohy mohou soutěžit o diskové a síťové prostředky.

Pokud jste důkladně zkontrolovali stav přepínačů, směrovačů, zálohovací aplikace, brány firewall, šířky pásma, sítě, hostitelského počítače, zálohovací aplikace a stále chcete systém Data Domain, otevřete případ a zadejte níže uvedené informace. 

• Jaká je zálohovací aplikace a verze? 
• Jaké jsou doby obnovení? 
• Jaká je velikost souboru? 
• Co je klientský operační systém?
• Jaký je název hostitele pomalého klienta?
• Jaká je IP adresa pomalého klienta?
• Jaká je IP adresa systému dd, který se používá pro obnovení? 
• Jaký je název souboru úlohy obnovení? 
• Došlo v poslední době k nějakým změnám v prostředí? 
• Který fond MTree se používá k zálohování? 
• Cestují data provozu obnovení přes síť WAN nebo síť LAN? 
  • Pokud se jedná o síť WAN, jaká je vzdálenost a umístění klienta a datové domény? 
• Přenáší se zálohovací provoz přes VPN? 
• Máte v síti nějaké IDS, IPS nebo IDPS?
• Používáte QoS?
• Jaká je velikost MTU sítě?
• Jsou data obnovení zálohovací aplikace předkomprimována? 
• Jsou data zálohovací aplikace při obnovení šifrována? 
• Jsou data obnovení zálohovací aplikace deduplikována?
• Je systém Data Domain DDVE v cloudu? Amazon, Google, Azure, Alibaba? 
• Je klient také v cloudu?      
• Jaký typ úlohy obnovení ze zálohovací aplikace je pomalý? 

Nahrajte balíček PLNÉ verze podpory z datových domén, kde dochází k problému.