Data Domain: Risoluzione dei problemi di rallentamento delle prestazioni di ripristino CIFS a file singolo
Summary: Questo articolo fornisce informazioni sulla risoluzione dei problemi di ripristino CIFS (Common Internet File System).
Instructions
Questa è l'informazione più importante da riconoscere, con e senza un'applicazione di backup un singolo restore CIFS di file utilizza un solo flusso.
Data Domain esegue questa operazione come semplice lettura di file sequenziale dettata dal protocollo di trasferimento file del sistema operativo (CIFS/Server Message Block (SMB)).
Poiché i dati vengono letti da un singolo percorso di condivisione di rete montato utilizzando un protocollo standard, funzionano come un'unica connessione logica o flusso.
CIFS SMB utilizza un singolo flusso per il ripristino a file singolo perché il protocollo applica le scritture ordinate tramite un handle di file per mantenere l'integrità e la coerenza dei dati.
Questa singola operazione di restore del flusso per file non è una limitazione di progettazione di Data Domain, ma è esclusiva del processo CIFS stesso.
Se si utilizza un'applicazione di backup e si desidera verificare con il fornitore, aprire un caso con il fornitore e verificare l'utilizzo del flusso e altre configurazioni.
Inoltre, oltre al funzionamento del processo CIFS, altri componenti coinvolti nel processo di ripristino sono i seguenti:
- Configurazione della scheda di interfaccia di rete (NIC) lato
client (velocità, duplex, offload)
Impostazioni
MTU Utilizzo della CPU o della memoria - Switch dei percorsi
di rete (velocità delle porte, duplex, utilizzo del buffer, policy QoS)
Router (policy di routing, MTU, ACL)
Firewall (ispezione dei pacchetti, limitazione della velocità, filtraggio specifico per SMB)
Bilanciamento del carico (se presenti)
Configurazione VLAN (etichettatura, coerenza MTU)
SFP/Ricetrasmettitori (verifica la presenza di errori, velocità non corrispondenti)
Cavi (cavi danneggiati o di bassa qualità che causano errori CRC)
Congestione della rete (monitoraggio dell'utilizzo elevato o della perdita di pacchetti) - Impostazioni MTU lato
storage sulle interfacce di storage: le MTU devono essere coerenti end-to-end (client , switch → → router → firewall → storage). Una mancata corrispondenza ovunque può causare frammentazione o pacchetti ignorati, con conseguente interruzione delle prestazioni CIFS.
Configurazione
NIC bonding/LACP Caricamento della CPU o della
memoria del controller di storage Prestazioni back-end del disco (cache in scrittura, tiering, latenza) - Dispositivi intermedi Sistemi IDS/IPS/Cloud Strike
antivirus (l'ispezione approfondita dei pacchetti può limitare SMB)
Ottimizzatori WAN (in caso di ripristino remoto)
Tunnel VPN (overhead di crittografia, mancata corrispondenza MTU) - Livello
fisico Integrità
dei pannelli patch e dei cablaggi Pulizia delle fibre e corretto inserimento per SFP - Altri fattori Coerenza
dei frame Jumbo (MTU su tutti gli hop)
Errori di rete (CRC, interruzioni, ritrasmissioni)
Policy QoS o di traffic shaping che riducono la priorità del traffico SMB - Test di coerenza MTU: verifica la MTU end-to-end utilizzando il comando ping con -f e le dimensioni appropriate del pacchetto.
Throughput Test iperf: misura la larghezza di banda della rete raw tra client e Data Domain.
NIC Speed or Duplex Settings: verificare che entrambe le estremità siano alla velocità corretta (1/10/25/40 GbE) e full duplex.
Configurazione switch di rete: controllare la velocità delle porte, l'utilizzo del buffer e le policy QoS.
Ispezione router/firewall: assicurarsi che nessuna ispezione dei pacchetti o limitazione della velocità limiti il traffico SMB.
Cable and SFP Health: verifica la presenza di errori CRC, cavi danneggiati o ricetrasmettitori non corrispondenti.
Backup Application Load: verifica che non vi siano job pesanti (backup completi, attività di deduplica) in esecuzione contemporaneamente.
Backup Job Priority: assicurarsi che il processo di restore non sia limitato o in esecuzione con priorità bassa.
Overhead di elaborazione in linea: disabilitare la compressione, la crittografia o la deduplica durante il ripristino, se possibile
Carico del controller di storage: controlla l'utilizzo della CPU o della memoria DD e la latenza back-end del disco.
Policy QoS o Traffic Shaping: verificare che il traffico SMB sulla rete non sia deprioritario.
È possibile eseguire un'ulteriore operazione di risoluzione dei problemi per verificare lo stato del ripristino CIFS.
Se abilitata, è consigliabile disabilitare la firma del server, in quanto crea un notevole sovraccarico che potrebbe ridurre il throughput.
Tuttavia, mentre il throughput potrebbe essere superiore dopo la disabilitazione, i flussi per i ripristini potrebbero comunque essere solo uno per impostazione predefinita.
Data Domain - Le prestazioni di backup CIFS di Windows possono diminuire quando è abilitata la firma SMB
Verificare se il ripristino si connette a un indirizzo IP che si trova nella stessa subnet di Data Domain.
In caso di dubbi, verificare se Data Domain dispone di gateway per le subnet di ciascuno dei relativi indirizzi IP.
Accedere alla CLI ed eseguire il comando per visualizzare gli indirizzi IP di Data Domain.
net show setQuindi controllare i gateway.
net route show gateways detailed Si consiglia di aggiungere gateway per tutte le subnet.
net route add gateway x.x.x.x - Verificare che la MTU (Maximum Transmission Unit) sia coerente con il client che esegue il ripristino.
- Se il test MTU non riesce a 1472, provare con un MTU inferiore, ad esempio 1372.
WINDOWS:
If MTU is standard 1500
C:> ping xx.xx.xx.xx -f -l 1472
OR
If you are using Jumbo
C:> ping xx.xx.xx.xx -f -l 8972 From DD side,
# net ping <IP address> count 2 packet-size 1472 path-mtu do
If you know the interface on the data domain that communicates with the restore you can specify it in the command.
# net ping <IP address> count 2 packet-size 1472 path-mtu do interface ethXx (MTU size of 1500)
# net ping <IP address> count 2 packet-size 8972 path-mtu do interface ethXx (MTU size of 9000) - Il controllo della MTU sul client garantisce che l'interfaccia di rete corrisponda alle impostazioni dello storage e del percorso di rete, evitando problemi di frammentazione dei pacchetti e prestazioni di ripristino.
- MTU è la dimensione massima del pacchetto che può essere trasmessa su una rete senza frammentazione.
Se non si è sicuri della dimensione MTU sul client Windows, è possibile eseguire il comando.
netsh interface ipv4 show subinterfacesO con PowerShell
Get-NetIPInterface | Select-ObjectSe si verifica un problema con la MTU, contattare il team di rete per ulteriori informazioni di risoluzione in quanto il problema non è dal lato Data Domain ma all'interno della rete su switch, router e firewall.
Inoltre, oltre al ping, sono importanti i millisecondi e il tempo di andata e ritorno. Se un ping restituisce millisecondi elevati, si presume che il dispositivo non si trovi su una LAN ma su una WAN.
Se si è su una WAN, maggiore è la distanza, maggiore è l'impatto del throughput Non c'è nulla che il supporto possa fare se il problema è la distanza, è meglio parlare con il proprio provider di servizi Internet.
Se la MTU è coerente e i ping non comportano alcuna perdita di pacchetti, controllare la larghezza di banda nella direzione di Data Domain verso il client.
È possibile confrontare entrambe le direzioni da Data Domain al client e da client a Data Domain per assicurarsi che siano uguali.
Iperf misura la larghezza di banda rimanente, quindi se si dispone di un backup in esecuzione, misura la larghezza di banda rimanente.
Se si desidera misurare l'intera larghezza di banda, è consigliabile arrestare tutti i processi.
Data Domain: Risoluzione dei problemi relativi alle prestazioni di rete tramite iperf
Se la MTU è coerente e anche la larghezza di banda viene misurata per essere accurata, è possibile eseguire un test di trascinamento di Esplora risorse.
Esempi: andare nella cartella di Esplora risorse in cui si trova il file e trascinarlo nell'unità di condivisione CIFS su Data Domain.
Se il drag-and-drop è più veloce dell'applicazione di backup, è possibile che si sia verificato un problema con l'applicazione di backup.
Di seguito sono riportati i comandi che visualizzano le statistiche per CPU, rete e disco.
Comandi CIFS:
system show stats view cifs interval 2sysadmin@DD6900-2# system show stats view cifs interval 2
INTERVAL: 2 secs
"-" indicates that system is busy and unable to get recent data.
---------------------------------------------------------------------------------------------------------------------------------------------------------------------
CPU |State |CIFS |Protocol Aggr |Net |Disk |NVRAM
aggr aggr| | | | aggr aggr| | aggr aggr
busy max| |ops/s in out read write create getattr setattr readdir| ops/s data in data out| in out| read write busy| read write
% %|CDPVMSFIRL| MB/s MB/s ops/s ops/s ops/s ops/s ops/s ops/s| MB/s MB/s| MB/s MB/s| KiB/s KiB/s %| KiB/s KiB/s
---- ---- ---------- ----- ------- ------- ----- ----- ------ ------- ------- ------- ------------- ------- -------- ----- ----- ------- ------- ---- ------- -------
2 8 I 0 0 0 0 0 0 0 0 0 5 0.09 0.01 0.10 0.02 1649 1070 0 - -
6 7 I 0 0 0 0 0 0 0 0 0 0 0 0 0.09 0.02 1084 962 0 - -
7 7 I 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1090 4385 0 0 5
6 7 I 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1087 312 0 0 39
7 7 I 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1077 1097 0 0 27
7 7 I 0 0 0 0 0 0 0 0 0 3 0 0 0 0 1043 3285 0 0 4
6 7 I 0 0 0 0 0 0 0 0 0 8 0 0 0 0 1043 1845 0 0 15Di seguito è riportato un esempio di output del comando per verificare la presenza di errori di frame sulle interfacce Data Domain.
Se il contatore dei frame è elevato, significa che un cavo SFP, Ethernet o ottico è difettoso sul lato Data Domain o sullo switch.
Contattare il team di rete per sostituire il cavo e/o l'SFP.
Data Domain - Risoluzione degli errori del frame di rete
sysadmin@DD6900-2# sysadmin@DD6900-2# net show config
ethMa Link encap:Ethernet HWaddr 34:80:0D:05:A7:6C
inet addr:10.60.36.127 Bcast:10.60.36.255 Mask:255.255.255.0
UP BROADCAST RUNNING MULTICAST MTU:1000 Metric:1
RX packets:183498916 errors:0 dropped:10508 overruns:0 frame:0 <========
TX packets:68813481 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:144299913892 (134.3 GiB) TX bytes:7890283345 (7.3 GiB)
Interrupt:152 Memory:a2060000-a207ffffControllare quindi la configurazione di pulizia su Data Domain.
La configurazione standard prevede una limitazione del 50% pianificata il martedì.
Se la limitazione è impostata su un valore superiore al 50% oltre a quella pianificata più volte a settimana, può influire sulle prestazioni.
È inoltre possibile impostare temporaneamente la limitazione su un valore inferiore al 50% in modo da liberare risorse aggiuntive, ma non è garantito un miglioramento del ripristino.
Di seguito è riportato un esempio di configurazione di comando e pulizia sul Data Domain 6900.
sysadmin@dd6900# filesys clean show config
50 Percent Throttle
Filesystem cleaning is scheduled to run "Tue" at "0600".Se si utilizza un'applicazione di backup per i ripristini CIFS, controllare quanto segue:
Le prestazioni sono limitate a un flusso logico per file quando si ripristina un singolo file su CIFS/SMB. Per evitare ulteriori colli di bottiglia causati dall'applicazione di backup, controllare quanto segue:
- Assicurarsi che non siano in esecuzione contemporaneamente backup completi, backup sintetici o restore multi-stream di grandi dimensioni.
- Verificare la presenza di processi di deduplica o compressione che utilizzano risorse di CPU e I/O sul backup server. Confermare la priorità del processo di ripristino.
- Assicurarsi che il processo di restore a file singolo non sia in esecuzione con priorità bassa o in un gruppo di risorse limitato.
- Se l'applicazione supporta la prioritizzazione dei job, incrementare temporaneamente la priorità dei job di restore. Verifica della presenza di conflitti di risorse
- Verificare che il backup server disponga di CPU, memoria e I/O del disco sufficienti.
- Cercare ritardi nelle code o attività in sospeso nell'applicazione di backup che potrebbero rallentare il ripristino. Disabilitare l'elaborazione in linea durante il ripristino.
- Disattivare la deduplica, la compressione o la crittografia in linea per il processo di restore, se possibile.
- Queste funzionalità aggiungono overhead e possono rallentare i trasferimenti CIFS a flusso singolo. Esame delle impostazioni di rete nell'applicazione di backup
- Verificare che l'applicazione non applichi la limitazione della larghezza di banda o i limiti di velocità per i processi di ripristino.
- Verificare che il multiplexing lato client sia disabilitato per i restore CIFS (alcune app consentono più flussi per i restore multifile, ma non per i single-file). Controllare la registrazione per verificare la presenza di errori o tentativi.
- Cercare tentativi di I/O, errori di timeout o conflitti di oplock nei registri delle applicazioni di backup
- Un numero eccessivo di tentativi indica problemi di rete o del server CIFS che richiedono la risoluzione dei problemi. Sospensione delle attività di manutenzione non essenziali
- Interrompere l'indicizzazione, gli aggiornamenti del catalogo o i processi di verifica durante la finestra di ripristino.
- Queste attività possono competere per le risorse di disco e rete.
Se l'integrità di switch, router, applicazioni di backup, firewall, larghezza di banda, rete, computer host e applicazioni di backup è stata effettuata una verifica approfondita e si desidera ancora Data Domain, aprire una richiesta di assistenza e fornire le informazioni riportate di seguito.
- Quali sono l'applicazione e la versione di backup?
- Quali sono i tempi di ripristino?
- Qual è la dimensione del file?
- Qual è il sistema operativo client?
- Qual è il nome host del client lento?
- Qual è l'indirizzo IP del client lento?
- Qual è l'indirizzo IP sul dd in uso per il ripristino?
- Qual è il nome file del processo di restore?
- Ci sono stati cambiamenti recenti nell'ambiente?
- Qual è l MTree utilizzato per i backup?
- I dati del traffico di restore viaggiano su una WAN o LAN?
- Se si trova su una WAN, quali sono la distanza e le posizioni del client e di Data Domain?
- Il traffico di backup viaggia su una VPN?
- Disponi di IDS, IPS o IDPS sulla tua rete?
- Stai usando QoS?
- Qual è la dimensione MTU della rete?
- I dati di ripristino dell'applicazione di backup sono precompressi?
- I dati di ripristino dell'applicazione di backup sono crittografati?
- I dati di ripristino dell'applicazione di backup vengono deduplicati?
- Data Domain è un DDVE nel cloud? Amazon, Google, Azure, Alibaba?
- Anche il client è nel cloud?
- Quale tipo di processo di ripristino dall'applicazione di backup è lento?
Caricare un pacchetto di supporto COMPLETO dai sistemi Data Domain che riscontrano il problema.