Avamar: Trage Avamar NDMP back-upprestaties en laag CPU-gebruik door avtar als gevolg van TCP-vensteraanpassing

Avamar back-ups van een NAS-apparaat via NDMP werken trager dan verwacht.

De VNX/Celerra netwerkinterfaces zijn ingesteld op 10 Gb/sec.
De netwerkinterface van het Avamar NDMP Accelerator knooppunt is ingesteld op 1 Gb/sec.

In de back-uplogboeken wordt aangegeven dat het CPU-gebruik van het NDMP Accelerator-knooppunt laag is tijdens de back-up.  

avtar info <8688>: Status 2014-10-20 07:09:19, 83.476 bestanden, 9244 mappen, 72,26 GB (83.476 bestanden, 7,312 MB, 44,34% nieuw) 592 MB 7% CPU
avtar Info <8688>: Status 2014-10-20 07:24:19, 126,201 bestanden, 13.423 mappen, 80,16 GB (126.201 bestanden, 10,14 MB, 44,95% nieuw) 592 MB 10% CPU
avtar Info <8688>: Status 2014-10-20 07:54:20, 187.013 bestanden, 19.327 mappen, 94,54 GB (187.013 bestanden, 14,23 MB, 45,52% nieuw) 600 MB 8% CPU

Het NDMP-protocol stuurt alleen gewijzigde bestanden naar de NDMP-accelerator. We hebben veel werk verzetten om de gewijzigde bestanden te verzonken.
Als het CPU-gebruik laag is, betekent dit dat data die langzamer dan optimaal naar de NDMP-accelerator worden verzonden, worden verzonden.

Als een netwerktracering wordt uitgevoerd tussen de twee apparaten, ziet u dat er veel TCP-re-transmissions plaatsvinden.

De ene kant probeert de andere te forceren tot een onjuiste snelheid.
Onderdeel van de normale TCP/IP-onderhandeling tussen twee apparaten om een algemeen aanvaardbare ontvangstsnelheid voor transmissie te vinden. Soms probeert de ene kant of de andere kant de verbindingssnelheid te optimaliseren, maar doet dit niet goed.

Als de switch op 10 Gb/sec draait en de server slechts 1 Gb/sec, kan de switch in een status komen waarin hij steeds probeert de NIC van de server te dwingen te communiceren op 10 Gb/sec.
De resulterende heronderhandelingsverzoeken kunnen leiden tot trage prestaties.
 
Het is gebruikelijk dat VNX/Data Domain wordt geconfigureerd voor gebruik van NIC's van 10 Gb/sec.
Het is ook gebruikelijk dat de Avamar NDMP Accelerator wordt geconfigureerd voor gebruik van NIC's van 1 Gb/sec.

Dit is ingewikkelder om te zien en wordt al dan niet weergegeven als opnieuw verzenden van data.
Het wordt meestal alleen weergegeven als trage prestaties.

In het gedeelte Oplossing van dit artikel laten we zien hoe u TCP-vensteraanpassing uitschakelt, zodat externe pogingen om de interfacesnelheid te verhogen worden genegeerd.

U kunt proberen het TCP-schuifvenster uit te schakelen en te testen voordat u het permanent maakt.
   
De automatisch onderhandelde snelheid kan lager zijn dan de maximaal mogelijke snelheid.
Andere situaties die kunnen optreden, zijn één kant, bijvoorbeeld de Avamar NDMP accelerator NIC die een snelheid van 1 Gb/sec aangeeft, maar de switch die is aangesloten op 10 Mb/sec, waardoor de prestaties worden beperkt met een factor 10.

Hieronder vindt u een voorbeeld van dit probleem:

Voer als hoofdgebruiker het volgende uit:

#  ethtool eth0
Settings for eth0:
        Supported ports: [ TP ]
        Supported link modes:   10baseT/Half 10baseT/Full
                                100baseT/Half 100baseT/Full
                                1000baseT/Full
        Supports auto-negotiation: Yes
        Advertised link modes:  10baseT/Half 10baseT/Full
                                100baseT/Half 100baseT/Full
                                1000baseT/Full
        Advertised auto-negotiation: Yes
        Speed: 100Mb/s
        Duplex: Full
        Port: Twisted Pair
        PHYAD: 1
        Transceiver: internal
        Auto-negotiation: on
        Supports Wake-on: g
        Wake-on: d
        Link detected: yes

Hier zien we 1000BaseT/Full ondersteund en geadverteerd, maar de snelheid is slechts 100 Mb/s.

Om een onbekende reden tijdens de onderhandelingspoging hebben ze zich gebaseerd op minder dan de server kon verwerken.  
Als u de server opnieuw opstart, wordt dit meestal gereset.

# ethtool eth0
Settings for eth0:
        Supported ports: [ TP ]
        Supported link modes:   10baseT/Half 10baseT/Full
                                100baseT/Half 100baseT/Full
                                1000baseT/Full
        Supports auto-negotiation: Yes
        Advertised link modes:  10baseT/Half 10baseT/Full
                                100baseT/Half 100baseT/Full
                                1000baseT/Full
        Advertised auto-negotiation: Yes
        Speed: 1000Mb/s
        Duplex: Full
        Port: Twisted Pair
        PHYAD: 1
        Transceiver: internal
        Auto-negotiation: on
        Supports Wake-on: g
        Wake-on: d
        Link detected: yes

Zo niet, dan kunnen er netwerkproblemen zijn die de snelheid beperken of een probleem met de switch.

Laat het netwerkteam van de klant de situatie controleren.

Als ethtool een tragere snelheid weergeeft dan de maximale snelheid die de NIC kan uitvoeren, start u opnieuw op.
Als dit niet het geval is en de switch 10 Gb is en de server 1 GB is, schakelt u Windows Scaling uit zoals hieronder aangegeven.

Windows Scaling uitschakelen:

Op deze manier wordt TCP Flow Control geactiveerd voordat het netwerk oververzadigd kan raken.

Om dit te doen,1

) voert u de volgende opdracht uit

echo 0 > /proc/sys/net/ipv4/tcp_window_scaling

2) Voeg de volgende tekst toe aan /etc/sysctl.conf

net.ipv4.tcp_window_scaling = 0

3) Start een nieuwe NDMP-back-up