Avamar: Rendimiento lento del respaldo NDMP de Avamar y bajo uso de CPU por parte de avtar debido al escalamiento de la ventana TCP

Los respaldos de Avamar de un dispositivo NAS mediante NDMP se ejecutan más lento de lo esperado.

Las interfaces de red de VNX/Celerra se configuran en 10 Gb/s.
La interfaz de red del nodo acelerador NDMP de Avamar está establecida en 1 Gb/s.

Los registros de respaldo muestran que el uso de CPU del nodo acelerador de NDMP es bajo durante el respaldo.  

Avtar Info <8688>: Estado 2014-10-20 07:09:19, 83 476 archivos, 9244 directorios, 72,26 GB (83,476 archivos, 7,312 MB, 44,34 % nuevo) 592 MB 7 % Avtar
Info <8688>: Estado 2014-10-20 07:24:19, 126,201 archivos, 13,423 directorios, 80,16 GB (126,201 archivos, 10,14 MB, 44,95 % nuevo) 592 MB 10 % AVTAR
Info <8688>: Estado 2014-10-20 07:54:20, 187,013 archivos, 19,327 directorios, 94,54 GB (187,013 archivos, 14,23 MB, 45,52 % nuevo) 600 MB 8 % CPU

El protocolo NDMP envía solo los archivos modificados al acelerador de NDMP. Tenemos una cantidad significativa de trabajo para volver a conectar los archivos modificados.
Si el uso de la CPU es bajo, esto indica que los datos que se envían al acelerador de NDMP más lentamente de lo óptimo.

Si se realiza un seguimiento de red entre los dos dispositivos, se observa que se están produciendo muchas re transmisiones de TCP.

Un lado intenta forzar al otro a una velocidad inapropiada.
Parte de la negociación TCP/IP normal entre dos dispositivos para encontrar una velocidad de recepción de transmisión comúnmente aceptable. Algunas veces un lado u otro intenta optimizar la velocidad de conexión, pero lo hace de manera inadecuada.

Si el switch se ejecuta a 10 Gb/s y el servidor solo tiene 1 Gb/s, el switch puede entrar en un estado en el que sigue intentando forzar la NIC del servidor para que se comunique a 10 Gb/s.
Las solicitudes de renegociación resultantes pueden causar un rendimiento lento.
 
Es común que VNX/Data Domain se configure para utilizar NIC de 10 Gb/s.
También es común que Avamar NDMP Accelerator esté configurado para utilizar NIC de 1 Gb/s.

Esto es más complicado de ver y puede aparecer o no como una nueva transmisión de datos.
Por lo general, solo se muestra como un rendimiento lento.

En la sección Resolución de este artículo, se muestra cómo desactivar el escalamiento de la ventana TCP para que se ignoren los intentos remotos de aumentar la velocidad de la interfaz.

Puede intentar apagar la ventana deslizante de TCP y probar antes de que sea permanente.
   
La velocidad negociada automáticamente puede ser menor que la velocidad máxima posible.
Otras situaciones que podrían ocurrir involucran a un lado, por ejemplo, la NIC del acelerador avamar NDMP que anuncia una velocidad de 1 Gb/s, pero el switch conectado a 10 Mb/s limita el rendimiento en un factor de 10.

A continuación, se muestra un ejemplo de este problema:

como usuario raíz, ejecute:

#  ethtool eth0
Settings for eth0:
        Supported ports: [ TP ]
        Supported link modes:   10baseT/Half 10baseT/Full
                                100baseT/Half 100baseT/Full
                                1000baseT/Full
        Supports auto-negotiation: Yes
        Advertised link modes:  10baseT/Half 10baseT/Full
                                100baseT/Half 100baseT/Full
                                1000baseT/Full
        Advertised auto-negotiation: Yes
        Speed: 100Mb/s
        Duplex: Full
        Port: Twisted Pair
        PHYAD: 1
        Transceiver: internal
        Auto-negotiation: on
        Supports Wake-on: g
        Wake-on: d
        Link detected: yes

Aquí vemos 1000BaseT/Full compatible y anunciado, pero la velocidad es de solo 100 Mb/s.

Por un motivo desconocido durante el intento de negociación, se establecieron en menos de lo que el servidor pudo manejar.  
Por lo general, reiniciar el servidor restablecerá esto.

# ethtool eth0
Settings for eth0:
        Supported ports: [ TP ]
        Supported link modes:   10baseT/Half 10baseT/Full
                                100baseT/Half 100baseT/Full
                                1000baseT/Full
        Supports auto-negotiation: Yes
        Advertised link modes:  10baseT/Half 10baseT/Full
                                100baseT/Half 100baseT/Full
                                1000baseT/Full
        Advertised auto-negotiation: Yes
        Speed: 1000Mb/s
        Duplex: Full
        Port: Twisted Pair
        PHYAD: 1
        Transceiver: internal
        Auto-negotiation: on
        Supports Wake-on: g
        Wake-on: d
        Link detected: yes

Si no es así, es posible que haya problemas de red que limiten la velocidad o un problema con el switch.

Haga que el equipo de red del cliente revise la situación.

Si ethtool muestra una velocidad más lenta que la velocidad máxima que la NIC puede realizar, reinicie.
Si este no es el caso y el switch es de 10 Gb y el servidor es de 1 Gb, deshabilite el escalamiento de ventana según se indica a continuación.

Para deshabilitar el escalamiento de ventana:

de esta manera, el control de flujo de TCP se activa antes de que la red se sobresatura.

Para hacerlo,

1) Ejecute el siguiente comando

echo 0 > /proc/sys/net/ipv4/tcp_window_scaling

2) Agregue el siguiente texto a /etc/sysctl.conf

net.ipv4.tcp_window_scaling = 0

3) Inicie un nuevo respaldo de tipo NDMP