Avamar: TCP 창 확장으로 인해 Avamar NDMP 백업 성능 저하 및 avtar별 CPU 사용 감소

NDMP를 통한 NAS 디바이스의 Avamar 백업이 예상보다 느리게 실행되고 있습니다.

VNX/Celerra 네트워크 인터페이스는 10Gb/sec로 설정됩니다.
Avamar NDMP Accelerator 노드 네트워크 인터페이스가 1Gb/sec로 설정됩니다.

백업 로그에 백업 중에 NDMP Accelerator 노드 CPU 사용률이 낮음이 표시됩니다.  

avtar Info <8688>: 상태 2014-10-20 07:09:19, 83,476 파일, 9,244 디렉토리, 72.26GB(83,476 파일, 7.312MB, 44.34% 신규) 592MB 7% CPU
avtar Info <8688>: 상태 2014-10-20 07:24:19, 126,201 파일, 13,423 디렉토리, 80.16GB(126,201 파일, 10.14MB, 44.95% 신규) 592MB 10% CPU
avtar Info <8688>: 상태 2014-10-20 07:54:20, 187,013 파일, 19,327 디렉토리, 94.54GB(187,013 파일, 14.23MB, 45.52% 신규) 600MB 8% CPU

NDMP 프로토콜은 변경된 파일만 NDMP 가속기로 전송합니다. 수정된 파일을 재설치하는 데 상당한 양의 작업이 있습니다.
CPU 사용량이 낮은 경우 이는 NDMP 가속기로 전송되는 데이터가 최적보다 더 느리게 전송되었음을 나타냅니다.

두 디바이스 간에 네트워크 추적이 수행되면 많은 TCP 재전송이 발생하는 것을 볼 수 있습니다.

한쪽은 다른 쪽을 부적절한 속도로 강제하려고 합니다.
일반적으로 허용되는 전송 수신 속도를 찾기 위해 두 디바이스 간의 일반적인 TCP/IP 협상의 일부입니다. 어느 한쪽 또는 다른 쪽은 연결 속도를 최적화하려고 시도하지만 부적절합니다.

스위치가 10Gb/sec에서 실행되고 서버가 1Gb/sec에 불과하면 스위치가 서버 NIC가 10Gb/sec에서 통신하도록 계속 시도하는 상태로 전환될 수 있습니다.
결과적 복제 요청으로 인해 성능이 저하될 수 있습니다.
 
VNX/Data Domain은 10Gb/sec NIC를 사용하도록 구성하는 것이 일반적입니다.
또한 Avamar NDMP Accelerator는 1Gb/sec NIC를 사용하도록 구성되는 것이 일반적입니다.

이는 보기가 더 복잡하며 데이터의 재전송으로 표시될 수도 있고 표시되지 않을 수도 있습니다.
일반적으로 성능 저하로만 표시됩니다.

이 문서의 해결 섹션에서는 인터페이스 속도를 높이기 위한 원격 시도가 무시되도록 TCP 창 확장을 끄는 방법을 보여 줍니다.

TCP 슬라이딩 창을 끄고 테스트를 거쳐 영구적으로 설정할 수 있습니다.
   
자동 협상 속도는 가능한 최대 속도보다 낮을 수 있습니다.
Avamar NDMP Accelerator NIC가 1Gb/sec 속도를 광고하지만 스위치가 10Mb/초로 연결되어 성능이 10분의 1로 제한되는 등 다른 상황이 발생할 수 있습니다.

다음은 이 문제의 예입니다.

루트 사용자로 다음을 실행합니다.

#  ethtool eth0
Settings for eth0:
        Supported ports: [ TP ]
        Supported link modes:   10baseT/Half 10baseT/Full
                                100baseT/Half 100baseT/Full
                                1000baseT/Full
        Supports auto-negotiation: Yes
        Advertised link modes:  10baseT/Half 10baseT/Full
                                100baseT/Half 100baseT/Full
                                1000baseT/Full
        Advertised auto-negotiation: Yes
        Speed: 100Mb/s
        Duplex: Full
        Port: Twisted Pair
        PHYAD: 1
        Transceiver: internal
        Auto-negotiation: on
        Supports Wake-on: g
        Wake-on: d
        Link detected: yes

여기에서는 1000BaseT/Full이 지원되고 광고되지만 속도는 100Mb/s에 불과합니다.

협상 시도 중에 알 수 없는 이유로, 서버가 처리할 수 있는 것보다 적은 수의 서버에 정착했습니다.  
서버를 재부팅하면 일반적으로 이 작업이 재설정됩니다.

# ethtool eth0
Settings for eth0:
        Supported ports: [ TP ]
        Supported link modes:   10baseT/Half 10baseT/Full
                                100baseT/Half 100baseT/Full
                                1000baseT/Full
        Supports auto-negotiation: Yes
        Advertised link modes:  10baseT/Half 10baseT/Full
                                100baseT/Half 100baseT/Full
                                1000baseT/Full
        Advertised auto-negotiation: Yes
        Speed: 1000Mb/s
        Duplex: Full
        Port: Twisted Pair
        PHYAD: 1
        Transceiver: internal
        Auto-negotiation: on
        Supports Wake-on: g
        Wake-on: d
        Link detected: yes

그렇지 않은 경우 속도 또는 스위치 문제를 제한하는 네트워크 문제가 있을 수 있습니다.

고객 네트워크 팀이 상황을 검토하게 합니다.

ethtool에 NIC가 수행할 수 있는 최대 속도보다 느린 속도가 표시되면 재부팅합니다.
그렇지 않고 스위치가 10Gb이고 서버가 1Gb인 경우 아래와 같이 창 확장을 비활성화합니다.

창 확장 비활성화:

네트워크가 포화 상태가 되기 전에 TCP 흐름 제어가 활성화되는 방식입니다.

이

작업을 수행하려면 1) 다음 명령을 실행합니다.

echo 0 > /proc/sys/net/ipv4/tcp_window_scaling

2) /etc/sysctl.conf에 다음 텍스트를 추가합니다.

net.ipv4.tcp_window_scaling = 0

3) 새 NDMP 백업 시작