Avamar:由于 TCP 窗口扩展,Avamar NDMP 备份性能缓慢,并且 avtar 的 CPU 使用率较低

Summary: TCP 窗口扩展

This article applies to This article does not apply to This article is not tied to any specific product. Not all product versions are identified in this article.

Symptoms

通过 NDMP 对 NAS 设备的 Avamar 备份运行速度低于预期。

VNX/Celerra 网络接口设置为 10 Gb/秒。
Avamar NDMP 加速器节点网络接口设置为 1 Gb/秒。

备份日志显示备份期间 NDMP 加速器节点 CPU 使用率较低。

avtar 信息 <8688>:状态 2014-10-20 07:09:19,83,476 文件,9,244 个目录,72.26 GB(83,476 个文件,7.312 MB,44.34% 新增) 592 MB 7% CPU
avtar Info <8688>:状态 2014-10-20 07:24:19, 126,201 个文件,13,423 个目录,80.16 GB(126,201 个文件,10.14 MB,44.95% 新增) 592 MB 10% CPU
avtar 信息 <8688>:状态 2014-10-20 07:54:20,187,013 个文件,19,327 个目录,94.54 GB(187,013 个文件,14.23 MB,新 45.52%) 600 MB 8% CPU


NDMP 协议仅将更改的文件发送到 NDMP 加速器。我们执行大量工作来重新创建修改后的文件。
如果 CPU 使用率较低,则表示发送到 NDMP 加速器的数据比最佳数据慢。

如果在两个设备之间执行网络跟踪,则可以看到正在进行许多 TCP 重新传输。

Cause


一端尝试将另一端强制使用不适当的速度。
两个设备之间的正常 TCP/IP 协商的一部分,用于查找通常可接受的传输接收速度。有时,一端或另一端会尝试优化连接速度,但不恰当地这样做。

如果交换机以 10 Gb/秒的速度运行,而服务器仅以 1 Gb/秒的速度运行,则交换机可以进入一种状态,即它不断尝试强制服务器 NIC 以 10 Gb/秒的速度进行通信。
由此产生的重新协商请求可能会导致性能缓慢。

VNX/Data Domain 通常配置为使用 10 Gb/s NIC。
Avamar NDMP 加速器配置为使用 1 Gb/秒 NIC 也很常见。

这更加复杂,可能会显示为数据的重新传输,也可能不显示为数据。
通常只会显示为性能缓慢。

在本文的“解决方案”部分,我们将展示如何关闭 TCP 窗口缩放,以便忽略远程提高接口速度的尝试。

您可以尝试关闭 TCP 滑动窗口并进行测试,然后再将其永久化。
   
自动协商速度可能低于可能的最大速度。
其他可能发生的情况包括一端,例如 Avamar NDMP 加速器 NIC 通告 1 Gb/秒的速度,但以 10 Mb/秒的速度连接的交换机将性能限制为 10 倍。

下面是此问题的示例:

作为 root 用户,运行:
#  ethtool eth0
Settings for eth0:
        Supported ports: [ TP ]
        Supported link modes:   10baseT/Half 10baseT/Full
                                100baseT/Half 100baseT/Full
                                1000baseT/Full
        Supports auto-negotiation: Yes
        Advertised link modes:  10baseT/Half 10baseT/Full
                                100baseT/Half 100baseT/Full
                                1000baseT/Full
        Advertised auto-negotiation: Yes
        Speed: 100Mb/s
        Duplex: Full
        Port: Twisted Pair
        PHYAD: 1
        Transceiver: internal
        Auto-negotiation: on
        Supports Wake-on: g
        Wake-on: d
        Link detected: yes

在这里,我们看到 1000BaseT/Full 受支持并通告,但速度仅为 100 Mb/s。

由于协商尝试过程中的未知原因,它们的解决能力低于服务器的处理能力。  
重新启动服务器通常会重置此设置。
# ethtool eth0
Settings for eth0:
        Supported ports: [ TP ]
        Supported link modes:   10baseT/Half 10baseT/Full
                                100baseT/Half 100baseT/Full
                                1000baseT/Full
        Supports auto-negotiation: Yes
        Advertised link modes:  10baseT/Half 10baseT/Full
                                100baseT/Half 100baseT/Full
                                1000baseT/Full
        Advertised auto-negotiation: Yes
        Speed: 1000Mb/s
        Duplex: Full
        Port: Twisted Pair
        PHYAD: 1
        Transceiver: internal
        Auto-negotiation: on
        Supports Wake-on: g
        Wake-on: d
        Link detected: yes

否则,可能会出现限制交换机速度的网络问题或问题。

让客户网络团队审查情况。

Resolution

如果 ethtool 显示的速度低于 NIC 可以执行的最大速度,请重新启动。
如果情况并非如此,并且交换机为 10Gb 并且服务器为 1Gb,请根据下面的说明禁用窗口扩展。

要禁用窗口扩展:

通过这种方式,在网络过饱和之前激活 TCP 流控制。

要执行此操作,

1) 运行以下命令
echo 0 > /proc/sys/net/ipv4/tcp_window_scaling

2) 将以下文本添加到 /etc/sysctl.conf
net.ipv4.tcp_window_scaling = 0

3) 启动新的 NDMP 备份

Affected Products

Avamar

Products

Avamar, Avamar Plug-in for NDMP
Article Properties
Article Number: 000051503
Article Type: Solution
Last Modified: 10 Feb 2025
Version:  4
Find answers to your questions from other Dell users
Support Services
Check if your device is covered by Support Services.