VxRail: MTU 확인(큰 패킷 크기로 ping)

클러스터에서 -> 모니터 -> vSAN

MTU 확인(대용량 패킷 핑) 경고는 스위치와 vSphere 환경 간의 일치하지 않는 MTU에서 발생할 수 있습니다.
vmknic의 MTU가 9000이고 물리적 스위치가 1500의 MTU를 적용하는 경우 오류가 발생할 수 있습니다. 이는 소스가 패킷을 프래그먼트화하지 않고 물리적 스위치가 패킷을 삭제하기 때문입니다.

결함이 있는 네트워크 하드웨어(노드 sfp, 네트워크 카드, 케이블, 스위치 포트/sfp)도 MTU 검사(대용량 패킷 핑) 경고를 트리거하는 것으로 알려져 있습니다.

문제 해결 단계:

1. ToR 스위치와 모든 vSphere 구성 요소의 MTU 크기를 확인합니다. DVS, vmks, vmnics입니다.
   MTU 크기에 문제가 없는 경우 2단계로 이동합니다.

2. 스위치 포트, ESXi 또는 두 호스트 모두에서 crc 오류를 확인합니다.
   이 상태 점검 테스트에 대한 자세한 내용은 https://kb.vmware.com/kb/2108285 참조하십시오.

MTU 설정을 확인합니다.
스위치 공급업체 설명서에 따라 ToR 스위치 MTU 설정을 확인합니다.

vSphere MTU 설정 확인:
MTU 경고 메시지에서 참조하는 노드/포트 그룹에 대한 MTU 설정을 확인합니다.

[vxrail@vxnode03:~] esxcfg-vmknic -l | grep vmk2
vmk2       16384                                   IPv4      192.168.121.3                           255.255.255.0   192.168.121.255 00:50:56:6f:e3:c9 1500    65535     true    STATIC
defaultTcpipStack
vmk2       16384                                   IPv6      fe80::250:56ff:fe6f:e3c9                64                              00:50:56:6f:e3:c9 1500    65535     true    STATIC, PREFERRED
defaultTcpipStack

DVS에 대한 MTU 설정을 확인합니다.

[vxrail@vxnode03:~] esxcfg-vswitch -l
DVS Name         Num Ports   Used Ports  Configured Ports  MTU     Uplinks
VMware HCIA Distributed Switch  4352        9           512               1500    vmnic1,vmnic0

  DVPort ID           In Use      Client
  0                   1           vmnic0
  1                   1           vmnic1
  2                   0
  3                   0
  4101                1           vmk1
  8205                1           vmk0
  16400               1           vmk2
  8208                1           vmk3

vmnic에서 MTU를 확인합니다.

[vxrail@vxnode03:~] esxcfg-nics -l
Name    PCI          Driver      Link Speed     Duplex MAC Address       MTU    Description
vmnic0  0000:01:00.0 ixgbe       Up   10000Mbps Full   2c:60:0c:af:ee:de 1500   Intel Corporation Ethernet Controller X540-AT2
vmnic1  0000:01:00.1 ixgbe       Up   10000Mbps Full   2c:60:0c:af:ee:df 1500   Intel Corporation Ethernet Controller X540-AT2

crc 오류를 확인합니다.
MTU 구성이 정상인 경우 crc 오류를 확인합니다.
스위치에서 crc 오류를 확인하려면 스위치 공급업체 설명서에서 해당 명령을 참조하십시오.
Brocade의 예:

sw0# show int stats detail int Ten 2/0/34
Interface TenGigabitEthernet 2/0/34 statistics (ifindex 8993701921)
                                   RX                              TX
             Packets      7165702349                      4603884761
               Bytes   8633656075975                   2910244530614
            Unicasts      7154910149                      4565459180
          Multicasts        10782937                        24109494
          Broadcasts            9263                        14316087
              Errors               0                               0
            Discards             691                             643
            Overruns               0       Underruns               0
               Runts               0
             Jabbers               0
                 CRC               0
        64-byte pkts               0
   Over 64-byte pkts       932783488
  Over 127-byte pkts       587058087
  Over 255-byte pkts        19035776
  Over 511-byte pkts        93628206
 Over 1023-byte pkts       631386310
 Over 1518-byte pkts      4901810482
           Mbits/Sec        0.000000                        0.000456
          Packet/Sec               0                               0
           Line-rate           0.00%                           0.00%

ESX 호스트에서 crc 오류를 확인합니다.

[vxrail@vxnode03:~] esxcli network nic stats get -n vmnic1
NIC statistics for vmnic1
   Packets received: 135817879
   Packets sent: 82253912
   Bytes received: 156239259329
   Bytes sent: 53856798358
   Receive packets dropped: 0
   Transmit packets dropped: 0
   Multicast packets received: 637031
   Broadcast packets received: 0
   Multicast packets sent: 0
   Broadcast packets sent: 0
   Total receive errors: 32614
   Receive length errors: 1866
   Receive over errors: 0
   Receive CRC errors: 32596
   Receive frame errors: 0
   Receive FIFO errors: 0
   Receive missed errors: 0
   Total transmit errors: 0
   Transmit aborted errors: 0
   Transmit carrier errors: 0
   Transmit FIFO errors: 0
   Transmit heartbeat errors: 0
   Transmit window errors: 0

crc 오류가 발견되면 몇 초마다 명령을 새로 고침(다시 실행)하여 crc 오류가 증가하는지 확인합니다.
그렇다면 네트워크 하드웨어(노드 sfp, 네트워크 케이블, 스위치 sfp/포트 등) 문제 해결로 이동하여 문제를 특정 구성 요소로 격리하고 결함이 있는 구성 요소를 교체합니다.
결함이 있는 구성 요소를 교체한 후에는 몇 초마다 위의 명령을 실행하여 crc 오류가 더 이상 증가하지 않는지 확인합니다.
ESX의 crc 오류 카운터는 재부팅을 통해 지워지므로 기존 오류가 여전히 존재할 수 있지만 중요한 것은 오류가 증가하지 않는다는 것입니다.

문제가 해결되면 vsan 상태 점검 테스트를 다시 실행하여 MTU 확인(대용량 패킷 핑) 경고가 더 이상 나타나지 않는지 확인합니다.