Dell Technologies VxRail: NSX uç düğümü üzerinde yüksek CPU'lu sorun.

Summary: Dell Technologies VxRail: NSX uç düğümü üzerinde yüksek CPU'lu sorun. nsx edge düğümünde yüksek CPU kullanımına neden olan nedenin ne olduğunu bulmak gerekir.

This article applies to This article does not apply to This article is not tied to any specific product. Not all product versions are identified in this article.
Check out other resources

Symptoms

ESXi düğümünde, özellikle NSX uç düğümünde yüksek CPU sorunu vardır.
Bu Edge düğümünü önyüklerseniz ve eşit maliyetli çoklu yol (ECMP) kullanıyorsa CPU'da yüksek bir sorun, yüksek ağ trafiğiyle birlikte bir sonraki uç düğümde bulunur. Orijinal yeniden normale döndü.
Uç düğümün kendisinde normal yük var ve belirli bir ağ yakalaması bulunamadı.


Cause

Bu durum, yüksek CPU kullanımından ve ayrıca bazı uç vnic'ler aracılığıyla yüksek ağ trafiğine neden olabilir.

CPU kullanım karşılaştırması:

Bozuk kenar 
 xxx    27  454.64  471.21   43.19 2307.95    7.32   13.72  334.52    2.67    0.00    0.00    0.00
İyi kenar   
 xxx    27  240.09  225.96   20.80 2507.98    6.72    8.39  443.93    1.71    0.00    0.00    0.00


CPU çalışma% karşılaştırması:

Bozuk kenar 
  ID      GID NAME             NWLD   %USED    %RUN    %SYS   %WAIT %VMWAIT    %RDY   %IDLE  %OVRLP   %CSTP  %MLMTD  %SWPWT
16580792 16580792 xxx            27  454.64  471.21   43.19 2307.95    7.32   13.72  334.52    2.67    0.00    0.00    0.00
   
İyi kenar 
  ID      GID NAME             NWLD   %USED    %RUN    %SYS   %WAIT %VMWAIT    %RDY   %IDLE  %OVRLP   %CSTP  %MLMTD  %SWPWT
10908367 10908367 xxx            27  240.09  225.96   20.80 2507.98    6.72    8.39  443.93    1.71    0.00    0.00    0.00


RX ve TX için ağ bağlantı noktası karşılaştırması: 
PORT-ID USED-BY                         TEAM-PNIC DNAME              PKTTX/s  MbTX/s   PSZTX    PKTRX/s  MbRX/s   PSZRX %DRPTX %DRPRX
50331714 2666974:xxx.eth2               vmnic2 DvsPortset-1        519615.172729.88  688.00  128623.96  694.32  707.00   0.00   0.00
50331715 2666974:xxx.eth1               vmnic3 DvsPortset-1        76622.01  523.06  894.00  230747.221126.70  640.00   0.00   0.00
50331716 2666974:xxx.eth0               vmnic6 DvsPortset-1        51422.12  168.87  430.00  312557.221691.50  709.00   0.00   0.00
PORT-ID USED-BY                         TEAM-PNIC DNAME              PKTTX/s  MbTX/s   PSZTX    PKTRX/s  MbRX/s   PSZRX %DRPTX %DRPRX
50331744 1752165:xxx.eth2               vmnic3 DvsPortset-1        42856.22  238.49  729.00   50329.21  262.45  683.00   0.00   0.00
50331745 1752165:xxx.eth1               vmnic7 DvsPortset-1        22069.93   91.24  541.00   20044.33   96.35  630.00   0.00   0.00
50331746 1752165:xxx.eth0               vmnic2 DvsPortset-1        27771.00  169.72  801.00   23548.13  144.95  806.00   0.00   0.00

Saniye başına paket karşılaştırması:

Bozuk kenar 
    "rxqueue": { "count": 4, "details": [
    {"intridx": 0, "pps": 30175, "mbps": 203.9, "errs": 0.0},
    {"intridx": 1, "pps": 17175, "mbps": 61.1, "errs": 0.0},
    {"intridx": 2, "pps": 15626, "mbps": 51.4, "errs": 0.0},
    {"intridx": 3, "pps": 14596, "mbps": 57.4, "errs": 0.0} ]},
  "txqueue": { "count": 4, "details": [
    {"intridx": 0, "pps": 121634, "mbps": 828.2, "errs": 0.0},
    {"intridx": 1, "pps": 105483, "mbps": 708.5, "errs": 0.0},
    {"intridx": 2, "pps": 137687, "mbps": 1087.9, "errs": 0.0},
    {"intridx": 3, "pps": 116488, "mbps": 831.6, "errs": 0.0} ]},

İyi kenar 
    "rxqueue": { "count": 4, "details": [
    {"intridx": 0, "pps": 22388, "mbps": 115.1, "errs": 0.0},
    {"intridx": 1, "pps": 54248, "mbps": 497.1, "errs": 0.0},
    {"intridx": 2, "pps": 67004, "mbps": 650.2, "errs": 0.0},
    {"intridx": 3, "pps": 22688, "mbps": 118.8, "errs": 0.0} ]},
  "txqueue": { "count": 4, "details": [
    {"intridx": 0, "pps": 21222, "mbps": 125.0, "errs": 0.0},
    {"intridx": 1, "pps": 46125, "mbps": 384.3, "errs": 0.0},
    {"intridx": 2, "pps": 22771, "mbps": 131.7, "errs": 0.0},
    {"intridx": 3, "pps": 29040, "mbps": 162.0, "errs": 0.0} ]},


Uç düğümdeki belirli bir vnic'e karşı yüksek ağ trafiği var. Yüksek trafiğe neden olan belirli bir uygulama, ağ geçidi olarak çalışan edge vm'de yakalanır.
Aşağıda son kablo birleştirme bilgileri verilmiştir.

WireShark_Output.png



 
 
 

Resolution

Bu sorunu çözmek için:
  • Belirli bir uygulama, belirli bir bağlantı noktasında yüksek ağ trafiği oluşturma sırasında yakalanırsa uygulama ekibiyle iletişime geçin.
  • Belirli düğümler üzerinde büyük miktarda trafik oluşturmamak için ağ bileşenlerinin tasarımlarını gözden geçirin.

Soruna neden olan sorunu bulmak için aşağıdaki sorun giderme iş akışını kullanın.

1. Sistem yüklemesi yakalamak ve kök moduyla üstten çalıştırmak için edge node engineering (uç düğüm mühendisliği) modunu etkinleştirir. 
/home/secureall/secureall/sem/WEB-INF/classes/GetSpockEdgePassword.sh edge-xx (edge-xx could be found on nsx manager GUI)
logon console of edge node with admin->enable>debug engineeringmode enable->st en-> 

2. ESXi düğümü hakkında esxtop bilgilerini alın. En iyi uygulama, normal kenar düğümünü çalıştıran ESXi düğümü ve sorunlu kenar düğümünü çalıştıran ESXi düğümündeki sonucu karşılaştırmaktır.
 
A. "esxtop" - geçirilen ESXi ana bilgisayarında çalıştırın.
B. 'n' ile aşağıdaki "esxtop" - geçişi yapılan ESXi ana bilgisayarında çalıştırın.
C. Sorunlu VM'nin mevcut GID'ini kullanan CPU çekirdek verileri başına "esxtop". GID değerini elde edin, "E" tuşuna basın ve GID numarasını girin.
D. Bu özel edge vm ile ilgili tüm verileri gözden geçirin.

3. İstatistiksel bilgiler için Net istatistiklerini çalıştırın. Çıktıda Paket Başına Paket istatistiklerini kontrol edin ve normal edge düğümü çalıştıran ESXi düğümüyle karşılaştırın.
  
'net-stats -A -t WwQqihVvh -i 5 -n 2' - run on the migrated ESXi host and got following high figure
  "txqueue": { "count": 4, "details": [
    {"intridx": 0, "pps": 121634, "mbps": 828.2, "errs": 0.0},
    {"intridx": 1, "pps": 105483, "mbps": 708.5, "errs": 0.0},
    {"intridx": 2, "pps": 137687, "mbps": 1087.9, "errs": 0.0},
    {"intridx": 3, "pps": 116488, "mbps": 831.6, "errs": 0.0} ]},

4. En fazla trafiği hangi uygulamanın oluşturta olduğunu belirlemek için Wireshark ağ yazılımını kullanın.
 
A. ESXi ana bilgisayar kabuğunda, "net-stats -l" komutunu kullanarak ESG VM'nin switchport ayrıntılarını alın. İlgili edge vm'nin vnic anahtar bağlantı noktasını not edin. Bu, bu vnic üzerinden nasıl bir trafik akışı olduğunu bilmenize olanak sağlar.
 
B. Tüm ilgili switchport'lar için paket yakalamayı bir dakika için tek tek gerçekleştirin ve bir .pcap dosyasına kaydedin. Varsayılan değerleri < olarak > göre ayarlayın. 
pktcap-uw --switchport  --capture VnicTx,VnicRx -o /vmfs/volumes//.pcap

5. Genel raporu kronolojik sırayla oluşturmak için collect .pcap paketi bilgilerini wireshark'a yerleştirin. Kaynağını ve hedef IP adresini kullanarak trafiğin çoğunun geldiği bağlantı noktasının kaynağını ve hedef IP adresini kontrol edin.

6. ECMP ortamında bazı yük trafiği mevcuttur. ECMP karma kullanılarak bir uç düğüme sabitlenmiş. ESG'nin yeniden yük/yeniden dağıtım durumunda başka bir ESG'ye taşınmıştır. Ardından bu trafiğin taşındığı ESG, yüksek CPU kullanımını raporlamaya başlar.
Varsayılan olarak trafik, iki dizi (srcIP+dstIP) kullanan dahili karma algoritmasına bağlı olarak tüm ECMP çiftleri arasında dağıtılır. Bu, tüm bağlantı noktası TCP/1556 trafiğinin belirli bir edge'e sabitlenmiş olmadığını belirtir.
Örneğimizde, bir src ve dst IP'leri arasındaki yedeklemelerin ağır yük trafiği bu esXi'nin bu trafik için bu ESG VM'ye daha fazla CPU döngüsü sağlamasını sağlar. Bu nedenle ESXi/vCenter düzeyinden yüksek CPU kullanımı görüyoruz ancak ESG'nin konuk işletim sisteminde CPU kullanımı normaldir. Genel olarak bu da beklenen davranıştır.

Affected Products

VxRail Appliance Family, VxRail Appliance Series
Article Properties
Article Number: 000202066
Article Type: Solution
Last Modified: 16 May 2023
Version:  3
Find answers to your questions from other Dell users
Support Services
Check if your device is covered by Support Services.