Dell Technologies VxRail: Hög processorkraft på NSX-gränsnoden.

Summary: Dell Technologies VxRail: Hög processorkraft på NSX-gränsnoden. Du måste ta reda på vad som orsakar hög processoranvändning på nsx-gränsnoden.

This article applies to This article does not apply to This article is not tied to any specific product. Not all product versions are identified in this article.
Check out other resources

Symptoms

Det förekommer hög processorkonkurration på ESXi-noden, särskilt med NSX-gränsnoden.
Om du startar den här gränsnoden och den använder ECMP (Equal Cost MultiPath) förekommer hög konkurrens om processorn på nästa gränsnod tillsammans med hög nätverkstrafik. Originalet är tillbaka i normalt läge igen.
Från själva gränsnoden sker normal belastning och ingen specifik nätverksinsamling hittades.


Cause

Det här orsakas av hög processoranvändning och hög nätverkstrafik via vissa kant-vnic.

Jämförelse av processoranvändning:

Dålig kant 
 xxx    27  454.64  471.21   43.19 2307.95    7.32   13.72  334.52    2.67    0.00    0.00    0.00
Bra kant   
 xxx    27  240.09  225.96   20.80 2507.98    6.72    8.39  443.93    1.71    0.00    0.00    0.00


Jämförelse av processorkörning%:

Dålig kant 
  ID      GID NAME             NWLD   %USED    %RUN    %SYS   %WAIT %VMWAIT    %RDY   %IDLE  %OVRLP   %CSTP  %MLMTD  %SWPWT
16580792 16580792 xxx            27  454.64  471.21   43.19 2307.95    7.32   13.72  334.52    2.67    0.00    0.00    0.00
   
Bra kant 
  ID      GID NAME             NWLD   %USED    %RUN    %SYS   %WAIT %VMWAIT    %RDY   %IDLE  %OVRLP   %CSTP  %MLMTD  %SWPWT
10908367 10908367 xxx            27  240.09  225.96   20.80 2507.98    6.72    8.39  443.93    1.71    0.00    0.00    0.00


Jämförelse av nätverksport för RX och TX: 
PORT-ID USED-BY                         TEAM-PNIC DNAME              PKTTX/s  MbTX/s   PSZTX    PKTRX/s  MbRX/s   PSZRX %DRPTX %DRPRX
50331714 2666974:xxx.eth2               vmnic2 DvsPortset-1        519615.172729.88  688.00  128623.96  694.32  707.00   0.00   0.00
50331715 2666974:xxx.eth1               vmnic3 DvsPortset-1        76622.01  523.06  894.00  230747.221126.70  640.00   0.00   0.00
50331716 2666974:xxx.eth0               vmnic6 DvsPortset-1        51422.12  168.87  430.00  312557.221691.50  709.00   0.00   0.00
PORT-ID USED-BY                         TEAM-PNIC DNAME              PKTTX/s  MbTX/s   PSZTX    PKTRX/s  MbRX/s   PSZRX %DRPTX %DRPRX
50331744 1752165:xxx.eth2               vmnic3 DvsPortset-1        42856.22  238.49  729.00   50329.21  262.45  683.00   0.00   0.00
50331745 1752165:xxx.eth1               vmnic7 DvsPortset-1        22069.93   91.24  541.00   20044.33   96.35  630.00   0.00   0.00
50331746 1752165:xxx.eth0               vmnic2 DvsPortset-1        27771.00  169.72  801.00   23548.13  144.95  806.00   0.00   0.00

Jämförelse av paket per sekund:

Dålig kant 
    "rxqueue": { "count": 4, "details": [
    {"intridx": 0, "pps": 30175, "mbps": 203.9, "errs": 0.0},
    {"intridx": 1, "pps": 17175, "mbps": 61.1, "errs": 0.0},
    {"intridx": 2, "pps": 15626, "mbps": 51.4, "errs": 0.0},
    {"intridx": 3, "pps": 14596, "mbps": 57.4, "errs": 0.0} ]},
  "txqueue": { "count": 4, "details": [
    {"intridx": 0, "pps": 121634, "mbps": 828.2, "errs": 0.0},
    {"intridx": 1, "pps": 105483, "mbps": 708.5, "errs": 0.0},
    {"intridx": 2, "pps": 137687, "mbps": 1087.9, "errs": 0.0},
    {"intridx": 3, "pps": 116488, "mbps": 831.6, "errs": 0.0} ]},

Bra kant 
    "rxqueue": { "count": 4, "details": [
    {"intridx": 0, "pps": 22388, "mbps": 115.1, "errs": 0.0},
    {"intridx": 1, "pps": 54248, "mbps": 497.1, "errs": 0.0},
    {"intridx": 2, "pps": 67004, "mbps": 650.2, "errs": 0.0},
    {"intridx": 3, "pps": 22688, "mbps": 118.8, "errs": 0.0} ]},
  "txqueue": { "count": 4, "details": [
    {"intridx": 0, "pps": 21222, "mbps": 125.0, "errs": 0.0},
    {"intridx": 1, "pps": 46125, "mbps": 384.3, "errs": 0.0},
    {"intridx": 2, "pps": 22771, "mbps": 131.7, "errs": 0.0},
    {"intridx": 3, "pps": 29040, "mbps": 162.0, "errs": 0.0} ]},


Det finns hög nätverkstrafik mot ett specifikt vnic på gränsnoden. Ett specifikt program som körs som orsakar hög trafik registreras på den virtuella edge-datorn som fungerar som gateway.
Nedan visas den slutliga informationen om wireshark.

WireShark_Output.png



 
 
 

Resolution

Gör så här för att lösa problemet:
  • Om ett specifikt program fångas och genererar hög nätverkstrafik på en specifik port kontaktar du programteamet.
  • Granska utformningen av nätverkskomponenterna för att undvika att generera stora mängder trafik på specifika noder.

Använd följande felsökningsarbetsflöde för att hitta orsaken till problemet.

1. Aktivera edge node engineering-läget för att fånga systembelastningen och köra topp med rotläge. 
/home/secureall/secureall/sem/WEB-INF/classes/GetSpockEdgePassword.sh edge-xx (edge-xx could be found on nsx manager GUI)
logon console of edge node with admin->enable>debug engineeringmode enable->st en-> 

2. Samla in esxtop-information om ESXi-noden. Det är bäst att jämföra resultatet på ESXi-noden som kör den normala gränsnoden och ESXi-noden som kör den problematiska gränsnoden.
 
S. "esxtop" – kör på migrerad ESXi-värd.
B. "esxtop" efter med "n" – kör på migrerad ESXi-värd.
C. "esxtop" per CPU-kärndata med den aktuella GID för den problematiska virtuella datorn. Få GID-värdet, tryck på "E" och ange GID-numret.
D. Granska alla data angående den här specifika virtuella edge-datorn.

3. Kör nätverksstatistik för statistisk information. Kontrollera statistiken för paket per sekund i utdata och jämför den med ESXi-noden som kör en normal gränsnod.
  
'net-stats -A -t WwQqihVvh -i 5 -n 2' - run on the migrated ESXi host and got following high figure
  "txqueue": { "count": 4, "details": [
    {"intridx": 0, "pps": 121634, "mbps": 828.2, "errs": 0.0},
    {"intridx": 1, "pps": 105483, "mbps": 708.5, "errs": 0.0},
    {"intridx": 2, "pps": 137687, "mbps": 1087.9, "errs": 0.0},
    {"intridx": 3, "pps": 116488, "mbps": 831.6, "errs": 0.0} ]},

4. Använd Wireshark-nätverksprogramvara för att avgöra vilket program som genererade mest trafik.
 
A. På ESXi-värdskalet får du switchportinformationen för ESG VM med kommandot "net-stats -l". Observera switchporten för vnic för den berörda virtuella kanten. På så sätt kan du veta vilken typ av trafik som flödar genom det här nätverkskortet.
 
B. Utför paketinsamlingen för alla relaterade switchportar en i taget för en minut och spara den i en .pcap-fil. Ändra de enligt konfigurationen. 
pktcap-uw --switchport  --capture VnicTx,VnicRx -o /vmfs/volumes//.pcap

5. Försätt all information om .pcap-paketet i wireshark för att generera den övergripande rapporten ironologisk ordning. Arbeta ut den port där den största delen av trafiken kom från om källans och målets IP-adress.

6. Viss belastningstrafik förekommer under ECMP-miljön. Den är fäst på en kantnod med HJÄLP av ECMP-hashning. Den flyttas till en annan ESG i händelse av en ny inläsning/omdistribuering av ESG. Därefter börjar den ESG som den här trafiken flyttas till att rapportera hög CPU-användning.
Som standard distribueras trafiken mellan alla ECMP-par baserat på dess interna hashalgoritm som använder två fläder (srcIP + dstIP). Det gör att all TCP/1556-porttrafik inte är fäst vid en specifik kant.
I vårt fall är en tung trafik av säkerhetskopieringar mellan en src- och dst-IP-enhet fäst på den här kanten, vilket gör att ESXi tillhandahåller fler CPU-cykler till den här ESG VM för den trafiken. Det är därför vi ser hög processoranvändning från ESXi-/vCenter-nivån, men i gästoperativsystemet i ESG är processoranvändning normalt. Så det här är totalt sett också det förväntade beteendet.

Affected Products

VxRail Appliance Family, VxRail Appliance Series
Article Properties
Article Number: 000202066
Article Type: Solution
Last Modified: 16 May 2023
Version:  3
Find answers to your questions from other Dell users
Support Services
Check if your device is covered by Support Services.