Dell Technologies VxRail: Висока суперечка процесора на крайовому вузлі NSX.

Summary: Dell Technologies VxRail: Висока суперечка процесора на крайовому вузлі NSX. Потрібно з'ясувати, що викликає високе використання процесора на вузлі NSX Edge.

This article applies to This article does not apply to This article is not tied to any specific product. Not all product versions are identified in this article.
Check out other resources

Symptoms

Існує висока суперечка щодо процесора на вузлі ESXi, зокрема з крайовим вузлом NSX.
Якщо ви завантажуєте цей вузол Edge, і він використовує багатопроменевий шлях рівної вартості (ECMP), висока суперечка процесора виявляється на наступному крайовому вузлі разом із високим мережевим трафіком. Оригінал знову повертається до нормального стану.
З самого крайового вузла відбувається нормальне навантаження, і ніякого конкретного захоплення мережі не виявляється.


Cause

Це викликано високим використанням процесора, а також високим мережевим трафіком через деякий край vnic.

Порівняння використання ЦП:

Поганий край 
 xxx    27  454.64  471.21   43.19 2307.95    7.32   13.72  334.52    2.67    0.00    0.00    0.00
хороший край   
 xxx    27  240.09  225.96   20.80 2507.98    6.72    8.39  443.93    1.71    0.00    0.00    0.00


Порівняння % виконання процесора:

Поганий край 
  ID      GID NAME             NWLD   %USED    %RUN    %SYS   %WAIT %VMWAIT    %RDY   %IDLE  %OVRLP   %CSTP  %MLMTD  %SWPWT
16580792 16580792 xxx            27  454.64  471.21   43.19 2307.95    7.32   13.72  334.52    2.67    0.00    0.00    0.00
   
хороший край 
  ID      GID NAME             NWLD   %USED    %RUN    %SYS   %WAIT %VMWAIT    %RDY   %IDLE  %OVRLP   %CSTP  %MLMTD  %SWPWT
10908367 10908367 xxx            27  240.09  225.96   20.80 2507.98    6.72    8.39  443.93    1.71    0.00    0.00    0.00


Порівняння мережевих портів для RX і TX: 
PORT-ID USED-BY                         TEAM-PNIC DNAME              PKTTX/s  MbTX/s   PSZTX    PKTRX/s  MbRX/s   PSZRX %DRPTX %DRPRX
50331714 2666974:xxx.eth2               vmnic2 DvsPortset-1        519615.172729.88  688.00  128623.96  694.32  707.00   0.00   0.00
50331715 2666974:xxx.eth1               vmnic3 DvsPortset-1        76622.01  523.06  894.00  230747.221126.70  640.00   0.00   0.00
50331716 2666974:xxx.eth0               vmnic6 DvsPortset-1        51422.12  168.87  430.00  312557.221691.50  709.00   0.00   0.00
PORT-ID USED-BY                         TEAM-PNIC DNAME              PKTTX/s  MbTX/s   PSZTX    PKTRX/s  MbRX/s   PSZRX %DRPTX %DRPRX
50331744 1752165:xxx.eth2               vmnic3 DvsPortset-1        42856.22  238.49  729.00   50329.21  262.45  683.00   0.00   0.00
50331745 1752165:xxx.eth1               vmnic7 DvsPortset-1        22069.93   91.24  541.00   20044.33   96.35  630.00   0.00   0.00
50331746 1752165:xxx.eth0               vmnic2 DvsPortset-1        27771.00  169.72  801.00   23548.13  144.95  806.00   0.00   0.00

Порівняння пакетів за секунду:

Поганий край 
    "rxqueue": { "count": 4, "details": [
    {"intridx": 0, "pps": 30175, "mbps": 203.9, "errs": 0.0},
    {"intridx": 1, "pps": 17175, "mbps": 61.1, "errs": 0.0},
    {"intridx": 2, "pps": 15626, "mbps": 51.4, "errs": 0.0},
    {"intridx": 3, "pps": 14596, "mbps": 57.4, "errs": 0.0} ]},
  "txqueue": { "count": 4, "details": [
    {"intridx": 0, "pps": 121634, "mbps": 828.2, "errs": 0.0},
    {"intridx": 1, "pps": 105483, "mbps": 708.5, "errs": 0.0},
    {"intridx": 2, "pps": 137687, "mbps": 1087.9, "errs": 0.0},
    {"intridx": 3, "pps": 116488, "mbps": 831.6, "errs": 0.0} ]},

хороший край 
    "rxqueue": { "count": 4, "details": [
    {"intridx": 0, "pps": 22388, "mbps": 115.1, "errs": 0.0},
    {"intridx": 1, "pps": 54248, "mbps": 497.1, "errs": 0.0},
    {"intridx": 2, "pps": 67004, "mbps": 650.2, "errs": 0.0},
    {"intridx": 3, "pps": 22688, "mbps": 118.8, "errs": 0.0} ]},
  "txqueue": { "count": 4, "details": [
    {"intridx": 0, "pps": 21222, "mbps": 125.0, "errs": 0.0},
    {"intridx": 1, "pps": 46125, "mbps": 384.3, "errs": 0.0},
    {"intridx": 2, "pps": 22771, "mbps": 131.7, "errs": 0.0},
    {"intridx": 3, "pps": 29040, "mbps": 162.0, "errs": 0.0} ]},


Існує високий мережевий трафік проти конкретного vnic на крайньому вузлі. Конкретна програма, що працює, що викликає високий трафік, захоплюється на межі віртуальної машини, яка діє як шлюз.
Нижче наведена остаточна інформація про wireshark.

WireShark_Output.png



 
 
 

Resolution

Щоб вирішити цю проблему:
  • Якщо конкретна програма спіймана на генерації високого мережевого трафіку на певному порту, зверніться до команди програми.
  • Перегляньте дизайн мережевих компонентів, щоб уникнути генерації великих обсягів трафіку на певних вузлах.

Скористайтеся наведеним нижче робочим циклом виправлення неполадок, щоб знайти причину проблеми.

1. Увімкніть режим інженерії крайового вузла, щоб захопити навантаження на систему та запустити верх із кореневим режимом. 
/home/secureall/secureall/sem/WEB-INF/classes/GetSpockEdgePassword.sh edge-xx (edge-xx could be found on nsx manager GUI)
logon console of edge node with admin->enable>debug engineeringmode enable->st en-> 

2. Зафіксуйте інформацію esxtop про вузол ESXi. Найкраще порівняти результат на вузлі ESXi, який працює на звичайному крайовому вузлі, і на вузлі ESXi, який працює на проблемному крайовому вузлі.
 
A. 'esxtop' - запуск на перенесеному хості ESXi.
B. 'esxtop' слідує за 'n' - запускається на перенесеному хості ESXi.
C. 'esxtop' для даних ядра процесора, використовуючи поточний GID проблемної віртуальної машини. Отримайте значення GID, натисніть «E» та введіть номер GID.
D. Перегляньте всі дані щодо цієї конкретної крайової віртуальної машини.

3. Запустіть статистику Net для статистичної інформації. Перевірте статистику пакетів в секунду на виході і порівняйте її з вузлом ESXi, який працює на звичайному крайовому вузлі.
  
'net-stats -A -t WwQqihVvh -i 5 -n 2' - run on the migrated ESXi host and got following high figure
  "txqueue": { "count": 4, "details": [
    {"intridx": 0, "pps": 121634, "mbps": 828.2, "errs": 0.0},
    {"intridx": 1, "pps": 105483, "mbps": 708.5, "errs": 0.0},
    {"intridx": 2, "pps": 137687, "mbps": 1087.9, "errs": 0.0},
    {"intridx": 3, "pps": 116488, "mbps": 831.6, "errs": 0.0} ]},

4. Використовуйте мережеве програмне забезпечення Wireshark, щоб визначити, яка програма генерує найбільше трафіку.
 
A. На оболонці хоста ESXi отримайте деталі комутатора віртуальної машини ESG за допомогою команди "net-stats -l". Зверніть увагу на комутатор vnic відповідного краю vm. Це дозволяє дізнатися, який тип трафіку проходить через цей vnic.
 
B. Виконайте захоплення пакетів для всіх пов'язаних комутаторів по одному протягом однієї хвилини і збережіть його в файлі .pcap. Змініть відповідно до налаштувань. 
pktcap-uw --switchport  --capture VnicTx,VnicRx -o /vmfs/volumes//.pcap

5. Помістіть всю інформацію про пакет збирання .pcap у wireshark, щоб створити загальний звіт у хронологічному порядку. Визначте порт, звідки надходить більша частина трафіку, оцінивши його джерело та цільову IP-адресу.

6. Деякий вантажний трафік присутній в середовищі ECMP. Він закріплений на крайовому вузлі за допомогою хешування ECMP. Він переміщується на інший ESG у разі перезавантаження/передислокації ESG. Після цього ESG, на який переміщується цей трафік, починає повідомляти про високе використання процесора.
За замовчуванням трафік розподіляється між усіма парами ECMP на основі внутрішнього алгоритму хешування, який використовує два кортежі (srcIP+dstIP). Це означає, що весь трафік порту TCP/1556 не прикріплений до одного конкретного краю.
У нашому випадку до цього краю закріплено великий трафік резервних копій між IP-адресами src та dst, що змушує ESXi надавати більше циклів процесора цій віртуальній машині ESG для цього трафіку. Ось чому ми спостерігаємо високе використання процесора з рівня ESXi/vCenter, але всередині гостьової операційної системи ESG використання процесора є нормальним. Тож загалом це також очікувана поведінка.

Affected Products

VxRail Appliance Family, VxRail Appliance Series
Article Properties
Article Number: 000202066
Article Type: Solution
Last Modified: 16 May 2023
Version:  3
Find answers to your questions from other Dell users
Support Services
Check if your device is covered by Support Services.