PowerFlex: Часті відключення MDM

Симптоми

Журнали подій MDM, що показують часте відключення та повторне підключення компонента MDM:
 

2023-xx-xx 00:00:21.316 MDM_CLUSTER_LOST_CONNECTION WARNING        The MDM, <MDM_Name> (ID <MDM_ID>), has lost connection to the cluster.
2023-xx-xx 00:00:21.419 MDM_CLUSTER_CONNECTED     INFO             The MDM, <MDM_Name> (ID <MDM_ID>), connected after 100ms
2023-xx-xx 00:00:23.480 MDM_CLUSTER_LOST_CONNECTION WARNING        The MDM, <MDM_Name> (ID <MDM_ID>), has lost connection to the cluster.
2023-xx-xx 00:00:23.584 MDM_CLUSTER_CONNECTED     INFO             The MDM, <MDM_Name> (ID <MDM_ID>), connected after 110ms

Вихід SAR з MDM-сервера, який відключається, показує високий рівень ретрансляцій TCP:
 

sar -n ETCP 1 -t -f sar.0
                 atmptf/s  estres/s retrans/s  isegerr/s orsts/s
00:00:27 AM      0.00      0.00     62.00      0.00      0.00
00:00:28 AM      0.00      0.00     88.12      0.00      0.00
00:00:29 AM      0.00      3.00    100.00      0.00      0.00
00:00:30 AM      0.00      0.00     71.29      0.00      0.00
00:00:31 AM      0.00      0.00     71.00      0.00      0.00
...
00:01:02 AM      0.00      0.00     48.51      0.00      0.00
00:01:03 AM      0.00      0.00     15.00      0.00      0.00
00:01:04 AM      0.00      0.00    207.00      0.00      0.00
00:01:05 AM      0.00      0.00     36.00      0.00      0.00
00:01:06 AM      0.00      0.99    105.94      0.00      0.00

Вплив

Короткі події деградації кластера MDM

Погіршення продуктивності
 

Корінь причини

MDM-сервер було оновлено, а ядро Linux оновлено з 3.x до 5.x. Це оновлення ядра змінює багато стандартних параметрів ОС на різні значення. У цьому випадку параметр TCP "net.ipv4tcp_fack" був вимкнений, серед іншого, але, здається, саме цей спричинив високий рівень повторних передач TCP.

SDS RPM надає конфігураційний файл emc.conf у каталозі /opt/emc/scaleio/sds/cfg/. Цей файл містить багато рекомендованих параметрів ОС від Dell.

Якщо це середовище PowerFlex Rack/Appliance, PowerFlex Manager автоматично скопіює файл emc.conf з "/opt/emc/scaleio/sds/cfg " на кожен серверний systcl.conf і застосує його. Це відбуватиметься лише при початковому розгортанні вузла. Існує ймовірність, що sysctl.conf не оновили належним чином. Якщо файл sysctl.conf не існує з правильними значеннями, після оновлення ядра до 5.x можливо, що деякі важливі параметри зміняться.

Обхідний шлях

У середовищі PowerFlex Rack/Appliance, якщо sysctl.conf не містить усіх параметрів, які має emc.conf, рекомендується копіювати emc.conf у кожен серверний файл /etc/sysctl.conf. Щоб застосувати зміни на сервері. Сервер можна або перезавантажити, або виконати команду "sysctl -p" для застосування змін з /etc/sysctl.conf. Переконайтеся, що під час внесення змін дотримуються правильних найкращих практик обслуговування.

У середовище лише програмного забезпечення Dell Technologies рекомендує застосовувати ці параметри Linux до кожного сервера, але зрештою це залежить від бізнесу. Проконсультуйтеся з постачальником ОС для отримання найкращих практик або якщо є питання.
 

Впливові версії

Всі версії PowerFlex