PowerFlex. Частые отключения MDM

Симптомы

Журналы событий MDM, показывающие частое отключение и повторное подключение компонента MDM.
 

2023-xx-xx 00:00:21.316 MDM_CLUSTER_LOST_CONNECTION WARNING        The MDM, <MDM_Name> (ID <MDM_ID>), has lost connection to the cluster.
2023-xx-xx 00:00:21.419 MDM_CLUSTER_CONNECTED     INFO             The MDM, <MDM_Name> (ID <MDM_ID>), connected after 100ms
2023-xx-xx 00:00:23.480 MDM_CLUSTER_LOST_CONNECTION WARNING        The MDM, <MDM_Name> (ID <MDM_ID>), has lost connection to the cluster.
2023-xx-xx 00:00:23.584 MDM_CLUSTER_CONNECTED     INFO             The MDM, <MDM_Name> (ID <MDM_ID>), connected after 110ms

Выходные данные SAR с отсоединяющегося сервера MDM показывают высокую частоту повторных передач TCP:
 

sar -n ETCP 1 -t -f sar.0
                 atmptf/s  estres/s retrans/s  isegerr/s orsts/s
00:00:27 AM      0.00      0.00     62.00      0.00      0.00
00:00:28 AM      0.00      0.00     88.12      0.00      0.00
00:00:29 AM      0.00      3.00    100.00      0.00      0.00
00:00:30 AM      0.00      0.00     71.29      0.00      0.00
00:00:31 AM      0.00      0.00     71.00      0.00      0.00
...
00:01:02 AM      0.00      0.00     48.51      0.00      0.00
00:01:03 AM      0.00      0.00     15.00      0.00      0.00
00:01:04 AM      0.00      0.00    207.00      0.00      0.00
00:01:05 AM      0.00      0.00     36.00      0.00      0.00
00:01:06 AM      0.00      0.99    105.94      0.00      0.00

Воздействие

Краткие события ухудшения работоспособности кластера MDM

Снижение производительности
 

Основная причина

Сервер MDM был исправлен, а ядро Linux обновлено с 3.x до 5.x. Эта модернизация ядра изменяет многие параметры ОС по умолчанию, присваивая им другие значения. В данном случае параметр TCP "net.ipv4tcp_fack" был отключен, среди прочих, но он, по-видимому, вызвал высокую частоту повторных передач TCP.

RPM-пакет SDS предоставляет файл конфигурации emc.conf в каталоге /opt/emc/scaleio/sds/cfg/. Этот файл содержит множество параметров ОС, рекомендуемых Dell.

Если это среда стойки/устройства PowerFlex, PowerFlex Manager автоматически скопирует файл emc.conf из каталога «/opt/emc/scaleio/sds/cfg» в каждый файл systcl.conf сервера и применит его. Это произойдет только при первоначальном развертывании узла. Возможно, файл sysctl.conf не был обновлен должным образом. Если файл sysctl.conf не существует с правильными значениями, то после обновления ядра до версии 5.x некоторые важные параметры могут измениться.

Временное решение

Если в среде PowerFlex Rack/Appliance файл sysctl.conf содержит не все параметры, которые содержит файл emc.conf, рекомендуется скопировать файл emc.conf в каждый файл сервера /etc/sysctl.conf. Чтобы применить изменения на сервере, выполните следующие действия. Сервер можно либо перезагрузить, либо выполнить команду "sysctl -p", чтобы применить изменения из /etc/sysctl.conf. Убедитесь, что при внесении этих изменений соблюдены надлежащие рекомендации по техническому обслуживанию.

В среде, где используется только программное обеспечение, Dell Technologies рекомендует применять эти параметры Linux к каждому серверу, но в конечном итоге это остается на усмотрение компании. Проконсультируйтесь с поставщиком ОС по поводу передовых подходов или при возникновении вопросов.
 

Затронутые версии

Все версии PowerFlex