PowerFlex: 잦은 MDM 연결 해제

증상

MDM 구성 요소의 잦은 연결 해제 및 재연결을 보여 주는 MDM 이벤트 로그:
 

2023-xx-xx 00:00:21.316 MDM_CLUSTER_LOST_CONNECTION WARNING        The MDM, <MDM_Name> (ID <MDM_ID>), has lost connection to the cluster.
2023-xx-xx 00:00:21.419 MDM_CLUSTER_CONNECTED     INFO             The MDM, <MDM_Name> (ID <MDM_ID>), connected after 100ms
2023-xx-xx 00:00:23.480 MDM_CLUSTER_LOST_CONNECTION WARNING        The MDM, <MDM_Name> (ID <MDM_ID>), has lost connection to the cluster.
2023-xx-xx 00:00:23.584 MDM_CLUSTER_CONNECTED     INFO             The MDM, <MDM_Name> (ID <MDM_ID>), connected after 110ms

높은 TCP 재전송을 보여주는 연결이 끊긴 MDM 서버의 Sar 출력:
 

sar -n ETCP 1 -t -f sar.0
                 atmptf/s  estres/s retrans/s  isegerr/s orsts/s
00:00:27 AM      0.00      0.00     62.00      0.00      0.00
00:00:28 AM      0.00      0.00     88.12      0.00      0.00
00:00:29 AM      0.00      3.00    100.00      0.00      0.00
00:00:30 AM      0.00      0.00     71.29      0.00      0.00
00:00:31 AM      0.00      0.00     71.00      0.00      0.00
...
00:01:02 AM      0.00      0.00     48.51      0.00      0.00
00:01:03 AM      0.00      0.00     15.00      0.00      0.00
00:01:04 AM      0.00      0.00    207.00      0.00      0.00
00:01:05 AM      0.00      0.00     36.00      0.00      0.00
00:01:06 AM      0.00      0.99    105.94      0.00      0.00

영향

간단한 MDM 클러스터 성능 저하 이벤트

성능 저하
 

근본 원인

MDM 서버에 패치가 적용되고 Linux 커널이 3.x에서 5.x로 업그레이드되었습니다. 이 커널 업그레이드는 많은 기본 OS 매개변수를 다른 값으로 변경합니다. 이 경우 TCP 매개 변수 "net.ipv4tcp_fack"가 비활성화되었지만 이로 인해 높은 TCP 재전송이 발생한 것으로 보입니다.

SDS RPM은 /opt/emc/scaleio/sds/cfg/ 디렉토리에 emc.conf라는 구성 파일을 제공합니다. 이 파일에는 Dell에서 권장하는 많은 OS 매개변수가 포함되어 있습니다.

PowerFlex 랙/어플라이언스 환경인 경우 PowerFlex Manager는 자동으로 emc.conf 파일을 "/opt/emc/scaleio/sds/cfg" 에서 각 서버의 systcl.conf로 복사하여 적용합니다. 이 문제는 초기 노드 구축 시에만 발생합니다. sysctl.conf가 제대로 업데이트되지 않았을 가능성이 있습니다. sysctl.conf 파일이 올바른 값을 가지고 있지 않은 경우 커널을 5.x로 업그레이드한 후 몇 가지 중요한 매개변수가 변경될 수 있습니다.

해결 방법

PowerFlex 랙/어플라이언스 환경에서 sysctl.conf에 emc.conf에 있는 모든 매개변수가 포함되어 있지 않은 경우 emc.conf를 각 서버 /etc/sysctl.conf 파일로 복사하는 것이 좋습니다. 서버에 변경 사항을 적용합니다. 서버를 재부팅하거나 "sysctl -p" 명령을 실행하여 /etc/sysctl.conf의 변경 사항을 적용할 수 있습니다. 이러한 변경을 수행할 때는 적절한 유지 보수 모범 사례를 수행해야 합니다.

Dell Technologies는 소프트웨어 전용 환경에서 이러한 Linux 매개변수를 각 서버에 적용할 것을 권장하지만 이는 궁극적으로 비즈니스에 달려 있습니다. 모범 사례나 질문이 있는 경우 OS 공급업체에 문의하십시오.
 

영향을 받는 버전

모든 PowerFlex 버전