PowerFlex: Frequente MDM-verbindingen worden verbroken

Symptomen

MDM-gebeurtenislogboeken waaruit blijkt hoe vaak de MDM-component wordt losgekoppeld en opnieuw wordt aangesloten:
 

2023-xx-xx 00:00:21.316 MDM_CLUSTER_LOST_CONNECTION WARNING        The MDM, <MDM_Name> (ID <MDM_ID>), has lost connection to the cluster.
2023-xx-xx 00:00:21.419 MDM_CLUSTER_CONNECTED     INFO             The MDM, <MDM_Name> (ID <MDM_ID>), connected after 100ms
2023-xx-xx 00:00:23.480 MDM_CLUSTER_LOST_CONNECTION WARNING        The MDM, <MDM_Name> (ID <MDM_ID>), has lost connection to the cluster.
2023-xx-xx 00:00:23.584 MDM_CLUSTER_CONNECTED     INFO             The MDM, <MDM_Name> (ID <MDM_ID>), connected after 110ms

Sar-uitvoer van de MDM-server waarmee de verbinding wordt verbroken en die hoge TCP-hertransmissies toont:
 

sar -n ETCP 1 -t -f sar.0
                 atmptf/s  estres/s retrans/s  isegerr/s orsts/s
00:00:27 AM      0.00      0.00     62.00      0.00      0.00
00:00:28 AM      0.00      0.00     88.12      0.00      0.00
00:00:29 AM      0.00      3.00    100.00      0.00      0.00
00:00:30 AM      0.00      0.00     71.29      0.00      0.00
00:00:31 AM      0.00      0.00     71.00      0.00      0.00
...
00:01:02 AM      0.00      0.00     48.51      0.00      0.00
00:01:03 AM      0.00      0.00     15.00      0.00      0.00
00:01:04 AM      0.00      0.00    207.00      0.00      0.00
00:01:05 AM      0.00      0.00     36.00      0.00      0.00
00:01:06 AM      0.00      0.99    105.94      0.00      0.00

Impact

Overzicht van gebeurtenissen in het MDM-cluster

Prestatievermindering
 

Hoofdoorzaak

De MDM-server is gepatcht en de Linux-kernel is geüpgraded van 3.x naar 5.x. Deze kernelupgrade verandert veel van de standaard OS-parameters naar andere waarden. In dit geval was onder andere de TCP-parameter "net.ipv4tcp_fack" uitgeschakeld, maar deze leek de hoge TCP-hertransmissies te hebben veroorzaakt.

De SDS RPM bevat een configuratiebestand met de naam emc.conf in de map /opt/emc/scaleio/sds/cfg/. Dit bestand bevat veel aanbevolen parameters voor het besturingssysteem van Dell.

Als dit een PowerFlex rack-/apparaatomgeving is, kopieert PowerFlex Manager automatisch het bestand emc.conf van "/opt/emc/scaleio/sds/cfg" naar elk van de systcl.conf van de server en past het toe. Dit gebeurt alleen bij de initiële knooppuntimplementatie. Het is mogelijk dat de sysctl.conf niet correct is bijgewerkt. Als het bestand sysctl.conf niet bestaat met de juiste waarden, is het mogelijk dat na een kernelupgrade naar 5.x enkele belangrijke parameters worden gewijzigd.

Tijdelijke oplossing

Als de sysctl.conf in een PowerFlex rack/apparaatomgeving niet alle parameters bevat die de emc.conf heeft, is het raadzaam om de emc.conf naar elke server /etc/sysctl.conf-bestand te kopiëren. Om de wijzigingen toe te passen op de server. De server kan opnieuw worden opgestart of het commando "sysctl -p" kan worden uitgevoerd om de wijzigingen van /etc/sysctl.conf toe te passen. Zorg ervoor dat de juiste best practices voor onderhoud worden uitgevoerd bij het aanbrengen van deze wijzigingen.

In een omgeving met alleen software raadt Dell Technologies aan om deze Linux-parameters toe te passen op elk van de servers, maar uiteindelijk is het aan het bedrijf. Neem contact op met de leverancier van het besturingssysteem voor best practices of als er vragen zijn.
 

Versies waarop dit van toepassing is

Alle PowerFlex-versies