PowerFlex: Usein toistuvat PowerFlex MDM -yhteyden katkeamiset

Oireet

MDM-tapahtumalokeissa näkyy MDM-osan toistuva yhteyden katkaiseminen ja yhdistäminen uudelleen:
 

2023-xx-xx 00:00:21.316 MDM_CLUSTER_LOST_CONNECTION WARNING        The MDM,  (ID ), has lost connection to the cluster.
2023-xx-xx 00:00:21.419 MDM_CLUSTER_CONNECTED     INFO             The MDM,  (ID ), connected after 100ms
2023-xx-xx 00:00:23.480 MDM_CLUSTER_LOST_CONNECTION WARNING        The MDM,  (ID ), has lost connection to the cluster.
2023-xx-xx 00:00:23.584 MDM_CLUSTER_CONNECTED     INFO             The MDM,  (ID ), connected after 110ms

Sar-tulos MDM-palvelimesta, jonka yhteys katkeaa ja jonka TCP-uudelleenlähetys on suuri:
 

sar -n ETCP 1 -t -f sar.0
                 atmptf/s  estres/s retrans/s  isegerr/s orsts/s
00:00:27 AM      0.00      0.00     62.00      0.00      0.00
00:00:28 AM      0.00      0.00     88.12      0.00      0.00
00:00:29 AM      0.00      3.00    100.00      0.00      0.00
00:00:30 AM      0.00      0.00     71.29      0.00      0.00
00:00:31 AM      0.00      0.00     71.00      0.00      0.00
...
00:01:02 AM      0.00      0.00     48.51      0.00      0.00
00:01:03 AM      0.00      0.00     15.00      0.00      0.00
00:01:04 AM      0.00      0.00    207.00      0.00      0.00
00:01:05 AM      0.00      0.00     36.00      0.00      0.00
00:01:06 AM      0.00      0.99    105.94      0.00      0.00

Vaikutus

Lyhyet MDM-klusterin heikentyneet tapahtumat

Suorituskyvyn heikkeneminen
 

Pääsyy

MDM-palvelin korjattiin ja Linux-ydin päivitettiin versiosta 3.x versioon 5.x. Tämä ytimen päivitys muuttaa monet käyttöjärjestelmän oletusparametrit eri arvoiksi. Tässä tapauksessa esimerkiksi TCP-parametri net.ipv4.tcp_fack ei ollut käytössä, mutta tämä syiden komento aiheutti suuren TCP-uudelleenlähetyksen.

SDS RPM sisältää kokoonpanotiedoston nimeltä emc.conf /opt/emc/scaleio/sds/cfg/-hakemistossa. Tämä tiedosto sisältää useita Dell EMC:n suosittelemia käyttöjärjestelmän parametreja.

Jos kyseessä on PowerFlex Rack-/Appliance-ympäristö, PowerFlex Manager kopioi emc.conf-tiedoston automaattisesti palvelimesta /opt/emc/scaleio/sds/cfg kuhunkin palvelimen systcl.conf-tiedostoon ja ottaa sen käyttöön. Tämä tapahtuu vain solmun ensimmäisellä käyttöönotolla. Sysctl.conf ei välttämättä päivittynyt oikein. Jos sysctl.conf-tiedostoa ei ole oikeilla arvoilla, on mahdollista, että jotkin tärkeät parametrit muuttuvat ytimen 5.x-päivityksen jälkeen.

Kiertotapa

Jos sysctl.conf ei sisällä kaikkia emc.conf-parametria PowerFlex Rack- tai Appliance-ympäristössä, emc.conf-tiedosto on suositeltavaa kopioida kuhunkin palvelimen /etc/sysctl.conf-tiedostoon. Ota muutokset käyttöön palvelimessa.  Palvelin voidaan käynnistää uudelleen tai komento sysctl -p voidaan suorittaa, jotta muutokset otetaan käyttöön /etc/sysctl.conf-tiedostossa. Varmista näiden muutosten yhteydessä, että asianmukaiset ylläpitokäytännöt on tehty.

Vain ohjelmisto -ympäristössä Dell EMC suosittelee, että nämä Linux-parametrit otetaan käyttöön kussakin palvelimessa, mutta viime kädessä se on yrityksen vastuulla. Kysy lisätietoja käyttöjärjestelmän valmistajalta parhaista käytännöistä tai jos sinulla on kysyttävää.
 

Versiot, joita ongelma koskee

Kaikki PowerFlex-versiot