PowerFlex: Disconnessioni frequenti di PowerFlex MDM

Sintomi

Registri degli eventi MDM che mostrano la frequente disconnessione e riconnessione del componente MDM:
 

2023-xx-xx 00:00:21.316 MDM_CLUSTER_LOST_CONNECTION WARNING        The MDM,  (ID ), has lost connection to the cluster.
2023-xx-xx 00:00:21.419 MDM_CLUSTER_CONNECTED     INFO             The MDM,  (ID ), connected after 100ms
2023-xx-xx 00:00:23.480 MDM_CLUSTER_LOST_CONNECTION WARNING        The MDM,  (ID ), has lost connection to the cluster.
2023-xx-xx 00:00:23.584 MDM_CLUSTER_CONNECTED     INFO             The MDM,  (ID ), connected after 110ms

L'output sar dal server MDM che si disconnette mostra ritrasmissioni TCP elevate:
 

sar -n ETCP 1 -t -f sar.0
                 atmptf/s  estres/s retrans/s  isegerr/s orsts/s
00:00:27 AM      0.00      0.00     62.00      0.00      0.00
00:00:28 AM      0.00      0.00     88.12      0.00      0.00
00:00:29 AM      0.00      3.00    100.00      0.00      0.00
00:00:30 AM      0.00      0.00     71.29      0.00      0.00
00:00:31 AM      0.00      0.00     71.00      0.00      0.00
...
00:01:02 AM      0.00      0.00     48.51      0.00      0.00
00:01:03 AM      0.00      0.00     15.00      0.00      0.00
00:01:04 AM      0.00      0.00    207.00      0.00      0.00
00:01:05 AM      0.00      0.00     36.00      0.00      0.00
00:01:06 AM      0.00      0.99    105.94      0.00      0.00

Impatto

Brevi eventi di riduzione del cluster MDM

Peggioramento delle prestazioni
 

Root cause:

Il server MDM è stato sottoposto a patch e il kernel Linux è stato aggiornato da 3.x a 5.x. Questo aggiornamento del kernel modifica molti dei parametri predefiniti del sistema operativo in valori diversi. In questo caso, il parametro TCP "net.ipv4.tcp_fack" è stato disabilitato, tra gli altri, ma questo sembra aver causato le ritrasmissioni TCP elevate.

L'RPM dell'SDS fornisce un file di configurazione denominato emc.conf nella directory /opt/emc/scaleio/sds/cfg/. Questo file include molti parametri del sistema operativo consigliati da Dell EMC.

Se si tratta di un ambiente di rack/appliance PowerFlex, PowerFlex Manager copia automaticamente il file emc.conf da "/opt/emc/scaleio/sds/cfg" su ciascuno dei file systcl.conf del server e lo applica. Ciò avverrà solo nel deployment iniziale del nodo. È possibile che sysctl.conf non sia stato aggiornato correttamente. Se il file sysctl.conf non esiste con i valori corretti, dopo un aggiornamento del kernel alla versione 5.x, è possibile che alcuni parametri importanti cambino.

Soluzione alternativa

In un ambiente rack/appliance PowerFlex, se sysctl.conf non include tutti i parametri di emc.conf, si consiglia di copiare emc.conf in ogni file /etc/sysctl.conf del server. Per applicare le modifiche sul server.  È possibile riavviare il server oppure eseguire il comando "sysctl -p" per applicare le modifiche da /etc/sysctl.conf. Accertarsi che vengano eseguite le procedure consigliate di manutenzione appropriate durante l'esecuzione di queste modifiche.

In un ambiente solo software, Dell EMC consiglia di applicare questi parametri Linux a ciascuno dei server, ma in ultima analisi spetta al business. Rivolgersi al fornitore del sistema operativo per le best practice o in caso di domande.
 

Versioni interessate

Tutte le versioni di PowerFlex