PowerFlex: Recurso de gateway de PowerFlex 4.x desconectado del sistema MDM

Situación

El gateway de PowerFlex se ha vinculado al clúster del MDM y no ha habido alteraciones significativas en el entorno, como la implementación de un nuevo PFMP.
Desde la perspectiva del grupo de recursos, el error sobre la falla de inventario puede estar presente:

• Es posible que varias operaciones en toda la interfaz de usuario no funcionen correctamente, como la creación de volúmenes, la administración del sistema PowerFlex, los grupos de recursos, etc
• Los registros de pods de gateway informarían una desconexión continua al MDM principal

  14:17:22.751 [|LiaConnectionListener1-ReceiveLoop-1672798151] INFO  c.e.e.n.c.LayeredProtocolConnection - LPC-1672798151 #a1697bb310b37861 [10.23.50.50:9098]: Attempting to re-connect LPC-1672798151 #a1697bb310b37861 [10.23.50.50:9098]
  14:17:22.751 [|LiaConnectionListener1-ReceiveLoop-1672798151] INFO  c.e.e.n.c.LayeredProtocolConnection - LPC-1672798151 #a1697bb310b37861 [10.23.50.50:9098]: We have no cluster info, trying original ip: 10.23.50.50
  14:17:22.751 [|LiaConnectionListener1-ReceiveLoop-1672798151] INFO  c.e.e.n.c.LayeredProtocolConnection - LPC-1672798151 #a1697bb310b37861 [10.23.50.50:9098]: Trying to reconnect to 10.23.50.50:9098
  14:17:22.756 [|LiaConnectionListener1-ReceiveLoop-1672798151] ERROR c.e.e.n.c.LayeredProtocolConnection - LPC-1672798151 #a1697bb310b37861 [10.23.50.50:9098]: IOException in receive loop: java.net.SocketException: Connection reset
  14:17:22.756 [|LiaConnectionListener1-ReceiveLoop-1672798151] ERROR c.e.e.n.c.LayeredProtocolConnection - LPC-1672798151 #a1697bb310b37861 [10.23.50.50:9098]: Got exception when trying to reopen connection. will retry after 30 seconds
  14:17:25.753 [|https-openssl-nio-443-exec-7] ERROR c.e.s.s.s.ConnectionServiceImpl - Got rc TIMEOUT for command QueryVersion
  14:17:25.753 [|https-openssl-nio-443-exec-7] ERROR c.e.s.s.s.ConnectionServiceImpl - Got rc TIMEOUT for command QueryVersion
  14:17:25.753 [|https-openssl-nio-443-exec-7] ERROR c.e.s.s.s.ConnectionServiceImpl - Got error from cluster: TIMEOUT
  14:17:25.753 [|https-openssl-nio-443-exec-7] ERROR c.e.s.s.w.c.SpecialImplController - Got an exception in handleException
                              stdout F com.emc.s3g.scaleio.common.gateway.ScaleIORemoteRuntimeException: A timeout occurred

   
• El pod de presentación informaría una desconexión continua con la MDM principal

  01:16:13.009 [RxComputationThreadPool-5-ReceiveLoop-311432045|ERROR|com.emc.ecs.net.connection.LayeredProtocolConnection.errorWithState] LPC-311432045 #7466ad4d62f83d17 [10.23.50.50:8611]: IOException in receive loop: java.net.SocketException: Connection reset
  01:16:13.009 [RxComputationThreadPool-5-ReceiveLoop-311432045|ERROR|com.emc.ecs.net.connection.LayeredProtocolConnection.errorWithState] LPC-311432045 #7466ad4d62f83d17 [10.23.50.50:8611]: Got exception when trying to reopen connection. will retry after 10 seconds

   
• En ciertos casos, los registros del servidor LIA en un servidor MDM de administrador indican un problema. La siguiente salida muestra que la dirección IP 10.10.10.15 (correspondiente al nodo PFMP que aloja el pod de gateway) intenta conectarse al servidor LIA, pero falla debido a certificados vencidos.

  2024/02/20 19:53:27.626621 LOW:7fb108372db0:netSec_Accept_CK:00310: Starting secure accept
  2024/02/20 19:53:27.634301 MED:7fb108372db0:mosSecurity_PrintLibX509StoreCtxError:01112: SSL certificate verification error: certificate has expired
  2024/02/20 19:53:27.634316 LOW:7fb108372db0:mosSsl_HandleError:00422: ERROR: Handshake: error:1417C086:SSL routines:tls_process_client_certificate:certificate verify failed, SSL error: 1
  2024/02/20 19:53:27.634319 LOW:7fb108372db0:netSec_SslHandshake_CK:00486: ERROR: Handshake failed (CERT_VERIFY_FAILURE)
  2024/02/20 19:53:27.634322 LOW:7fb108372db0:netPath_StartAsServer_CK:00556: ERROR:  :: Disconnected Live SERVER path 0x7fb061044e70 of portal (nil) net 0xa9c740 socket 16 inflights 0 HS:1 secure accept failure (CERT_VERIFY_FAILURE)
  2024/02/20 19:53:27.635455 LOW:7fb108372db0:netPath_StartAsServer_CK:00533:  :: Disconnected Live SERVER path 0x7fb061044e70 of portal (nil) net 0xa9c740 socket 16 inflights 0 HS:0 Start connection from IP 10.10.10.15:9817 to 10.10.10.20:9098

• Ninguno de los certificados en el lado del servidor LIA está vencido.
• Todos los certificados en el lado de PFMP no están vencidos.
• Comando PFMP para mostrar que el certificado cargado venció en el gateway:

echo -n | openssl s_client -connect $(kubectl get svc -A | grep -w block-legacy-gateway | grep -v mds | awk '{print $4}'):443 2>/dev/null | sed -ne '/-BEGIN CERTIFICATE-/,/-END CERTIFICATE-/p' > cert.pem ; openssl x509 -in cert.pem -noout -dates

Impacto

No se puede administrar el sistema PowerFlex a través de la interfaz de usuario de PFxM.

El certificado de gateway de PowerFlex se renueva automáticamente cada tres meses a través de cert-manager. Sin embargo, existe un problema en el cual el nuevo certificado no se carga correctamente en el gateway, lo que provoca que este conserve un certificado vencido.

Para cargar el nuevo certificado, se debe reiniciar el pod del gateway de bloques de PowerFlex.

1. Acceda mediante SSH a uno de los servidores de PFMP (MVM)
2. Ejecute el siguiente comando para reiniciar los pods de gateway de bloques y el pod de presentación:

   kubectl get pods -n powerflex | grep -Ei 'gateway|presentation' | egrep -iv 'mds|metrics'| awk '{print $1}' | xargs kubectl delete pods -n powerflex

3. Ejecute el inventario en el recurso de gateway de bloques de PowerFlex en la interfaz de usuario de PFxM

Versiones
afectadasPowerFlex Manager 4.x

Solucionado en la versión
PowerFlex Manager 4.6.1