Dell Unity: La GUI y la CLI de Unisphere a través de SSH ya no son accesibles después de intentar cambiar la configuración de DNS (corregible por Dell)

La GUI y la CLI de Unisphere ya no son accesibles después de intentar cambiar la configuración de DNS. Reiniciar los servicios de administración no resuelve el problema. También se determinó que ECOM no se ejecuta en ningún SP ni permanece en ejecución durante más de 10 minutos.

Intentar utilizar la siguiente KB para reiniciar MGMT no resuelve el problema:

Dell Unity: No se puede acceder a Unisphere El sistema está ocupado. Vuelva a intentarlo más tarde (corregible por el usuario)
https://www.dell.com/support/kbdoc/000056109

Command: svc_restart_service restart MGMT

La recopilación de recopilaciones de datos mostró que había archivos de volcado de ECOM. 

Reiniciar cada SP por kb 000021439 permitió que ECOM funcionara, pero solo durante 10 minutos a la vez. 

Dell Unity: Cómo recuperar o solucionar problemas cuando el servicio de administración (ECOM) no se está ejecutando en ningún SP (corregible por el usuario)
https://www.dell.com/support/kbdoc/000021439

El problema se produce cuando se agota el tiempo de espera de un comando DNS "papi_clust_set.sh dns xxx" y causa un estado de alarma de ECOM. También puede ocurrir cuando se utiliza Unisphere para cambiar la configuración de DNS o para eliminar un nuevo servidor DNS.

Nota: La herramienta IPMI se debe utilizar para conectarse a cualquiera de los SP para solucionar problemas debido a que ECOM está inactivo.  

El triage y la revisión de registros mostraron trabajos por lotes bloqueados de un intento fallido de realizar cambios de DNS en el sistema Unity. 

Comando utilizado para comprobar: uemcli /sys/task/job show -detail Los registros internos mostraron lo siguiente: 
 

cemtracer_sysapi logs 18 Jul 2023 21:51:36 - [SYSAPI] ERROR - {0:777251:881779993}[1053|3741|f70d6b40][doTimeoutAction @ /c4_working/Unity_PullRequest_Build_Driver_Sles15_RTM_1.1/clariion/components/adapters/SystemAPI/framework/src/ConfigMgr.cpp:403] Timeout action (poll): abort Aborting the system. 

Los volcados de ECOM pueden mostrar signos similares a los siguientes:

Se mostró "error" en cemtracer_sysapi.log:

xx Nov xxxx 13:27:52  - [SYSAPI] ERROR - {0:24803979:204377483}[18921|28516|f70d6b40][_watchDogRoutine @ /c4_working/Unity_PullRequest_Build_Driver_Sles15_RTM_1.1/clariion/components/adapters/SystemAPI/framework/src/UpdateManagerImpl.cpp:1511] Watch dog poll request timeout occured. Now:24803979204 TimeGap:900621 Is in Poll:0
xx Nov xxxx 13:27:52  - [SYSAPI] ERROR - {0:24803979:205104121}[18921|28516|f70d6b40][_watchDogRoutine @ /c4_working/Unity_PullRequest_Build_Driver_Sles15_RTM_1.1/clariion/components/adapters/SystemAPI/framework/src/UpdateManagerImpl.cpp:1512] PerfStatReport:
xx Nov xxxx 13:27:52  - [SYSAPI] ERROR - {0:24803979:206876577}[18921|28516|f70d6b40][_watchDogRoutine @ /c4_working/Unity_PullRequest_Build_Driver_Sles15_RTM_1.1/clariion/components/adapters/SystemAPI/framework/src/UpdateManagerImpl.cpp:1516] dependencyMap:
xx Nov xxxx 13:27:52  - [SYSAPI] ERROR - {0:24803979:206905718}[18921|28516|f70d6b40][doTimeoutAction @ /c4_working/Unity_PullRequest_Build_Driver_Sles15_RTM_1.1/clariion/components/adapters/SystemAPI/framework/src/ConfigMgr.cpp:403] Timeout action (poll): abort
xx Nov xxxx 23:16:07  - [SYSAPI] ERROR - {0:1379:344272630}[2919|6108|f17ffb40][Poll @ /c4_working/Unity_PullRequest_Build_Driver_Sles15_RTM_1.1/clariion/components/adapters/SystemAPI/framework/src/TLDPollManager.cpp:383] Admin PEER poll request failed.Error Code = 7e110000.
xx Nov xxxx 23:16:58  - [SYSAPI] ERROR - {0:1429:454592292}[2919|20591|d79ffb40][performRequestBase @ /c4_working/Unity_PullRequest_Build_Driver_Sles15_RTM_1.1/clariion/components/adapters/SystemAPI/framework/src/util/TLDUtils.cpp:346] Admin failed to process request (err = 2115043355):
  TAG_K10_ERROR_PACKET (0x10004)
   TAG_K10_ERROR_CODE (0x10005) num: 2115043355 (0x7e11001b) str: "...~" hex: 1b:0:11:7e
xx Nov xxxx 23:31:15  - [SYSAPI] ERROR - {0:2286:652151017}[2919|6535|f70d6b40][_watchDogRoutine @ /c4_working/Unity_PullRequest_Build_Driver_Sles15_RTM_1.1/clariion/components/adapters/SystemAPI/framework/src/UpdateManagerImpl.cpp:1511] Watch dog poll request timeout occured. Now:2286652 TimeGap:900650 Is in Poll:0
xx Nov xxxx 23:31:15  - [SYSAPI] ERROR - {0:2286:652504752}[2919|6535|f70d6b40][_watchDogRoutine @ /c4_working/Unity_PullRequest_Build_Driver_Sles15_RTM_1.1/clariion/components/adapters/SystemAPI/framework/src/UpdateManagerImpl.cpp:1512] PerfStatReport:
xx Nov xxxx 23:31:15  - [SYSAPI] ERROR - {0:2286:653466119}[2919|6535|f70d6b40][_watchDogRoutine @ /c4_working/Unity_PullRequest_Build_Driver_Sles15_RTM_1.1/clariion/components/adapters/SystemAPI/framework/src/UpdateManagerImpl.cpp:1516] dependencyMap:
xx Nov xxxx 23:31:15  - [SYSAPI] ERROR - {0:2286:653504952}[2919|6535|f70d6b40][doTimeoutAction @ /c4_working/Unity_PullRequest_Build_Driver_Sles15_RTM_1.1/clariion/components/adapters/SystemAPI/framework/src/ConfigMgr.cpp:403] Timeout action (poll): abort

Esto se resuelve en Unity OE 5.2.0 y versiones posteriores. Si se encuentran trabajos que no responden, comuníquese con el soporte técnico de Dell y mencione este artículo. Los trabajos suspendidos se pueden ver en Unisphere en la sección Eventos/trabajos. El soporte ayudará a borrar los trabajos suspendidos mediante la sección Internal de kb 000059274. 

Dell Unity: Eliminación de trabajos por lotes bloqueados o suspendidos, Código de error: 0x7d13151 (corregible por Dell)
https://www.dell.com/support/kbdoc/en-us/000059274/dell-emc-unity-deleting-stuck-or-suspended-batch-jobs-error-code-0x7d13151

Después de eliminar los trabajos suspendidos, el servicio ECOM se debe reiniciar mediante el 000019807 de la base de conocimientos. 

Dell Unity: Cómo realizar una conmutación por error de servicios de administración (ECOM) (corregible por Dell)
https://www.dell.com/support/kbdoc/000019807

Referencia: UnityD-54308, UnityD-59297, UEE-16306, UEE-17969