VxRail: Widok fizyczny nie jest wyświetlany, ponieważ węzeł nie odpowiada na polecenie "esxcli"

1. Brak widoków fizycznych wszystkich węzłów.
   Od web.log brama interfejsu API przekroczyła limit czasu po 10 minutach pobierania danych widoku fizycznego:

   2023-11-20T09:24:31.039Z <7527c8d153655e9bbb43b32dcd312443> marvin [ERROR] <261> ApplianceServiceImpl.java populatePvCache() (276): failed to fetch data.
   javax.ws.rs.ServerErrorException: HTTP 504 Gateway Time-out
   	at org.glassfish.jersey.client.JerseyInvocation.createExceptionForFamily(JerseyInvocation.java:1125) ~[jersey-client-2.27.jar:?]
   	at org.glassfish.jersey.client.JerseyInvocation.convertToException(JerseyInvocation.java:1105) ~[jersey-client-2.27.jar:?]
   	at org.glassfish.jersey.client.JerseyInvocation.translate(JerseyInvocation.java:883) ~[jersey-client-2.27.jar:?]
   	at org.glassfish.jersey.client.JerseyInvocation.lambda$invoke$1(JerseyInvocation.java:767) ~[jersey-client-2.27.jar:?]
   	at org.glassfish.jersey.internal.Errors.process(Errors.java:316) ~[jersey-common-2.27.jar:?]
   	at org.glassfish.jersey.internal.Errors.process(Errors.java:298) ~[jersey-common-2.27.jar:?]
   	at org.glassfish.jersey.internal.Errors.process(Errors.java:229) ~[jersey-common-2.27.jar:?]
   	at org.glassfish.jersey.process.internal.RequestScope.runInScope(RequestScope.java:414) ~[jersey-common-2.27.jar:?]
   	at org.glassfish.jersey.client.JerseyInvocation.invoke(JerseyInvocation.java:765) ~[jersey-client-2.27.jar:?]
   	at org.glassfish.jersey.client.JerseyInvocation$Builder.method(JerseyInvocation.java:456) ~[jersey-client-2.27.jar:?]
   	at org.glassfish.jersey.client.JerseyInvocation$Builder.post(JerseyInvocation.java:357) ~[jersey-client-2.27.jar:?]
   	at com.vce.commons.domainowner.graphq.DefaultQueryExecutorImpl.doJsonRequestExecution(DefaultQueryExecutorImpl.java:139) ~[commons-7.0.480.jar:?]
   	at com.vce.commons.domainowner.graphq.DefaultQueryExecutorImpl.execute(DefaultQueryExecutorImpl.java:94) ~[commons-7.0.480.jar:?]
   	at com.emc.mystic.manager.graphql.client.host.HostQuery.configuredHosts(HostQuery.java:138) ~[do-host-graphql-client-1.20.41.jar:?]
   	at com.emc.mystic.manager.graphql.client.host.HostQuery.configuredHosts(HostQuery.java:102) ~[do-host-graphql-client-1.20.41.jar:?]
   	at com.vce.commons.domainowner.node.NodeRepository.getAllClusterNodeData(NodeRepository.java:1997) ~[commons-7.0.480.jar:?]
   	at com.emc.mystic.manager.cluster.service.ApplianceServiceImpl.getAllHostData(ApplianceServiceImpl.java:543) ~[classes/:?]
   	at com.emc.mystic.manager.cluster.service.ApplianceServiceImpl.populatePvCache(ApplianceServiceImpl.java:260) ~[classes/:?]
   	at com.emc.mystic.manager.cluster.service.ApplianceServiceImpl.lambda$updateCacheTask$6(ApplianceServiceImpl.java:320) ~[classes/:?]
   	at java.util.concurrent.FutureTask.run(FutureTask.java:264) [?:?]
   	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1128) [?:?]
   	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:628) [?:?]
   	at java.lang.Thread.run(Thread.java:829) [?:?]
   2023-11-20T09:24:31.045Z <7527c8d153655e9bbb43b32dcd312443> marvin [INFO] <261> ApplianceServiceImpl.java lambda$updateCacheTask$6() (321): Success to refresh cache for node: <node SN>
   2023-11-20T09:24:31.046Z <7527c8d153655e9bbb43b32dcd312443> marvin [INFO] <59> ApplianceDataRoot.java refreshVxRailClusterTag() (289): Skip refreshing VxRail-Cluster-Tag triggered by scheduled job as it has already been done within 15 minutes.
   2023-11-20T09:24:31.046Z <7527c8d153655e9bbb43b32dcd312443> marvin [INFO] <59> ApplianceDataRoot.java fetchData() (357): [VXMPERF] PV fetch data execution time in 602 seconds
   

2. Uruchom poniższe polecenie w narzędziu VxRail Manager, aby wysłać zapytanie do danych widoku fizycznego węzła:

   #curl -X GET --unix-socket /var/lib/vxrail/nginx/socket/nginx.sock http://127.0.0.1/rest/vxm/internal/do/v1/host/query -H 'Content-Type: application/json' -d '{"query":"{ configuredHosts { hardware { sn } } }"}' 2>/dev/null | jq | egrep "name|sn" | awk -F\" '/sn/{print $4}' | sort -u | while read sn; do time curl -X POST --unix-socket /var/lib/vxrail/nginx/socket/nginx.sock -H 'Content-Type: application/json' -d '{"variables":"{\"sn\":\"'${sn}'\"}","query":"query ($sn:[String]){ configuredHosts(sn:$sn) { moid name type summary{ hardware{ cpuNum}} config{ hostUUID isPrimary network{ vnic{ device ipv4 allIpv6s nonLinkLocalIpv6} idrac{ ipAddress ipAddressSource netmask gateway ipAddressV6 gatewayV6 prefixLen ipv6AutoConfig vlan{ enabled id priority}}} localSlotClaims{ slot bay type usage diskgroupId} diskgroup{ slotNum current{ type}} installedComponent{ displayName version model description installedTime}} runtime{ connectionState overallStatus powerState inMaintenanceMode} hardware{ sn psnt slot manufacturer name systemStatusLed tpm model firmware{ id model} firmwareRevisions{ idsdmFwRevision biosFwRevision bmcFwRevision diskCtrlFwRevision bossFwRevision cpldFwRevision expanderBackplane nonExpanderBackplane dcpmFwRevision percDiskCtrlFwRevision} baseline{ sn slot chassisId isMissing} chassis{ name model psnt partNumber serviceTag psus{ sn name slot manufacturer partNumber firmwareVersion baseline{ sn slot isMissing}}} disks{ sn guid capacity slot firmwareVersion diskType diskState manufacturer protocol maxCapableSpeed model ledStatus writeEndurance bay enclosure remainingWriteEnduranceRate encryptionAbility encryptionStatus baseline{ sn slot bay isMissing}} bootDevices{ sn firmwareVersion sataType powerOnHours powerCycleCount avrEraseCount maxEraseCount capacity deviceModel slot health bootDeviceType status blockSizeBytes partNumber manufacturer controllerFirmware controllerModel controllerStatus raidStatus} nics{ mac linkSpeed firmwareFamilyVersion linkStatus fqdd specificNicType wwnn wwpn drivers{ driverName driverVersion}} position{ rackName rackSlot} storageInstance{ securityStatus encryptionMode}}} }","operationName":null}' http://0/rest/vxm/internal/do/v1/host/query; echo ""; echo ""; echo "Done checking $sn"; done

3. Wynik pokazujący, że co najmniej jeden węzeł nie zwrócił danych w ciągu 10 minut:
   Węzły, o których mowa, mają zwracany błąd "504 Gateway Time-out", podczas gdy działające węzły mają zwrócone prawidłowe dane widoku fizycznego.
   

4. Na węźle SN określonym powyżej, zaloguj się do węzła i uruchom polecenie esxcli polecenie, utknęło, ale localcli działa:
   

Węzeł miał problem z synchronizacją NTP, który spowodował: esxcli Polecenie utknęło i brak odpowiedzi.

Wywołania widoku fizycznego VxRail esxcli Polecenia w węźle w celu pobrania informacji o oprogramowaniu wewnętrznym, nie można uzyskać informacji, gdy węzeł utknął podczas uruchamiania esxcli .

Rozwiązaniem jest zidentyfikowanie problemu z synchronizacją NTP na wszystkich węzłach i jego rozwiązanie. Poniżej przedstawiono kroki sprawdzania stanu NTP w węzłach:

1. Sprawdź, czy w katalogu /var/log vobd.log/nie ma komunikatów o błędach wskazujących, że zegar systemowy nie jest już zsynchronizowany z serwerami czasu upstream.

2. W takim przypadku sprawdź stan serwera NTP.

   #ntpq -p

   

   Jeśli wartość "reach" jest inna niż 377, na hoście brakuje transakcji NTP, czas na tym ESXi może być nieprawidłowy i wymaga uwagi.

   #ntpq -c

   

   Jeśli wartość "warstwy" mieści się poza zakresem od 2 do 6, synchronizacja czasu w tym ESXi może doświadczyć dodatkowych opóźnień, potencjalnie powodując niedokładny pomiar czasu.

3. Sprawdź, czy adres serwera NTP w bazie danych VxRail Manager jest poprawny za pomocą interfejsu API.

   curl -k --user "[vCenter account]:[vCenter password]" --request GET "https://localhost/rest/vxm/v1/system/ntp"

4. Jeśli nie, postępuj zgodnie z istniejącymi procedurami instruktażowymi (procedury VxRail → Różne → procedury instruktażowe, → zmiana adresów IP VxRail → ponownie wskaż nowy adres IP serwera NTP), aby zaktualizować adres IP serwera NTP.

5. W razie potrzeby użyj innego działającego serwera NTP, uruchom ponownie węzeł vpxa i usługi hosta; pamiętaj, że ponowne uruchomienie węzła vpxa i usług hosta tymczasowo rozwiąże problem, ale problem powróci, jeśli NTP nie zsynchronizuje się ponownie.

   /etc/init.d/vpxa restart
   /etc/init.d/hostd restart