ECS: xDoctor: RAP081: Symptom Code: 2048: Järjestelmän aikaero ERROR-kynnysarvon yläpuolella

NTP-demonin on oltava käynnissä kaikissa ECS-kehikon solmuissa ja määritettyjen NTP-palvelimien on kyettävä synkronoimaan aika. Jos ei, tämä voi johtaa ongelmiin käyttöliittymätietojen käsittelyssä.

Edellä mainitut oireet pysyvät VAROITUKSENA, jos niitä ei ilmene 24 tunnin kuluessa.
24 tunnin kuluttua, jos tämä jatkuu, vakavuus kasvaa VIRHEEKSI ja ilmoitetaan RAP081.

Solmun aikaero, joka johtuu NTP-ryömintätiedostosta, jonka ntpd-palvelu päivittää solmujen tunnin välein. Tämä ongelma voi ilmetä, kun solmussa on aiemmin ilmennyt verkko-ongelma. Kun verkko on liittynyt verkkoon, se luo virheellisen drift-tiedoston, joka pakottaa solmujen välisen aikaeron. 

Kun solmu on liittynyt verkkoon ongelman jälkeen, se saattaa luoda tilapäisen drift-tiedoston, joka vastaa NTP-palvelimen NTP-aikaa. Tämän pitäisi olla väliaikaista, mutta jos ntpd ei voi poistaa tiedostoa, voimme poistaa drift-tiedostot ja käynnistää palvelun uudelleen palauttaaksesi sen.

Verifikaatio:
Tarkista, pystyvätkö kaikki NTP-palvelimet ping-kutsuun.
1. Vahvista, onko Compliance käytössä.

Komento:

# domulti 'cat /opt/emc/caspian/fabric/agent/conf/agent_customize.conf | grep compliance_enabled'

admin@node1:~> domulti 'cat /opt/emc/caspian/fabric/agent/conf/agent_customize.conf | grep compliance_enabled'

192.168.219.1
========================================
compliance_enabled = true

192.168.219.2
========================================
compliance_enabled = true

192.168.219.3
========================================
compliance_enabled = true

192.168.219.4
========================================
compliance_enabled = true

2. Tarkista ECS:stä, onko klusteri yhteensopiva. 

# viprexec -i "/opt/emc/caspian/fabric/cli/bin/fcli lifecycle cluster.compliance"

admin@node1:~> viprexec -i "/opt/emc/caspian/fabric/cli/bin/fcli lifecycle cluster.compliance"

Output from host : 192.168.219.1
{
  "compliance": "NON_COMPLIANT",
  "status": "OK",
  "etag": 22527
}

Output from host : 192.168.219.2
{
  "compliance": "NON_COMPLIANT",
  "status": "OK",
  "etag": 22527
}

Output from host : 192.168.219.3
{
  "compliance": "NON_COMPLIANT",
  "status": "OK",
  "etag": 22527
}

Output from host : 192.168.219.4
{
  "compliance": "NON_COMPLIANT",
  "status": "OK",
  "etag": 22527
}

Odotettu tulos on YHTEENSOPIVA. Jos näemme NON_COMPLIANT, meidän on tutkittava miksi.

3. Suorita vaatimustenmukaisuuden tarkistuskomentosarja jokaisessa solmussa tunnistaaksesi mahdolliset yhteensopimattomat solmut, mikä voi johtaa ECS-tarkistukseen, joka näyttää vaatimustenvastaisuuden.

Suorita vaatimustenmukaisuuden komentosarja kaikissa solmuissa. Solmuissa, joiden NTP-vertaisjärjestelmät eivät ole synkronoitu, voi olla NTP-ajautumistiedosto-ongelma joissakin solmuissa. Tulos "Tarkistetaan vaatimustenmukaisuutta..." Jos solmussa ei ole virhetulosta, tarkistus läpäistiin ilman ongelmia.

# domulti /opt/emc/caspian/fabric/agent/conf/compliance_check.sh

admin@node1:~> domulti /opt/emc/caspian/fabric/agent/conf/compliance_check.sh
 
192.168.219.1
========================================
Checking compliance...
    NTP peers out of sync
 
192.168.219.2
========================================
Checking compliance...
   
 
192.168.219.3
========================================
Checking compliance...
    NTP peers out of sync
 
192.168.219.4
========================================
Checking compliance...
    NTP peers out of sync

Jos NTP-vertaiset eivät ole synkronoituja, siirry alla olevaan "peers out of sync" -osaan.

Päätöslauselma:
1. Tarkista, että NTP-siirtymä on yli 10 (+/-), mikä voi aiheuttaa vaatimustenmukaisuushälytyksen.

# viprexec -i "ntpq -nc peers"

admin@node1:~> viprexec -i "ntpq -nc peers"

Output from host : 169.254.1.1  
remote refid st t when poll reach delay offset jitter
==============================================================================
*10.xxx.xxx.16 .GPSs. 1 u 31 64 377 0.103 -367.66 44.909
+10.xxx.xxx.33 .GPSs. 1 u 32 64 377 0.097 -368.68 44.341
+10.xxx.xxx.35 .GPSs. 1 u 16 64 377 0.107 -338.96 69.736

Output from host : 169.254.1.2 
remote refid st t when poll reach delay offset jitter
==============================================================================
+10.xxx.xxx.16 .GPSs. 1 u 26 64 377 0.089 8.566 0.746
*10.xxx.xxx.33 .GPSs. 1 u 26 64 377 0.100 8.585 0.739
+10.xxx.xxx.35 .GPSs. 1 u 23 64 377 0.104 8.888 0.592

Output from host : 169.254.1.3 
remote refid st t when poll reach delay offset jitter
==============================================================================
*10.xxx.xxx.16 .GPSs. 1 u 31 64 377 0.101 -354.40 52.444
+10.xxx.xxx.33 .GPSs. 1 u 29 64 377 0.101 -338.84 63.750
+10.xxx.xxx.35 .GPSs. 1 u 39 64 377 0.106 -387.28 44.286


Output from host : 169.254.1.4 
remote refid st t when poll reach delay offset jitter
==============================================================================
*10.xxx.xxx.16 .GPSs. 1 u 26 64 377 0.084 72.675 9.200
+10.xxx.xxx.33 .GPSs. 1 u 37 64 377 0.107 65.047 14.913
+10.xxx.xxx.35 .GPSs. 1 u 33 64 377 0.103 87.374 13.435

Output from host : 169.254.1.5 
remote refid st t when poll reach delay offset jitter
==============================================================================
*10.xxx.xxx.16 .GPSs. 1 u 27 64 377 0.094 352.741 54.056
+10.xxx.xxx.33 .GPSs. 1 u 26 64 377 0.103 413.893 43.770
+10.xxx.xxx.35 .GPSs. 1 u 33 64 377 0.101 334.493 69.059

Output from host : 169.254.1.6 
remote refid st t when poll reach delay offset jitter
==============================================================================
+10.xxx.xxx.16 .GPSs. 1 u 27 64 377 0.101 -428.51 54.955
+10.xxx.xxx.33 .GPSs. 1 u 26 64 377 0.097 -326.21 91.208
*10.xxx.xxx.35 .GPSs. 1 u 32 64 377 0.098 -349.00 70.110

Jos käynnistämme ntpd-palvelun uudelleen, viprexec -i "ntpq -nc peers", siirtymä on hetken alle 10 ja nousee sitten takaisin yli 100: een.

2. Ongelma voi johtua seuraavasta ongelmasta, jos solmun ntp.drift-tiedosto käyttää virheellistä siirtymää uudelleen ntpd-palvelun uudelleenkäynnistyksen jälkeen:

# viprexec -i "cat /var/lib/ntp/drift/ntp.drift"

admin@node1:~> viprexec -i "cat /var/lib/ntp/drift/ntp.drift"

Output from host : 169.254.1.1 
500.000

Output from host : 169.254.1.2 
-14.212

Output from host : 169.254.1.3 
500.000

Output from host : 169.254.1.4 
-102.474

Output from host : 169.254.1.5 
-500.000

Output from host : 169.254.1.6 
500.000

Tämän siirtymän kokoinen NTP-ryömintätiedosto voi luoda automaattisesti tilapäisen verkko-ongelman vuoksi. Kun solmu, joka muodostaa uudelleen yhteyden NTP-palveluun, huomaa olevansa poissa oikeasta ajasta ja luo tiedosto korjaamaan itsensä uudelleen. Hetken kuluttua drift-tiedostoa ei tarvita, ja sen voi ehkä poistaa. Siksi on suoritettava seuraavat toimet. 

Huomautus: ntpd.service on vaikutukseton palvelu.

# viprexec -i "systemctl stop ntpd"
# viprexec -i "cat /var/lib/ntp/drift/ntp.drift
# viprexec -i "rm -f /var/lib/ntp/drift/ntp.drift"
# viprexec -i "ntpd -gq"
# viprexec -i "systemctl start ntpd"
# viprexec -i "ntpq -p"

Suorita vaatimustenmukaisuuden tarkistuskomentosarja uudelleen: viprexec -i "/opt/emc/caspian/fabric/agent/conf/compliance_check.sh"

Jos NTP-ryömintätiedostot ovat nolla, tarkista, onko NTP:ssä päivämääräpoikkeamia, ja käynnistä ntpd-palvelu uudelleen. 

# viprexec "date +%s" 2>&1 | grep "^15"

admin@node1:~> viprexec "date +%s" 2>&1 | grep "^15"
1554470147
1554470111
1554470096
1554470142
1554470144
1554470109
1554470124
1554470140

Solmujen välinen ero ilmaisee, että NTP-poikkeama ja ntpd-palvelu on käynnistettävä uudelleen. Tarkista ntpd-palvelun tila ja käynnistä palvelu uudelleen. (Vaikka tila olisi Ylös ja käynnissä, jatka uudelleenkäynnistykseen.) Huomautus: ntpd.service on vaikutukseton palvelu.

# viprexec systemctl status ntpd.service | grep Active:

admin@node1:~> viprexec systemctl status ntpd.service | grep Active:
   Active: active (running) since Tue 2019-08-06 02:49:06 UTC; 1 day 18h ago
   Active: active (running) since Tue 2019-08-06 02:49:07 UTC; 1 day 18h ago
   Active: active (running) since Wed 2019-08-07 20:13:27 UTC; 58min ago
   Active: active (running) since Tue 2019-08-06 02:49:06 UTC; 1 day 18h ago
   Active: active (running) since Tue 2019-08-06 02:49:07 UTC; 1 day 18h ago
   Active: active (running) since Tue 2019-08-06 02:49:07 UTC; 1 day 18h ago
   Active: active (running) since Tue 2019-08-06 02:49:07 UTC; 1 day 18h ago
   Active: active (running) since Tue 2019-08-06 02:49:07 UTC; 1 day 18h ago

# viprexec -i "systemctl restart ntpd.service"

admin@node1:~> viprexec systemctl restart ntpd.service
Output from host : 192.168.219.1
Output from host : 192.168.219.2
Output from host : 192.168.219.3
Output from host : 192.168.219.4
Output from host : 192.168.219.5
Output from host : 192.168.219.6
Output from host : 192.168.219.7
Output from host : 192.168.219.8

NTP-poikkeama on ratkaistava:

# viprexec -i "date +%s" 2>&1 | grep "^15"

admin@node1:~> viprexec -i "date +%s" 2>&1 | grep "^15"
1585746672
1585746672
1585746672
1585746672
1585746672
1585746672
1585746672
1585746672

Jos ongelma jatkuu tai ei vastaa edellä mainittua ongelmaa, ota yhteyttä ECS:n tekniseen tukeen.

Jos edellä mainittu ratkaisu ei toimi, asiakkaan verkkotiimin on pyydettävä ratkaisemaan NTP-ongelma.

Katso oire "NTP daemon not running" (NTPD_NOT_RUNNING) knowledge article:
ECS: xDoctor: RAP081: Symptom Code: 2048: NTP-daemon ei ole käynnissä

Katso oire "Kaikki NTP-palvelimet EIVÄT sovellu synkronointiin" (NTP_NOT_SUITABLE_ERROR) knowledge article:
ECS: xDoctor: RAP081: Symptom Code: 2048: Kaikki NTP-palvelimet EIVÄT sovellu synkronointiin.

Katso oire "Kaikki NTP-palvelimet säätävät poikkeamaa virhekynnystä korkeammaksi" (NTP_ERROR_OFFSET_ERROR), katso knowledge article:
ECS: xDoctor: RAP081: Symptom Code: 2048: Kaikki NTP-palvelimet säätävät poikkeamaa virhekynnystä korkeammalle.