Metrosolmu: Lokien kerääminen metrosolmusta

Seuraavien tehtävien suorittamisen vaiheet:

1. Mitä lokeja tarvitaan metrosolmun ongelmien virheenkorjaukseen?
2. Miten voin tallentaa metrosolmuklusterin diagnostiikkatietoja?
3. Miten nykyiset diagnostiikkatietopaketit vahvistetaan hallintapalvelimissa?
4. Kuinka peruuttaa ja puhdistaa käynnissä oleva keräysdiagnostiikka metrosolmussa?

A. Mitä lokeja tarvitaan metrosolmun ongelmien virheenkorjaukseen?

1. Lokien keräämiseen metrosolmusta tarvittava komento on collect-diagnostics, ja sen voi suorittaa mistä tahansa solmusta (*1) metrosolmuasetuksissa. Kun tämä komento suoritetaan yhdessä Metro Node -klusterin Directorissa, pitäisi olla kaikki tiedot kaikista Directoreista ja klusterin kaikista solmuista. ÄLÄ suorita tätä komentoa useammassa kuin yhdessä solmussa kerrallaan.

   *1 HUOMAUTUS: Suorita collect-diagnostics-komento vain yhdestä Directorista vain yhdelle klusterille, jos kyseessä on Metro-kokoonpano, ja odota sen valmistumista, ennen kuin keräät CD-levyt toiselta Directorilta tai tarvittaessa vertaisklusterista.

2. Collect-diagnostics-komento tuottaa pakatun tar.gz lokitiedoston, joka sisältää määritys- ja lokitiedostot. Collect-diagnostics-tiedosto sijaitsee sen solmun /diag/collect-diagnostics-out/-hakemistossa, josta se suoritettiin. Kun komento on valmis, kopioi tiedosto solmusta WINSCP:n tai vastaavan SCP-apuohjelman avulla, minkä jälkeen se voidaan toimittaa tukemaan analysointia. Lisätietoja tämän komennon käyttämisestä on jäljempänä osassa B.

   Huomautuksia:

   • Jos collect-diagnostics-komento suoritetaan ilman vaihtoehtoja, luodaan kaksi tiedostoa, perustiedosto ja laajennettu tiedosto. Tämä voi kestää melko kauan skaalatuissa järjestelmissä.
   • Metrosolmun tuki vaatii yleensä vain perustiedoston, mutta joissakin tapauksissa suorituskykyongelmia he voivat pyytää myös laajennetulle tiedostolle.
   • Vakioasetukset, joita voidaan pyytää käytettäväksi collect-diagnostics-komennon suorittamisessa, ovat:
     • "--noextended": Tämä vaihtoehto jättää pois laajennetun vianmäärityksen kokoelman.
     • "--last-logs": Tämä vaihtoehto tallentaa lokit taaksepäin x tuntien tai päivien määrän.
   • Saat lisätietoja komennosta kirjoittamalla collect-diagnostics -h

   Nämä ovat esimerkkejä siitä, miltä nämä kaksi tiedostonimeä näyttävät, päivämäärä ja kellonaika, jotka näkyvät YYYY-MM-DD-HH.MM.SS, ovat päivämäärästä ja kellonajasta, jolloin ne kerättiin:

   • Perustiedosto: <Serial number>-c1-diag-YYYY-MM-DD-HH.MM.SS.tar.gz
   • Laajennettu tiedosto: <Serial number>-c1-diag-ext-YYYY-MM-DD-HH.MM.SS.tar.gz

3. Suorituskykyongelmat ovat monimutkaisia ja vaativat paljon yksityiskohtaista tietoa. Tämän seurauksena meillä on suorituskykykysely, joka asiakkaita pyydetään täyttämään prosessin nopeuttamiseksi. Kyselylomake on tämän tietokannan artikkelin liitteenä liitteen lopussa olevassa osiossa.

4. Joissakin suorituskykyongelmatyypeissä kannattaa kerätä ylimääräinen loki nimeltä fe_perf_stats. Lokeja luodaan jatkuvasti, mutta keräysdiagnostiikka ei tallenna niitä. Loki tallennetaan siirtymällä cd (vaihda hakemisto) hakemistoon /var/log/VPlex/cli kunkin klusterin solmussa ja pakkaamalla tiedostojen tiedot tar-tiedostoon komennolla tar cvzf fe-perf-stats.tar.gz fe_perf_stats*. Muodosta yhteys solmuun WINSCP:llä tai vastaavalla SCP-apuohjelmalla ja siirry hakemistoon /var/log/VPlex/cli. Kopioi fe-perf-stats.tar.gz-tiedosto järjestelmään. Lataa tar-tiedosto ja vähintään yksi kerätty diagnostiikkatiedosto, jos tuki pyytää sitä, palvelupyyntöön tai ftp-linkkiin, jonka tuki tarjoaa sinulle palvelupyynnössä ja sähköpostitse.

5. Diagnostiikan keräämisen lisäksi voi olla hyödyllistä kerätä seuraavat tiedot:

   • Avaa kittiistunnon lokikirjaus,
   • Suorita sitten alla olevat komennot,
   • Kerää sitten Putty-loki ja lataa se järjestelmään,
   • Liitä PuTTY-loki, kerätty diagnostiikka ja muut pyydetyt tiedot palvelupyyntöön.

   Seuraavat komennot on suoritettava VPlexcli-kehotteessa.

   1. cluster status
   2. ll clusters/**/storage-views/* --full
   3. ll ~ports
   4. show-use-hierarchy /clusters/**/virtual-volumes/*
   5. ll ~system-volumes
   6. ls -t /clusters/*/directors/*::serial-number (tässä komennossa luetellaan kunkin solmun kaikki DST:t)
   7. ls -t /clusters/**/director-*/::hostname (näytetyt isäntänimet ovat IP-osoitteet, tämä on odotettavissa)

B. Miten voin tallentaa metrosolmuklusterin diagnostiikkatietoja?

1. Muodosta SSH-istunto ohjaussolmun Linux-kehotteessa, esimerkiksi service@director-1-1-a, ja kirjaudu sitten vplexcliin.

   Esimerkkitulos:

   login as: service
   Keyboard-interactive authentication prompts from server:
   | Password:
   End of keyboard-interactive prompts from server
   Last login: <date and timestamp data> from x.x.x.x
   service@director-1-1-a:~>
   service@director-1-1-a:~> vplexcli
   Trying ::1...
   Connected to localhost.
   Escape character is '^]'.
   
   VPlexcli:/>

2. Käynnistä diagnostiikka suorittamalla vplexcli-kehotteessa collect-diagnostics-komento alla olevan esimerkin mukaisilla ohjatuilla asetuksilla.

   Esimerkkitulos:

   VPlexcli:/> collect-diagnostics --noextended --last-logs 30d 
   
   ('WARNING:The collect-diagnostics command was issued with option --noextended.
   ',) 
   
   The following file(s) will NOT be collected: 
   
           core files 
           fast trace dump files 
           slow trace dump files 
           udcom trace dump files 
           udcom legacy trace files 
           user-defined performance sink files 
           the management console's heap 
   
   ('WARNING:Only the logs that are generated in the last 30 days are collected.') 
   
   2024-02-09 19:55:12 UTC: ****Initializing collect-diagnostics... 
   2024-02-09 19:55:13 UTC: No cluster-witness server found. 
   2024-02-09 19:55:13 UTC: Free space = 88G 
   2024-02-09 19:55:13 UTC: Total space needed = 1907M 
   
   ================================================================================ 
   
   Starting collect-diagnostics, this operation might take a while... 
   
   ================================================================================ 
   
   Executing cluster collection ..

C. Directorin/solmun olemassa olevien collect-diagnostics-pakettien tarkistaminen.

1. Kun collect-diagnostics-komento on valmis ja palaa vplexcli-kehotteeseen, muodosta yhteys siihen directoriin, jossa suoritit komennon winscp:llä [tai vastaavalla SCP-apuohjelmalla], ja siirry kansioon /diag/collect-diagnostics-out/

2. Etsi yksi tai useampi lokitiedosto oikealla aikaleimalla ja lataa ne paikalliseen työasemaan.

D. Meneillään olevan keräysdiagnostiikan peruuttaminen

1. Jos olet edelleen PuTTY-istunnossa, jossa aloitit collect-diagnostics-vianmäärityksen, komennon gather-diagnostics output streaming -toiminnon pitäisi näkyä edelleen.

   Esimerkkitulos:

   VPlexcli:/> collect-diagnostics --noextended --last-logs 30d 
   
   ('WARNING:The collect-diagnostics command was issued with option --noextended.
   ',) 
   
   The following file(s) will NOT be collected: 
   
           core files 
           fast trace dump files 
           slow trace dump files 
           udcom trace dump files 
           udcom legacy trace files 
           user-defined performance sink files 
           the management console's heap 
   
   ('WARNING:Only the logs that are generated in the last 30 days are collected.') 
   
   2022-02-09 19:55:12 UTC: ****Initializing collect-diagnostics... 
   2022-02-09 19:55:13 UTC: No cluster-witness server found. 
   2022-02-09 19:55:13 UTC: Free space = 88G 
   2022-02-09 19:55:13 UTC: Total space needed = 1907M 
   
   ================================================================================ 
   
   Starting collect-diagnostics, this operation might take a while... 
   
   ================================================================================ 
   
   Executing cluster collection ..

2. Avaa PuTTY-istunnon kaksoiskappale ja kirjaudu palvelutilin avulla siihen directoriin, josta aloitit collect-diagnostics-komennon.

   Esimerkkitulos:

   login as: service 
   Using keyboard-interactive authentication. 
   Password: 
   Last login: <date and time stamp data> from x.x.x.x 
   service@director-1-1-b:~>

3. Kun olet Directorissa, käynnistä hallintakonsoli uudelleen seuraavalla komennolla peruuttaaksesi käynnissä olevan collect-diagnosticsin.

   Esimerkkitulos:

   service@director-1-1-b:~> sudo systemctl restart VPlexManagementConsole.service

4. Kun katsot ensimmäistä PuTTY-istuntoa, jossa collect-diagnostics oli käynnissä, kun käynnistit hallintakonsolin uudelleen, sinun pitäisi nähdä collect-diagnostics-raportti ja seuraava viimeisenä kirjattuna tuloksena:

   "Connection closed by foreign host."

   Näytteen tulostus (tarkista tulosteen viimeinen rivi):

   VPlexcli:/> collect-diagnostics --noextended --last-logs 30d 
   
   ('WARNING:The collect-diagnostics command was issued with option --noextended.
   ',) 
   
   The following file(s) will NOT be collected: 
   
           core files 
           fast trace dump files 
           slow trace dump files 
           udcom trace dump files 
           udcom legacy trace files 
           user-defined performance sink files 
           the management console's heap 
   
   ('WARNING:Only the logs that are generated in the last 30 days are collected.') 
   
   2022-02-09 20:02:03 UTC: ****Initializing collect-diagnostics... 
   2022-02-09 20:02:04 UTC: No cluster-witness server found. 
   2022-02-09 20:02:04 UTC: Free space = 88G 
   2022-02-09 20:02:04 UTC: Total space needed = 1907M 
   
   ================================================================================ 
   
   Starting collect-diagnostics, this operation might take a while... 
   
   ================================================================================ 
   
   Executing cluster collection ..                               ERROR 
   Executing SMS log collection ..                               Connection closed by foreign host. <<<

5. Kun collect-diagnostics on pysäytetty, siirry yllä olevaan vaiheeseen 3, palaa toiseen PuTTY-istuntoon ja siirry cd-komennolla /diag-hakemistoon, suorita sitten ll ja sinun pitäisi nähdä ylimääräisiä hakemistoja,

   • collect-diagnostics-tmp
   • collect-diagnostics-jobs
   • collect-diagnostics-tmp-ext*
     *Jos laajennettuja tiedostoja ei jätetty pois

   Esimerkkitulos:

   service@director-1-1-b:/diag> ll 
   total 32 
   drwxr-xr-x 2 service groupSvc  4096 Feb  9 20:03 collect-diagnostics-tmp-ext
   drwxr-xr-x 2 service groupSvc  4096 Feb  9 20:03 collect-diagnostics-jobs 
   drwxr-xr-x 2 service groupSvc  4096 Feb  9 20:04 collect-diagnostics-out 
   drwxr-xr-x 3 service groupSvc  4096 Feb  9 20:02 collect-diagnostics-tmp 
   drwx------ 2 root    root     16384 Jan 27 16:54 lost+found 
   drwx--x--x 3 service groupSvc  4096 Dec 17 03:08 share 
   service@director-1-1-b:/diag>

6. Jos katsot kunkin hakemiston sisällä, näet tiedostoja, joissa on päivämäärä ja aika, jolloin aloitit nyt peruutetun collect-diagnostics-vianmäärityksen. Nämä tiedostot vievät tilaa /diag-osiossa, ja ne on poistettava.

7. Jos haluat poistaa tiedostot /diag-hakemistosta, kirjoita "rm -r collect-diagnostics-jobs" ja "rm -r collect-diagnostics-tmp" ja varmista, että hakemistot on poistettu tai poistettu, kirjoittamalla uudelleen ll

   Esimerkkitulos:

   service@director-1-1-b:/diag> rm -r collect-diagnostics-jobs 
   service@director-1-1-b:/diag> rm -r collect-diagnostics-tmp 
   
   service@director-1-1-b:/diag> ll 
   total 24 
   drwxr-xr-x 2 service groupSvc  4096 Feb  9 20:04 collect-diagnostics-out 
   drwx------ 2 root    root     16384 Jan 27 16:54 lost+found 
   drwx--x--x 3 service groupSvc  4096 Dec 17 03:08 share 
   service@director-1-1-b:/diag>

8. Jos collect-diagnostics-tmp-ext-hakemisto on olemassa, poista se suorittamalla komento rm -r collect-diagnostics-tmp-ext

   Huomautus: Laajennettua tiedostoa käytetään tavallisesti solmun kaatumisten tutkimiseen. Jos solmun kaatumista tutkitaan parhaillaan eikä tuki ole kerännyt kaikkia tarvittavia lokeja, tarkista asia tuelta ennen collect-diagnostics-tmp-ext-hakemiston tyhjentämistä, sillä se saattaa poistaa tarvittavat ydintiedostot.