VxRail: VxVerify-ongelmien vianmääritys ennen VxRail-päivitystä

Tämä tietämyskannan artikkeli käsittelee ongelmia, jotka estävät VxVerifyn suorittamisen onnistuneesti.

Tähän tietoartikkeliin viitataan testeistä, joiden asianmukaiselle vastaukselle ei ole kohdennettu artikkelia (esimerkiksi: Varoitus, Virhe ja Kriittinen). Esimerkki tästä on kysely, joka palauttaa kyselystä odottamattoman vastauksen.

VxVerify on suunniteltu havaitsemaan ongelmia, jotka voivat aiheuttaa komplikaatioita tai vikoja VxRail-päivitysten aikana. VxVerify luo kätyreiksi kutsuttuja Python-ohjelmia, jotka lähetetään VxRail-solmuihin. Alla on tyypilliset testitulokset, joita voidaan odottaa vxverify_tests.json:

Jos testitulos on väärä positiivinen, kerää VxVerify-lokit ja pyydä Dell-tukea avaamaan Jira VXV -tukipyyntö VxRail Engineeringin kautta.

On useita syitä, jotka voivat estää VxVerifyn onnistumisen.

• Yleisin syy virheisiin on Python-komentosarjan vanhentuminen. Kukin VxVerify-versio on määritetty kestämään vain kaksi viikkoa julkaisupäivästä. Tämä ei päde, kun VxVerify suoritetaan VxRailin kuntotarkistuskehyksen laajennuksena (joka muuttaa VxVerify-toimintoa).
• Muita syitä voivat olla VxRail Managerin käyttöoikeusongelmat tai viestintäongelmat isäntien kanssa.
• Jos tapahtuman syy on epäselvä, pyydä Dell-tukea avaamaan VXV-tukipyyntö VxRail Engineeringin kautta.

Seuraavassa osassa on ohjeet lokien keräämiseen ja vianmääritykseen, jos VxVerify ei toimi oikein.

Lokitietojen kerääminen tukitoimia varten

Kun otat yhteyttä tukeen VxVerifyhin liittyvissä ongelmissa, lataa koko arkistoitu tiedosto vxv analyysikansio tai vxverify Kirjaudu .zip Tiedosto. Nykyiset VxVerify-erillisversiot tallentavat arkistoidun tiedoston kansioon /tmp, jolla on kaikki tarvittavat tulokset ja lokit analysointia varten.

Esimerkki: /tmp/vxverify-c9.zip

Tämän lisäksi .zip viimeisimmän VxVerify-testin aikana, enintään viisi aiempien lokien sarjaa voi olla /tmp Kansio. Nimillä on päivämäärä-aika, jolloin ne suoritettiin tiedostomääritteissä: 

vxv_previous_01.zip

Vaihtoehtoisesti voit arkistoida kaikki tarvittavat tiedostot suorittamalla seuraavan komennon:

tar cvzf vxverify-2020-12-31.tgz /tmp/vxv/

Vianmääritys

VxVerify 2:n (VxRail 4.5, 4.7 ja 7.0.000) tyypilliset vianmääritysvaiheet)

• VxVerify tarvitsee Pythonin toimiakseen, ja komentorivi sen suorittamiseen on seuraava:

python /tmp/vxv/vxverify.pyc

• Jos maaginen numerovirhe ilmenee, se tarkoittaa yleensä, että VxRM:n Python-versiossa käytetään väärää VxVerify-versiota. Esimerkiksi alla oleva virhe ilmenee, jos suoritat VxVerify 2:n versiossa 7.0.320.

RuntimeError: Bad magic number in .pyc file

• Lisätietoja oikean VxVerify-version tarkistamisesta on artikkelissa (alla oleva linkki edellyttää todennusta Dellin tukiportaaliin):
  • VxRail: VxRail Verify -työkalun suorittaminen (VxVerify Releases -osa) 
• VxVerify luo kätyreiksi kutsuttuja ohjelmia, jotka lähetetään, suoritetaan ja haetaan SSH. Jos SSH voidaan käyttää, vaikka se ei olisi vielä käytössä, VxVerify käynnistyy SSH kullekin isännälle komennot suoritetaan. Jos isännät ovat lukittuina, missä SSH ei voi suorittaa, kätyrit eivät voi suorittaa, ja isäntätestit palauttavat tuloskoodin: 2 (epäonnistui) tai 3 (kriittinen). Jos näin tapahtuu, keskustele SSH käyttöoikeudet järjestelmänvalvojan kanssa.
• VxVerify2 on suunniteltu toimimaan Python 2.7:ssä, jonka pitäisi olla VxRM-virtuaalikoneessa ja joka on yleensä ainoa saatavilla oleva Python-versio. Jos Python-versioita on enemmän, testaa se suorittamalla seuraava (tässä on -h vaihtoehto, joka on --help):

python2.7 vxverify.pyc -h

VxVerify kirjoittaa lokeja ja tulostustiedostoja kohteeseen /tmp/vxv/. Jos sillä ei ole riittäviä käyttöoikeuksia, sitä ei voi suorittaa. Tarkista kansion käyttöoikeudet seuraavilla komennoilla. Jos kaikilla käyttäjillä ei ole luku- ja kirjoitusoikeuksia, lisää ne chmod (root-käyttöoikeuksia saatetaan tarvita):

$ ls -lad /tmp/vxv

drwxrwxrwx  3 mystic   users      4096 Oct  1 07:42 vxv

• Jos käyttöoikeusvirheet jatkuvat VxVerifyssä (esimerkiksi 'Aiempien lokien poistaminen estetty 'Lupa evätty.'), yritä poistaa vxv kansio, jossa on seuraava komento (root-salasanaa tarvitaan: sudo pääsy). Tämän poistokomennon suorittamisen jälkeen VxVerify on asennettava uudelleen käyttäen vain mystic-oikeuksia:

sudo rm -r -d /tmp/vxv

• Toinen vaihtoehto on tallentaa VxVerify-tulostustiedostot uuteen kansioon. VxVerify luo puun, jos sitä ei ole, käyttämällä -l tai --log -vaihtoehto, jonka jälkeen polku, johon lokit tallennetaan. Esimerkki:

python vxverify.pyc -l /tmp/vx1

VxVerify2:n ja VxVerify 3:n (VxRail 7.0.010+) välisten erojen vianmääritys

VxRail 7.0.010 -versiossa ja uudemmissa on käytettävä VxVerify 3:a VxRM:n perustavanlaatuisten muutosten vuoksi.

Samat vianmääritysvaiheet VxVerify2:lle koskevat myös VxVerify3:a, Paitsi:

• VxVerify3:n Python-versio on 3.6.
• Niiden sivustopakettien sijainti, joita VxVerify edellyttää muutoksiksi, sijaitsee jossakin seuraavista sijainneista:
  • /mystic/telemetry/DCManager/venv/lib/python3.6/site-packages
  • /mystic/radar/venv/lib/python3.6/site-packages
• Jos mystic-käyttäjä ei voi käyttää kumpaakaan näistä kansioista, VxVerify-ohjelma antaa virheilmoituksen sivustopaketeista ja poistumisesta.
  • Ongelman voi kiertää käyttämällä pääkäyttäjää.

Aikakatkaisut

Jos kätyriin vastaaminen kestää yli 20 minuuttia, VxVerifyn on lisättävä aikakatkaisutapahtuma yhteenvetotaulukkoon.

| Node-name  |Critical 66460| minion: Maximum run time for minion exceeded

• Vastaava vxv.log Tähän liittyvät merkinnät ovat:

2022-10-06 06:42:51-WARNING  Creating a fault json for missing minion

2022-10-06 06:42:51-WARNING  [fail_minion] Producing result file for lab-esx22, due to: Maximum run time for minion exceeded. See minion logs in /tmp/vxv

• Tämä on tarkistettava katsomalla kyseisen isännän kätyrilokista, kohtasiko kätyri virheen, jonka vuoksi se pysähtyi, vai jatkuiko testaus hitaasti ja sen valmistumisaika loppui.
• Jos kätyri suoritetaan oikein, seuraavien rivien pitäisi olla lokin viimeiset rivit:

2022-10-06 06:39:30 INFO    Writing to JSON: /tmp/xc882-61f1f3b9-7cb2-130a-35b0-minion.json

2022-10-06 06:39:30 INFO    JSON save: os.stat_result(st_mode=33206, st_ino=47144, st_dev=1, st_nlink=1, st_uid=0, st_gid=0, st_size=499562, st_atime=1665038370, st_mtime=1665038370, st_ctime=1665038370)

2022-10-06 06:39:30 DEBUG   ESXi minion's work is done.

JSON-tiedostonsiirto ei toimi

Jos isäntäkätyrin tuloksia ei voi siirtää SCP:llä tai SFTP:llä takaisin VxRM:ään, tulostaulukossa voidaan nähdä seuraavat:

| Node-name  |Critical 66460| minion: No JSON downloaded from node via SSH

• Vastaava vxv.log Tähän liittyvät merkinnät ovat:

2022-10-06 06:42:51-WARNING  Creating a fault json for missing minion

2022-10-06 06:42:51-WARNING  [fail_minion] Producing result file for lab-esx22, due to: No JSON downloaded from node via SSH. See minion logs in /tmp/vxv

• Tämä on tarkistettava katsomalla kyseisen isännän kätyrilokista, kohtasiko kätyri virheen, joka aiheutti sen pysähtymisen, vai tuotettiinko JSON-tiedosto, jota ei voitu käyttää SSH.
• Jos kätyri suoritetaan oikein, seuraavien pitäisi olla lokin viimeiset rivit, jotka osoittavat, että JSON tallennettiin onnistuneesti /tmp Solmun kansio:

2022-10-06 06:39:30 INFO    Writing to JSON: /tmp/xc882-61f1f3b9-7cb2-130a-35b0-minion.json

2022-10-06 06:39:30 INFO    JSON save: os.stat_result(st_mode=33206, st_ino=47144, st_dev=1, st_nlink=1, st_uid=0, st_gid=0, st_size=499562, st_atime=1665038370, st_mtime=1665038370, st_ctime=1665038370)

2022-10-06 06:39:30 DEBUG   ESXi minion's work is done.

Suositellut vaiheet yllä olevan vianmääritykseen ovat:

• Jos käytössä on VxVerify3, kokeile suorittaa --fix lippu, joka käyttää vaihtoehtoista SSH Mekanismi. Näin voidaan välttää joitakin SSH käyttöoikeuksiin liittyvät ongelmat.
• Määritä uusi polku käyttämällä -1 (kansiota ei tarvitse luoda ensin), mikä voi auttaa, jos VxRM-käyttöoikeusvirheet estävät tiedoston siirron:
• Esim. > python vxv2.pyc -l \tmp\vxv0
• Jos yllä oleva ei vieläkään toimi, ota tilannevedos VxRM: stä, ennen kuin puhdistat tarpeettomat tiedostot ja kansiot /tmp ja /home/mystic, kuten VxVerifyn aiemmin käyttämät.
• Käynnistä VxRM (VxRail Manager) uudelleen.

Jos VxVerify havaitsee virheen, jota ei voi korjata yllä olevilla toimilla, tallenna vxv-lokipaketti yllä kuvatulla tavalla ja eskaloi ongelma Dellin tuen kanssa.

Kirjautumis- ja tunnistetietovirheet VxVerify2:ssa ja VxVerify3:ssa

• VxVerify ei tarvitse tunnistetietoja VxRM:n (VxRail Manager) ja VxRail-solmujen testaamiseen. VxVerify voi käyttää salattuja tunnistetietoja suoraan VxRM-tietokannasta ja purkaa niiden salauksen ennen käyttöä. Joskus VC-hallinnan tunnistetietoja ei voi käyttää, jolloin tunnistetiedot voi määrittää VxVerify-komentorivillä:

python vxverify.py --verbose -u vxrailmgmt@localos -p ChangeMe1!

• Joidenkin vCenterin sallimien erikoismerkkien käyttö voi aiheuttaa ongelmia VxRail Managerissa (erityisesti Linux-komentotulkkia käyttävissä komennoissa). Varmista, että vCenter- tai ESXi-isäntien salasanoissa ei käytetä mitään seuraavista merkeistä:

` $ % / \

• Jos olet epävarma siitä, mitä käyttäjänimeä hallinnassa käytetään, ota yhteyttä vxv.log. Esimerkki:

... - DEBUG Users from runtime & settings records:     vxrailmgmt@localos & vxrailmgmt@localos

• SSH-yhteydellä tehtävät vCenter-testit edellyttävät pääkäyttäjänimeä ja salasanaa, jotka voidaan määrittää -r ja -w vaihtoehtoja. vCenter-testit suoritetaan vain, jos ne on määritetty (vaikka pääkäyttäjä on root, joka on oletusarvo, vain pääsalasana on määritettävä). Esimerkki:

python vxverify.py --verbose -w R00tPassword!

Esimerkkejä kriittisten testien epäonnistumisista

Ne voivat johtua vakavista virheistä, jotka estävät lisätestien suorittamisen. Jos esimerkiksi VxRM:ään tallennettu vCenter-hallintakäyttäjän käyttäjätunnus ja salasana eivät ole ajan tasalla, kaikki VC APIin tehdyt kyselyt epäonnistuvat eikä lisätestejä voi suorittaa. Esimerkkejä tästä:

#========================#======#=========#====================================================================#==============#
|  Hostname / Category   |Status  Dell_KB |  Warnings or Failures, unless tests Passed                         | Product S.N. |
#========================#======#=========#====================================================================#==============#
| VxRM                   | Critical 66460 | vc_external: VC MOB API connection failed                                        .| <- Stored vCenter password rejected
| VxRail                 | Critical 66460 | vxtii_err: Internal DO host query failed. See vxv.log for details in /tmp/vxv    .| <- ESXi node data cannot be retrieved from the VxRM config service
| _cluster               | Critical 66460 | esx_vers: No valid ESXi test results found                                       .| <- No ESXi tests could be run

VxVerify-tiedostot

VxVerify luo seuraavat tiedostot kohteessa /tmp/vxv/ tai /var/log/mystic/vxv/ (ellei toista kirjaamiskansiota ole määritetty käyttämällä -l argumentti).  Kaikki nämä tiedostot tallennetaan yhteen arkistotiedostoon /tmpKuten /tmp/vxverify-569ae010.zip tai /tmp/vxv_previous_01.zip.
Näiden tiedostojen manuaalinen tarkistus voi auttaa löytämään ongelmia klusterista, vaikka VxVerify-komentosarja ei valmistuisi kokonaan:   

• vxv.log - (VxVerify-komentosarjan lokitiedosto)
• minion_hostname.log - (kussakin isännässä käynnissä olevan kätyriskriptin etäloki)
• minion_hostname.txt - (kunkin kätyrin etätekstilähtö, josta näkyy, mikä testinumero on käynnissä)
• /json/host_uid.json - (kunkin minionin tuottama tiedosto, jossa on testitulokset, joka myöhemmin yhdistetään muihin isäntätietoihin ja poistetaan sitten)
• vxverify_tests.json - (kaikkien testien yhdistetty tulos, joka voidaan tarkistaa manuaalisesti jokaisen testituloksen näkemiseksi)
• vxtii.json - (isäntien yhdistetyt vastaukset kyselyihin, kuten iDRAC Hardware Inventory)
• vxtii.txt - (raportti, jossa esitetään yhteenveto kunkin solmun iDRAC- ja ESXi-tiedoista)
• vxverify.txt - (yhteenvetotaulukko, joka näkyy myös näytössä, jos VxVerifyä ei suoriteta hiljaisessa tilassa)
• vxverify.html - (yhdistetyt VxVerify- ja VxTii-raportit HTML-muodossa) (käytettävissä vain, kun VxVerify suoritetaan suoraan, eikä upotettuna VxRail Managerin kuntotarkistuksiin)