PowerScale: Työmoduulin tietokanta raportoi lukitusta tai pitkää odotusaikaa sukupolveen

Työpaikat menevät odotustilaan useita kertoja.

Tietokantapäivitykset kestävät kauan.

Vuonna isi_job_d.log ja messages.log, viestejä nähdään pitkistä odotusajoista, tietokannan lukituksista ja mahdollisista työkoordinaattorin hyppäävistä solmuista usein.

Ongelma 1:
isi_job_d.log Raportoi pitkän odotuksen onnistuneesta päivityksestä:

isi_job_d[45179]: Reports database update (job state) succeeded but took 11272 ms

Ongelma 2:
isi_job_d.log Raporttitietokanta on lukittu:

isi_job_d[97274]: Failed to update Jobs (state): database is locked

Oire 3: 
Työkoordinaattori vaihtaa solmua säännöllisesti:

2018-05-02T02:00:48Z <24.5> cluster01-39(id58) cluster01-39 isi_job_d[31517]: Becoming job engine coordinator
2018-05-02T02:11:26Z <24.5> cluster01-33(id52) cluster01-33 isi_job_d[36865]: Becoming job engine coordinator
2018-05-02T02:25:39Z <24.5> cluster01-33(id52) cluster01-33 isi_job_d[37310]: Becoming job engine coordinator
2018-05-02T02:36:25Z <24.5> cluster01-37(id56) cluster01-37 isi_job_d[77098]: Becoming job engine coordinator
2018-05-02T02:38:24Z <24.5> cluster01-37(id56) cluster01-37 isi_job_d[77167]: Becoming job engine coordinator
2018-05-02T02:43:33Z <24.5> cluster01-39(id58) cluster01-39 isi_job_d[32917]: Becoming job engine coordinator
2018-05-02T02:59:58Z <24.5> cluster01-39(id58) cluster01-39 isi_job_d[33518]: Becoming job engine coordinator
2018-05-02T03:02:44Z <24.5> cluster01-39(id58) cluster01-39 isi_job_d[33782]: Becoming job engine coordinator
2018-05-02T03:08:02Z <24.5> cluster01-39(id58) cluster01-39 isi_job_d[33969]: Becoming job engine coordinator

1. Job Engine -raporttien tietokanta (reports.db) päivitetään jatkuvasti pitkäaikaisen työn vuoksi, joka tuottaa paljon päivityksiä.
2. Jokainen tiedoston päivitys tehdään klusterissa kuusi kertaa. Sen suojaustason alentaminen ilmeisesti nopeuttaa päivityksiä.
3. Riippuen siitä, kuinka kauan tauko on kulunut isi_papi_d, odotat näkeväsi koordinaattorin aikakatkaisun sen kirjoittamisessa tietokantaan (kirjaaminen). Se voi myös onnistua, mutta kirjaa, että kirjoitus kesti toivottua kauemmin, kirjautumalla isi_job_d.log molemmissa tapauksissa.

isi get -DD /ifs/.ifsvar/modules/jobengine/reports.db

cluster01-16# isi get -DD /ifs/.ifsvar/modules/jobengine/reports.db
POLICY   W   LEVEL PERFORMANCE COAL  ENCODING      FILE              IADDRS
8x        8     6x concurrency off   UTF-8         reports.db        <25,14,1575794508288:512>, <26,17,484528026624:512>, <26,31,924241684480:512>, <27,31,145164204544:512>, <28,30,2451893562880:512>, <29,29,6440579584:512> ct: 1506750730 rt: 0
*************************************************
* IFS inode: [ 25,14,1575794508288:512, 26,17,484528026624:512, 26,31,924241684480:512, 27,31,145164204544:512, 28,30,2451893562880:512, 29,29,6440579584:512 ]
*************************************************
...
*  Protection Policy:  8x
*  Target Protection:  6x                  <-- six times protection

Dellin tekninen osasto tutkii ongelmaa. Tätä artikkelia päivitetään, kun lisätietoja tulee saataville.

Voit kiertää tämän ongelman muuttamalla työraporttitietokannan suojaustasoa seuraavalla komennolla seuraavasti:

1. Keskeytä käynnissä olevat työt. Varmista, että käynnissä ei ole töitä komennolla

isi job status

2. Poista työmoduuli käytöstä ja tarkista isi_job_d on kuollut kaikissa solmuissa:

isi services -a isi_job_d disable
isi_for_array -sX 'ps auxww |grep -i isi_job_d |grep -v grep'

3. Muuta suojaustasoa: reports.db 3x satunnaisen käytön asetteluun:

isi set -r -g reprotect -a random -p 3x -F /ifs/.ifsvar/modules/jobengine/reports.db

4. Toisen alla olevan komennon pitäisi vahvistaa reports.db on muuttunut:

isi get -DD /ifs/.ifsvar/modules/jobengine/reports.db

cluster01-16# isi get -DD /ifs/.ifsvar/modules/jobengine/reports.db
POLICY   W   LEVEL PERFORMANCE COAL  ENCODING      FILE              IADDRS
3x       3      3x random off   UTF-8         reports.db        <25,14,1575794508288:512>, <26,31,924241684480:512>, <29,16,157594713088:512> ct: 1506750730 rt: 0
*************************************************
* IFS inode: [ 25,14,1575794508288:512, 26,31,924241684480:512, 29,16,157594713088:512 ]
*************************************************
*...
*  Protection Policy:  3x
*  Target Protection:  3x

5. Ota työmoottori käyttöön:

isi services -a isi_job_d enable
isi_for_array -sX 'ps auxww |grep -i isi_job_d |grep -v grep'

6. Jatka töitä. Viestit isi_job_d.log pitäisi vähentää.

Edellä mainitun pitäisi levätä reports.db 3x välittömästi. Jotkut käyttäjät voivat kuitenkin määrittää SmartPools-työnsä toimimaan "kaikkien" tiedostojen kanssa oletusarvon sijaan.

• Koko lokissa:

[xus25@elvis 2021-09-24-003]$ cat local/isi_storagepool_settings
     Automatically Manage Protection: all  <<<<
Automatically Manage Io Optimization: all 

• Käytössä olevassa klusterissa

steven-8220-1# isi storagepool settings view
     Automatically Manage Protection: all  <<<<
Automatically Manage Io Optimization: all 

Kun "hallitse automaattisesti" -asetuksena on kaikki, seuraava SmartPools-työ saattaa palautua reports.db Takaisin 6x tai 8x peiliin.
Voit välttää tämän ehdottamalla asetukseksi 'Hallitse suojausta automaattisesti' arvoksi 'files_at_default'.

Kun asetuksena on files_at_default, SmartPools-työt ohittavat manuaalisesti hallitut tiedostot, mikä tarkoittaa, että se poistuu reports.db millä tahansa määrittämällämme suojaustasolla.

Seuraavassa on joitakin suositeltuja tähän aiheeseen liittyviä resursseja, jotka saattavat kiinnostaa:

• PowerScale: IOCA-klusterianalyysityökalun suorittaminen 
• Isilon: PowerScale: OneFS: Suorituskykyongelmien vianmääritys