PowerScale: De database van de taakengine rapporteert vergrendeld of er is een lange wachttijd voor opvolging

Banen gaan meerdere keren in een wachtstatus.

Database-updates nemen veel tijd in beslag.

In het isi_job_d.log als messages.log, worden er regelmatig berichten gezien over lange wachttijden, databasevergrendelingen en mogelijke springknooppunten voor taakcoördinatoren.

Symptoom 1:
isi_job_d.log Meldt een lange wachttijd voor een geslaagde update:

isi_job_d[45179]: Reports database update (job state) succeeded but took 11272 ms

Symptoom 2:
isi_job_d.log Rapportendatabase is vergrendeld:

isi_job_d[97274]: Failed to update Jobs (state): database is locked

Symptoom 3: 
Taakcoördinator wisselt regelmatig van knooppunt:

2018-05-02T02:00:48Z <24.5> cluster01-39(id58) cluster01-39 isi_job_d[31517]: Becoming job engine coordinator
2018-05-02T02:11:26Z <24.5> cluster01-33(id52) cluster01-33 isi_job_d[36865]: Becoming job engine coordinator
2018-05-02T02:25:39Z <24.5> cluster01-33(id52) cluster01-33 isi_job_d[37310]: Becoming job engine coordinator
2018-05-02T02:36:25Z <24.5> cluster01-37(id56) cluster01-37 isi_job_d[77098]: Becoming job engine coordinator
2018-05-02T02:38:24Z <24.5> cluster01-37(id56) cluster01-37 isi_job_d[77167]: Becoming job engine coordinator
2018-05-02T02:43:33Z <24.5> cluster01-39(id58) cluster01-39 isi_job_d[32917]: Becoming job engine coordinator
2018-05-02T02:59:58Z <24.5> cluster01-39(id58) cluster01-39 isi_job_d[33518]: Becoming job engine coordinator
2018-05-02T03:02:44Z <24.5> cluster01-39(id58) cluster01-39 isi_job_d[33782]: Becoming job engine coordinator
2018-05-02T03:08:02Z <24.5> cluster01-39(id58) cluster01-39 isi_job_d[33969]: Becoming job engine coordinator

1. De database met rapporten van de Job engine (reports.db) wordt voortdurend bijgewerkt vanwege een langlopende taak die veel updates genereert.
2. Elke update van het bestand wordt zes keer uitgevoerd in het cluster. Het verlagen van het beschermingsniveau maakt de updates blijkbaar sneller.
3. Afhankelijk van de hoeveelheid tijd die is onderbroken in isi_papi_d, verwacht u een time-out van de coördinator te zien bij het schrijven naar de database (logging). Het kan ook lukken, maar log dat het schrijven langer duurde dan gewenst, loggen naar isi_job_d.log in beide gevallen.

isi get -DD /ifs/.ifsvar/modules/jobengine/reports.db

cluster01-16# isi get -DD /ifs/.ifsvar/modules/jobengine/reports.db
POLICY   W   LEVEL PERFORMANCE COAL  ENCODING      FILE              IADDRS
8x        8     6x concurrency off   UTF-8         reports.db        <25,14,1575794508288:512>, <26,17,484528026624:512>, <26,31,924241684480:512>, <27,31,145164204544:512>, <28,30,2451893562880:512>, <29,29,6440579584:512> ct: 1506750730 rt: 0
*************************************************
* IFS inode: [ 25,14,1575794508288:512, 26,17,484528026624:512, 26,31,924241684480:512, 27,31,145164204544:512, 28,30,2451893562880:512, 29,29,6440579584:512 ]
*************************************************
...
*  Protection Policy:  8x
*  Target Protection:  6x                  <-- six times protection

Dell Engineering onderzoekt het probleem. Dit artikel wordt bijgewerkt zodra er meer informatie beschikbaar komt.

U kunt dit probleem omzeilen door de volgende opdracht uit te voeren om het beschermingsniveau van de database met taakrapporten als volgt te wijzigen:

1. Pauzeer alle actieve taken. Controleer of er geen taken worden uitgevoerd met de opdracht:

isi job status

2. Schakel de taak-engine uit en verifieer isi_job_d is dood op alle knooppunten:

isi services -a isi_job_d disable
isi_for_array -sX 'ps auxww |grep -i isi_job_d |grep -v grep'

3. Wijzig het beschermingsniveau van de reports.db Naar 3x Random Access Layout:

isi set -r -g reprotect -a random -p 3x -F /ifs/.ifsvar/modules/jobengine/reports.db

4. Als u de onderstaande opdracht nog een keer uitvoert, bevestigt u reports.db is gewijzigd:

isi get -DD /ifs/.ifsvar/modules/jobengine/reports.db

cluster01-16# isi get -DD /ifs/.ifsvar/modules/jobengine/reports.db
POLICY   W   LEVEL PERFORMANCE COAL  ENCODING      FILE              IADDRS
3x       3      3x random off   UTF-8         reports.db        <25,14,1575794508288:512>, <26,31,924241684480:512>, <29,16,157594713088:512> ct: 1506750730 rt: 0
*************************************************
* IFS inode: [ 25,14,1575794508288:512, 26,31,924241684480:512, 29,16,157594713088:512 ]
*************************************************
*...
*  Protection Policy:  3x
*  Target Protection:  3x

5. Schakel de taakengine in:

isi services -a isi_job_d enable
isi_for_array -sX 'ps auxww |grep -i isi_job_d |grep -v grep'

6. Taken hervatten. De berichten in isi_job_d.log zou moeten verminderen.

Het bovenstaande moet restripe reports.db tot 3x onmiddellijk. Sommige gebruikers kunnen hun SmartPools taak echter configureren om te werken op 'alle' bestanden in plaats van op 'standaard'.

• In het volledige logboek:

[xus25@elvis 2021-09-24-003]$ cat local/isi_storagepool_settings
     Automatically Manage Protection: all  <<<<
Automatically Manage Io Optimization: all 

• On a live cluster

steven-8220-1# isi storagepool settings view
     Automatically Manage Protection: all  <<<<
Automatically Manage Io Optimization: all 

Als 'automatically manage' is ingesteld op all, kan de volgende SmartPools taak restripe reports.db Terug naar 6x of 8x spiegel.
Om dit te voorkomen, kunt u het beste instellen om 'Automatisch bescherming beheren' in te stellen op 'files_at_default'.

Als deze is ingesteld op 'files_at_default', omzeilen SmartPools-taken handmatig beheerde bestanden, wat betekent dat ze blijven staan reports.db met het beschermingsniveau dat we hebben opgegeven.

Hier zijn enkele aanbevolen bronnen met betrekking tot dit onderwerp die mogelijk interessant zijn:

• PowerScale: De IOCA Cluster Analysis Tool uitvoeren 
• Isilon: PowerScale: OneFS: Troubleshooting performance issues