PowerScale : La base de données du moteur de tâches signale un état verrouillé ou un long temps d’attente avant la succession

Les tâches passent plusieurs fois en attente.

Les mises à jour de la base de données prennent beaucoup de temps.

Dans l' isi_job_d.log et messages.log, des messages concernant les longs temps d’attente, les verrous de base de données et les éventuels nœuds de saut de coordinateur de tâches sont fréquents.

Symptôme 1 :
isi_job_d.log Signale une longue attente avant la réussite d’une mise à jour :

isi_job_d[45179]: Reports database update (job state) succeeded but took 11272 ms

Symptôme 2 :
isi_job_d.log La base de données des rapports est verrouillée :

isi_job_d[97274]: Failed to update Jobs (state): database is locked

Symptôme 3 : 
Le coordinateur de tâches bascule fréquemment d’un nœud à l’autre :

2018-05-02T02:00:48Z <24.5> cluster01-39(id58) cluster01-39 isi_job_d[31517]: Becoming job engine coordinator
2018-05-02T02:11:26Z <24.5> cluster01-33(id52) cluster01-33 isi_job_d[36865]: Becoming job engine coordinator
2018-05-02T02:25:39Z <24.5> cluster01-33(id52) cluster01-33 isi_job_d[37310]: Becoming job engine coordinator
2018-05-02T02:36:25Z <24.5> cluster01-37(id56) cluster01-37 isi_job_d[77098]: Becoming job engine coordinator
2018-05-02T02:38:24Z <24.5> cluster01-37(id56) cluster01-37 isi_job_d[77167]: Becoming job engine coordinator
2018-05-02T02:43:33Z <24.5> cluster01-39(id58) cluster01-39 isi_job_d[32917]: Becoming job engine coordinator
2018-05-02T02:59:58Z <24.5> cluster01-39(id58) cluster01-39 isi_job_d[33518]: Becoming job engine coordinator
2018-05-02T03:02:44Z <24.5> cluster01-39(id58) cluster01-39 isi_job_d[33782]: Becoming job engine coordinator
2018-05-02T03:08:02Z <24.5> cluster01-39(id58) cluster01-39 isi_job_d[33969]: Becoming job engine coordinator

1. Le moteur de tâches signale la base de données (reports.db) est constamment mis à jour en raison d’une tâche longue qui génère de nombreuses mises à jour.
2. Chaque mise à jour du fichier est effectuée six fois sur l’ensemble du cluster. La réduction de son niveau de protection accélère visiblement les mises à jour.
3. En fonction de la durée de pause dans isi_papi_d, vous vous attendez à ce que le coordinateur expire dans son écriture dans la base de données (consignation). Il peut également réussir, mais consigner que l’écriture a pris plus de temps que souhaité, en se connectant à isi_job_d.log dans les deux cas.

isi get -DD /ifs/.ifsvar/modules/jobengine/reports.db

cluster01-16# isi get -DD /ifs/.ifsvar/modules/jobengine/reports.db
POLICY   W   LEVEL PERFORMANCE COAL  ENCODING      FILE              IADDRS
8x        8     6x concurrency off   UTF-8         reports.db        <25,14,1575794508288:512>, <26,17,484528026624:512>, <26,31,924241684480:512>, <27,31,145164204544:512>, <28,30,2451893562880:512>, <29,29,6440579584:512> ct: 1506750730 rt: 0
*************************************************
* IFS inode: [ 25,14,1575794508288:512, 26,17,484528026624:512, 26,31,924241684480:512, 27,31,145164204544:512, 28,30,2451893562880:512, 29,29,6440579584:512 ]
*************************************************
...
*  Protection Policy:  8x
*  Target Protection:  6x                  <-- six times protection

Ce problème a été signalé aux ingénieurs Dell. Cet article est mis à jour au fur et à mesure que de nouvelles informations sont disponibles.

Pour contourner ce problème, exécutez la commande suivante pour modifier le niveau de protection de la base de données des rapports de tâches comme suit :

1. Suspendez toutes les tâches en cours d’exécution. Vérifiez qu’aucune tâche n’est en cours d’exécution à l’aide de la commande :

isi job status

2. Désactivez le moteur de tâches et vérifiez isi_job_d Est inactif sur tous les nœuds :

isi services -a isi_job_d disable
isi_for_array -sX 'ps auxww |grep -i isi_job_d |grep -v grep'

3. Modifiez le niveau de protection du reports.db Jusqu’à 3 configurations d’accès aléatoire :

isi set -r -g reprotect -a random -p 3x -F /ifs/.ifsvar/modules/jobengine/reports.db

4. Une nouvelle exécution de la commande ci-dessous devrait confirmer reports.db a changé :

isi get -DD /ifs/.ifsvar/modules/jobengine/reports.db

cluster01-16# isi get -DD /ifs/.ifsvar/modules/jobengine/reports.db
POLICY   W   LEVEL PERFORMANCE COAL  ENCODING      FILE              IADDRS
3x       3      3x random off   UTF-8         reports.db        <25,14,1575794508288:512>, <26,31,924241684480:512>, <29,16,157594713088:512> ct: 1506750730 rt: 0
*************************************************
* IFS inode: [ 25,14,1575794508288:512, 26,31,924241684480:512, 29,16,157594713088:512 ]
*************************************************
*...
*  Protection Policy:  3x
*  Target Protection:  3x

5. Activez le moteur de tâches :

isi services -a isi_job_d enable
isi_for_array -sX 'ps auxww |grep -i isi_job_d |grep -v grep'

6. Relancez les tâches suspendues. Les messages dans isi_job_d.log devrait s’atténuer.

Les éléments ci-dessus doivent être répartis à nouveau reports.db à 3x immédiatement. Toutefois, certains utilisateurs peuvent configurer leur tâche SmartPools pour qu’elle fonctionne sur tous les fichiers au lieu des fichiers par défaut.

• Dans le journal complet :

[xus25@elvis 2021-09-24-003]$ cat local/isi_storagepool_settings
     Automatically Manage Protection: all  <<<<
Automatically Manage Io Optimization: all 

• Sur un cluster actif

steven-8220-1# isi storagepool settings view
     Automatically Manage Protection: all  <<<<
Automatically Manage Io Optimization: all 

Si l’option « automatically manage » est définie sur all, la tâche SmartPools suivante peut effectuer un nouveau rembobinage reports.db Retour au miroir 6x ou 8x.
Pour éviter cela, suggérez de définir « Gérer automatiquement la protection » sur « files_at_default ».

Lorsqu’elle est définie sur « files_at_default », les tâches SmartPools ignorent les fichiers gérés manuellement, ce qui signifie qu’elles laissent reports.db avec le niveau de protection que nous avons spécifié.

Voici quelques ressources recommandées sur ce sujet qui peuvent vous intéresser :

• PowerScale : exécution de l’outil Isilon On-Cluster Analysis 
• Isilon : PowerScale : OneFS : Résolution des problèmes de performances