PowerScale : Lecture des messages du journal CloudPools

CloudPools consigne les messages en fonction des activités ou des tâches en cours d’exécution, du problème rencontré ou de la raison du message. Les détails de ces messages peuvent souvent être manqués, mais fournissent des informations importantes pour l’interprétation. Vous trouverez ces messages dans le fichier messages isi_cpool_d.log or in isi_cpool_io_d.log. 

En voici quelques exemples :

2017-07-03T13:03:59-06:00 <3.3> isilon-1 isi_cpool_d[2547]: [0x800710610]: /b/mnt/src/isilon/lib/isi_cpool_d/task_processing_thread_pool.cpp:run_consumer_function:196: 
run_consumer_function complete for task ([cache-invalidation/1:054d:b5b7::HEAD]): Writing Cache Header: Read-only file system     
from write_header (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_cache.cpp:360)     
from clear_state (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_cache.cpp:907): clearing cacheheader state     
from isi_cbm_invalidate_cache_i (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_invalidate.cpp:262): 
Could not reset CACHED state flag for 1:054d:b5b7     
from isi_cbm_invalidate_cached_file_opt (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_invalidate.cpp:518)

Les informations sur la tâche sont une clé importante pour affiner la source et la cause du message :

Task ([cache-invalidation/1:054d:b5b7::HEAD])

Le type de tâche (invalidation du cache) pointe vers une tâche Cloud qui a généré le message. Dans ce cas, la tâche 2, la tâche d’invalidation du cache :

tf80-1# isi cloud jobs list

ID   Description                             Effective State  Type
--------------------------------------------------------------------------------------
1    Write updated data back to the cloud    running          cache-writeback

2    Expire CloudPools cache                 running          cache-invalidation

3    Clean up cache and stub file metadata   running          local-garbage-collection

4    Clean up unreferenced data in the cloud running          cloud-garbage-collection

491                                          error            archive

492                                          error            archive>

Le LIN peut être utilisé pour localiser le LIN sur ce système, s’il existe encore.

Si le type de tâche n’est pas appelé dans le message, vous pouvez toujours déterminer le type d’opération.

Voici un exemple :
Si vous avez vu ces messages :

2018-08-13T12:49:38+02:00 <3.6> Isilon-1 isi_cpool_d[4520]: [0x80f7d0610]: /b/mnt/src/isilon/lib/isi_cloud_api/cl_provider.cpp:do_with_retry_common:73:  Operation: get_object, current try: 0, total retries: 140733193388032, total failures: 1, error: clapi error: CL_OBJ_NOT_FOUND; AEC_NOT_FOUND

2018-08-13T12:49:38+02:00 <3.3> Isilon-1 isi_cpool_d[4520]: [0x80f7d0610]: /b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_error_util.cpp:send_cloudpools_event:314: isi_cpool_cbm error in isi_cph_read_md_blob: CloudPools Object not found.  provider RAN, devid 1, account X210_cloud, entitypath m0007430b5526ccc7be54980e747b9db7883ai11/007034b0250780fde1b5283187d98e49_00000000_1, filename , lin 0, offset -1, errormessage clapi error: CL_OBJ_NOT_FOUND; AEC_NOT_FOUND: [error code: CBM_CLAPI_OBJECT_NOT_FOUND]

2018-05-23T07:51:43+02:00 <3.6> Isilon-1 isi_cpool_d[4520]: [0x80f7d0610]: /b/mnt/src/isilon/lib/isi_cpool_d/task_processing_thread_pool.cpp:start_thread:506: starting normal thread for type cloud-gc

Cette erreur a été détectée lors d’un processus de nettoyage de la mémoire dans le Cloud. Le message « Object Not Found » n’indique pas une perte de données. Étant donné que cela se produit au cours d’un processus de nettoyage et de nettoyage de la mémoire de routine, la suppression de l’objet a déjà été planifiée. S’il s’était agi d’une opération de rappel, l’erreur aurait été plus importante.

La raison du problème est parfois indiquée :

Writing Cache Header: Read-only file system

Could not reset CACHED state flag for 1:054d:b5b7

Le système ne peut pas réinitialiser la balise d’état du cache pour le LIN, car le système de fichiers est en lecture seule. Dans ce cas précis, il s’agissait d’un message normal et attendu sur un chemin cible SyncIQ, mais une enquête doit être menée pour déterminer si le chemin est ou doit être en lecture seule.

Autre exemple :

2017-06-19T09:13:15-04:00 <3.7> isilon-2 isi_cpool_d[4531]: [0x80ef97c10]: /b/mnt/src/isilon/lib/isi_cpool_d/task_processing_thread_pool.cpp:run_consumer_function:196: 
run_consumer_function complete for task ([archive/1:5d01:0232::HEAD]/CloudPool-5yrs): File modified after stubbing began; lin 1:5d01:0232: [error code: CBM_STALE_STUB_ERROR]     
from write_map_core (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_mapper.cpp:1615)     
from write_map (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_mapper.cpp:1653)     
from isi_cph_create_stub (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_archive.cpp:1073)     
from isi_cbm_archive_common (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_archive.cpp:934)     
from isi_cbm_archive (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_archive.cpp:312)

Dans ce cas, une tâche d’archivage est en cours de traitement :

archive/1:5d01:0232::HEAD

Déterminez la règle de pools de fichiers :

CloudPool-5yrs

La tâche d’archivage CloudPools spécifique ne peut pas être déterminée à partir de cette erreur.

Que s'est-il passé:

File modified after stubbing began; lin 1:5d01:0232.

Vérifiez ce fichier et voyez s’il peut être un fichier stub (il devrait l’être lors de la prochaine archive pour ce chemin).

D’autres messages d’erreur CloudPools fournissent des erreurs plus énigmatiques. Dans ces cas, vous pouvez généralement déterminer la tâche dans le cadre de l’indice, mais vous devrez peut-être faire des recherches pour comprendre la signification de l’erreur.

Par exemple :

varlog.tar/log/messages:

2017-04-20T18:47:52-06:00 <3.3> isilon-6 isi_cpool_d[3856]: [0x80f24f710]: /b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_error_util.cpp:send_cloudpools_event:314: isi_cpool_cbm error in isi_cph_read_md_blob: CloudPools Object not found. provider AWS, devid 6, account isilon archive, entitypath m000743091d8878539854870242892ceaa45di36/007034b0dea80d459f85b4a16d82cc48_00000000_0, filename , lin 0, offset -1, errormessage clapi error: CL_OBJ_NOT_FOUND; The specified key does not exist.: [error code: CBM_CLAPI_OBJECT_NOT_FOUND]

Cela vous en dit un peu long :

• Qu’est-ce qu’un fournisseur de Cloud ? Provider AWS
• Quel nœud a rencontré l’erreur : Devid 6
• Compte utilisé : Account isilon archive
• Quel est le chemin d’accès de l’objet recherché dans le Cloud : entitypath m000743091d8878539854870242892ceaa45di36/007034b0dea80d459f85b4a16d82cc48_00000000_0.
• Quel est le problème : error message clapi error: CL_OBJ_NOT_FOUND; The specified key does not exist.: [error code: CBM_CLAPI_OBJECT_NOT_FOUND

Dans ce cas, vérifiez si cet objet se trouve dans le stockage dans le Cloud.

Quelques autres cas :

An error occurred on the Cloud Storage - Check the cloud storage logs or errors:

CL_SVR_INTERNAL_ERROR; We encountered an internal error. Please try again.: [error code: CBM_CLAPI_SERVER_ERROR]

A network error occurred - make sure that Node can connect to the cloud:

CL_COULDNT_CONNECT; Couldn't connect to server: error buf: couldn't connect to host: [error code: CBM_CLAPI_COULDNT_CONNECT]

Authentication Failed - Make sure that the account identified has access on the Cloud target:

CL_AUTHENTICATION_FAILED; 401: [error code: CBM_CLAPI_AUTHENTICATION_FAILED]