PowerScale: Lettura dei messaggi di registro di CloudPools
Summary: Come analizzare i messaggi nei registri CloudPools.
Instructions
CloudPools registra i messaggi in base alle attività o alle attività eseguite, al problema riscontrato o al motivo del messaggio. I dettagli di questi messaggi spesso possono essere trascurati, ma forniscono informazioni importanti per l'interpretazione. Puoi trovare questi messaggi nel file dei messaggi isi_cpool_d.log or in isi_cpool_io_d.log.
Ecco un paio di esempi:
2017-07-03T13:03:59-06:00 <3.3> isilon-1 isi_cpool_d[2547]: [0x800710610]: /b/mnt/src/isilon/lib/isi_cpool_d/task_processing_thread_pool.cpp:run_consumer_function:196: run_consumer_function complete for task ([cache-invalidation/1:054d:b5b7::HEAD]): Writing Cache Header: Read-only file system from write_header (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_cache.cpp:360) from clear_state (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_cache.cpp:907): clearing cacheheader state from isi_cbm_invalidate_cache_i (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_invalidate.cpp:262): Could not reset CACHED state flag for 1:054d:b5b7 from isi_cbm_invalidate_cached_file_opt (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_invalidate.cpp:518)
Una chiave importante per restringere l'origine e la causa del messaggio sono le informazioni sull'attività:
Task ([cache-invalidation/1:054d:b5b7::HEAD])
Il tipo di attività (cache-invalidation) rimanda a un processo cloud che ha generato il messaggio. In questo caso il job 2, il job di invalidazione della cache:
tf80-1# isi cloud jobs list ID Description Effective State Type -------------------------------------------------------------------------------------- 1 Write updated data back to the cloud running cache-writeback 2 Expire CloudPools cache running cache-invalidation 3 Clean up cache and stub file metadata running local-garbage-collection 4 Clean up unreferenced data in the cloud running cloud-garbage-collection 491 error archive 492 error archive>
La LIN può essere utilizzata per rintracciare la LIN su quel sistema, se esiste ancora.
Se il tipo di attività è indicato come Non indicato nel messaggio, è comunque possibile determinare il tipo di operazione.
Ecco un esempio:
Se hai visto questi messaggi:
2018-08-13T12:49:38+02:00 <3.6> Isilon-1 isi_cpool_d[4520]: [0x80f7d0610]: /b/mnt/src/isilon/lib/isi_cloud_api/cl_provider.cpp:do_with_retry_common:73: Operation: get_object, current try: 0, total retries: 140733193388032, total failures: 1, error: clapi error: CL_OBJ_NOT_FOUND; AEC_NOT_FOUND 2018-08-13T12:49:38+02:00 <3.3> Isilon-1 isi_cpool_d[4520]: [0x80f7d0610]: /b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_error_util.cpp:send_cloudpools_event:314: isi_cpool_cbm error in isi_cph_read_md_blob: CloudPools Object not found. provider RAN, devid 1, account X210_cloud, entitypath m0007430b5526ccc7be54980e747b9db7883ai11/007034b0250780fde1b5283187d98e49_00000000_1, filename , lin 0, offset -1, errormessage clapi error: CL_OBJ_NOT_FOUND; AEC_NOT_FOUND: [error code: CBM_CLAPI_OBJECT_NOT_FOUND]Queste informazioni indicano il processo e il thread. È possibile guardare indietro nel file di registro (in questo caso,
isi_cpool_d.log) per l'inizializzazione di tale thread. Di seguito è riportata l'inizializzazione per tale thread:
2018-05-23T07:51:43+02:00 <3.6> Isilon-1 isi_cpool_d[4520]: [0x80f7d0610]: /b/mnt/src/isilon/lib/isi_cpool_d/task_processing_thread_pool.cpp:start_thread:506: starting normal thread for type cloud-gc
Questo errore si è verificato in un processo di garbage collection nel cloud. Il messaggio "Object Not Found" non indica una perdita di dati. Poiché ciò si verifica durante un processo di garbage collection e pulizia di routine, l'oggetto era già pianificato per l'eliminazione. Se si fosse trattato di un'operazione di richiamo, l'errore sarebbe stato più significativo.
Talvolta viene fornito il motivo del problema:
Writing Cache Header: Read-only file system Could not reset CACHED state flag for 1:054d:b5b7
Il sistema non è in grado di reimpostare il flag dello stato della cache per la LIN perché il file system è in uno stato read-only. In questo caso specifico, si trattava di un messaggio normale e previsto su un percorso di destinazione SyncIQ, ma è necessario verificare se il percorso è o deve essere read-only.
Un altro esempio:
2017-06-19T09:13:15-04:00 <3.7> isilon-2 isi_cpool_d[4531]: [0x80ef97c10]: /b/mnt/src/isilon/lib/isi_cpool_d/task_processing_thread_pool.cpp:run_consumer_function:196: run_consumer_function complete for task ([archive/1:5d01:0232::HEAD]/CloudPool-5yrs): File modified after stubbing began; lin 1:5d01:0232: [error code: CBM_STALE_STUB_ERROR] from write_map_core (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_mapper.cpp:1615) from write_map (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_mapper.cpp:1653) from isi_cph_create_stub (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_archive.cpp:1073) from isi_cbm_archive_common (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_archive.cpp:934) from isi_cbm_archive (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_archive.cpp:312)
In questo caso, è in corso l'elaborazione di un attività di archiviazione:
archive/1:5d01:0232::HEAD
Determinare la policy del pool di file:
CloudPool-5yrs
Il processo di archiviazione CloudPools specifico non può essere determinato da questo errore.
Cos'è successo:
File modified after stubbing began; lin 1:5d01:0232.
Controlla quel file e vedi se può essere sottoposto a stub (dovrebbe durante l'archivio successivo per quel percorso).
Altri messaggi di errore CloudPools forniscono errori più criptici. In questi casi, di solito è possibile determinare l'attività come parte dell'indizio, ma potrebbe essere necessario fare qualche ricerca per capire il significato dell'errore.
Per esempio:
varlog.tar/log/messages: 2017-04-20T18:47:52-06:00 <3.3> isilon-6 isi_cpool_d[3856]: [0x80f24f710]: /b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_error_util.cpp:send_cloudpools_event:314: isi_cpool_cbm error in isi_cph_read_md_blob: CloudPools Object not found. provider AWS, devid 6, account isilon archive, entitypath m000743091d8878539854870242892ceaa45di36/007034b0dea80d459f85b4a16d82cc48_00000000_0, filename , lin 0, offset -1, errormessage clapi error: CL_OBJ_NOT_FOUND; The specified key does not exist.: [error code: CBM_CLAPI_OBJECT_NOT_FOUND]
Questo ti dice un po':
- Che cos'è il provider di cloud:
Provider AWS - Nodo che ha riscontrato l'errore:
Devid 6 - Quale account è stato utilizzato:
Account isilon archive - Qual è il percorso dell'oggetto cercato nel cloud:
entitypath m000743091d8878539854870242892ceaa45di36/007034b0dea80d459f85b4a16d82cc48_00000000_0. - Qual è il problema:
error message clapi error: CL_OBJ_NOT_FOUND; The specified key does not exist.: [error code: CBM_CLAPI_OBJECT_NOT_FOUND
In questo caso, verificare se l'oggetto è disponibile nel cloud storage.
Altri casi:
An error occurred on the Cloud Storage - Check the cloud storage logs or errors: CL_SVR_INTERNAL_ERROR; We encountered an internal error. Please try again.: [error code: CBM_CLAPI_SERVER_ERROR] A network error occurred - make sure that Node can connect to the cloud: CL_COULDNT_CONNECT; Couldn't connect to server: error buf: couldn't connect to host: [error code: CBM_CLAPI_COULDNT_CONNECT] Authentication Failed - Make sure that the account identified has access on the Cloud target: CL_AUTHENTICATION_FAILED; 401: [error code: CBM_CLAPI_AUTHENTICATION_FAILED]