PowerScale: Lectura de mensajes de registro de CloudPools
Summary: Cómo analizar mensajes en los registros de CloudPools.
Instructions
CloudPools registra mensajes en función de las actividades o las tareas que se realizan, el problema que se encuentra o el motivo del mensaje. A menudo, se pueden pasar por alto los detalles de estos mensajes, pero proporcionan información importante para la interpretación. Puede encontrar estos mensajes en el archivo messages isi_cpool_d.log or in isi_cpool_io_d.log.
He aquí un par de ejemplos:
2017-07-03T13:03:59-06:00 <3.3> isilon-1 isi_cpool_d[2547]: [0x800710610]: /b/mnt/src/isilon/lib/isi_cpool_d/task_processing_thread_pool.cpp:run_consumer_function:196: run_consumer_function complete for task ([cache-invalidation/1:054d:b5b7::HEAD]): Writing Cache Header: Read-only file system from write_header (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_cache.cpp:360) from clear_state (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_cache.cpp:907): clearing cacheheader state from isi_cbm_invalidate_cache_i (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_invalidate.cpp:262): Could not reset CACHED state flag for 1:054d:b5b7 from isi_cbm_invalidate_cached_file_opt (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_invalidate.cpp:518)
Una clave importante para delimitar el origen y la causa del mensaje es la información de la tarea:
Task ([cache-invalidation/1:054d:b5b7::HEAD])
El tipo de tarea (cache-invalidation) apunta a un trabajo de nube que generó el mensaje. En este caso, el trabajo 2, el trabajo de invalidación de caché:
tf80-1# isi cloud jobs list ID Description Effective State Type -------------------------------------------------------------------------------------- 1 Write updated data back to the cloud running cache-writeback 2 Expire CloudPools cache running cache-invalidation 3 Clean up cache and stub file metadata running local-garbage-collection 4 Clean up unreferenced data in the cloud running cloud-garbage-collection 491 error archive 492 error archive>
El LIN se puede utilizar para rastrear el LIN en ese sistema, si aún existe.
Si el tipo de tarea no se indica en el mensaje, aún puede determinar el tipo de operación.
He aquí un ejemplo:
Si viste estos mensajes:
2018-08-13T12:49:38+02:00 <3.6> Isilon-1 isi_cpool_d[4520]: [0x80f7d0610]: /b/mnt/src/isilon/lib/isi_cloud_api/cl_provider.cpp:do_with_retry_common:73: Operation: get_object, current try: 0, total retries: 140733193388032, total failures: 1, error: clapi error: CL_OBJ_NOT_FOUND; AEC_NOT_FOUND 2018-08-13T12:49:38+02:00 <3.3> Isilon-1 isi_cpool_d[4520]: [0x80f7d0610]: /b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_error_util.cpp:send_cloudpools_event:314: isi_cpool_cbm error in isi_cph_read_md_blob: CloudPools Object not found. provider RAN, devid 1, account X210_cloud, entitypath m0007430b5526ccc7be54980e747b9db7883ai11/007034b0250780fde1b5283187d98e49_00000000_1, filename , lin 0, offset -1, errormessage clapi error: CL_OBJ_NOT_FOUND; AEC_NOT_FOUND: [error code: CBM_CLAPI_OBJECT_NOT_FOUND]Esta información indica el proceso y el subproceso. Puede mirar hacia atrás en el archivo de registro (en este caso,
isi_cpool_d.log) para la inicialización de ese subproceso. Esta es la inicialización de ese subproceso:
2018-05-23T07:51:43+02:00 <3.6> Isilon-1 isi_cpool_d[4520]: [0x80f7d0610]: /b/mnt/src/isilon/lib/isi_cpool_d/task_processing_thread_pool.cpp:start_thread:506: starting normal thread for type cloud-gc
Un proceso de recolección de elementos no utilizados en la nube detectó este error. El mensaje "Object Not Found" no indica pérdida de datos. Debido a que esto ocurre durante un proceso rutinario de recolección de elementos no utilizados y limpieza, el objeto ya estaba programado para su eliminación. Si se hubiera tratado de una operación de recuperación, el error habría sido más significativo.
En ocasiones, se proporciona el motivo del problema:
Writing Cache Header: Read-only file system Could not reset CACHED state flag for 1:054d:b5b7
El sistema no puede restablecer la marca de estado de caché para el LIN porque el sistema de archivos está en un estado de solo lectura. En este caso específico, este era un mensaje normal y esperado en una ruta de destino de SyncIQ, pero se debe investigar si la ruta es o debe ser de solo lectura.
Otro ejemplo:
2017-06-19T09:13:15-04:00 <3.7> isilon-2 isi_cpool_d[4531]: [0x80ef97c10]: /b/mnt/src/isilon/lib/isi_cpool_d/task_processing_thread_pool.cpp:run_consumer_function:196: run_consumer_function complete for task ([archive/1:5d01:0232::HEAD]/CloudPool-5yrs): File modified after stubbing began; lin 1:5d01:0232: [error code: CBM_STALE_STUB_ERROR] from write_map_core (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_mapper.cpp:1615) from write_map (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_mapper.cpp:1653) from isi_cph_create_stub (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_archive.cpp:1073) from isi_cbm_archive_common (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_archive.cpp:934) from isi_cbm_archive (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_archive.cpp:312)
En este caso, se está procesando una tarea de archivo:
archive/1:5d01:0232::HEAD
Determine la política de pool de archivos:
CloudPool-5yrs
No se puede determinar el trabajo de archivo de CloudPools específico a partir de este error.
Qué ha pasado:
File modified after stubbing began; lin 1:5d01:0232.
Compruebe ese archivo y vea si se puede convertir en stub (debería ocurrir durante el próximo archivo para esa ruta).
Algunos otros mensajes de error de CloudPools proporcionan más errores crípticos. En estos casos, normalmente puedes determinar la tarea como parte de la pista, pero es posible que tengas que investigar un poco para averiguar el significado del error.
Por ejemplo:
varlog.tar/log/messages: 2017-04-20T18:47:52-06:00 <3.3> isilon-6 isi_cpool_d[3856]: [0x80f24f710]: /b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_error_util.cpp:send_cloudpools_event:314: isi_cpool_cbm error in isi_cph_read_md_blob: CloudPools Object not found. provider AWS, devid 6, account isilon archive, entitypath m000743091d8878539854870242892ceaa45di36/007034b0dea80d459f85b4a16d82cc48_00000000_0, filename , lin 0, offset -1, errormessage clapi error: CL_OBJ_NOT_FOUND; The specified key does not exist.: [error code: CBM_CLAPI_OBJECT_NOT_FOUND]
Esto te dice un poco:
- Qué es el proveedor de servicio en la nube:
Provider AWS - Qué nodo detectó el error:
Devid 6 - Cuenta que se utilizó:
Account isilon archive - ¿Cuál es la ruta del objeto que se busca en la nube?:
entitypath m000743091d8878539854870242892ceaa45di36/007034b0dea80d459f85b4a16d82cc48_00000000_0. - Cuál es el problema:
error message clapi error: CL_OBJ_NOT_FOUND; The specified key does not exist.: [error code: CBM_CLAPI_OBJECT_NOT_FOUND
En este caso, vea si ese objeto se puede encontrar en el almacenamiento de nube.
Algunos otros casos:
An error occurred on the Cloud Storage - Check the cloud storage logs or errors: CL_SVR_INTERNAL_ERROR; We encountered an internal error. Please try again.: [error code: CBM_CLAPI_SERVER_ERROR] A network error occurred - make sure that Node can connect to the cloud: CL_COULDNT_CONNECT; Couldn't connect to server: error buf: couldn't connect to host: [error code: CBM_CLAPI_COULDNT_CONNECT] Authentication Failed - Make sure that the account identified has access on the Cloud target: CL_AUTHENTICATION_FAILED; 401: [error code: CBM_CLAPI_AUTHENTICATION_FAILED]