PowerScale: Lendo mensagens de log do CloudPools

O CloudPools registra mensagens com base nas atividades ou tarefas que estão sendo executadas e no problema encontrado ou no motivo da mensagem. Os detalhes nessas mensagens muitas vezes podem ser perdidos, mas fornecem informações importantes para interpretação. Você pode encontrar essas mensagens no arquivo de mensagens isi_cpool_d.log or in isi_cpool_io_d.log. 

Aqui estão alguns exemplos:

2017-07-03T13:03:59-06:00 <3.3> isilon-1 isi_cpool_d[2547]: [0x800710610]: /b/mnt/src/isilon/lib/isi_cpool_d/task_processing_thread_pool.cpp:run_consumer_function:196: 
run_consumer_function complete for task ([cache-invalidation/1:054d:b5b7::HEAD]): Writing Cache Header: Read-only file system     
from write_header (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_cache.cpp:360)     
from clear_state (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_cache.cpp:907): clearing cacheheader state     
from isi_cbm_invalidate_cache_i (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_invalidate.cpp:262): 
Could not reset CACHED state flag for 1:054d:b5b7     
from isi_cbm_invalidate_cached_file_opt (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_invalidate.cpp:518)

Uma chave importante para restringir a origem e a causa da mensagem são as informações da tarefa:

Task ([cache-invalidation/1:054d:b5b7::HEAD])

O tipo de tarefa (cache-invalidation) aponta para um trabalho em nuvem que gerou a mensagem. Nesse caso, o trabalho de invalidação de cache:

tf80-1# isi cloud jobs list

ID   Description                             Effective State  Type
--------------------------------------------------------------------------------------
1    Write updated data back to the cloud    running          cache-writeback

2    Expire CloudPools cache                 running          cache-invalidation

3    Clean up cache and stub file metadata   running          local-garbage-collection

4    Clean up unreferenced data in the cloud running          cloud-garbage-collection

491                                          error            archive

492                                          error            archive>

O LIN pode ser usado para rastrear o LIN nesse sistema, se ele ainda existir.

Se o tipo de tarefa não for chamado na mensagem, você ainda poderá determinar o tipo de operação.

Aqui está um exemplo:
Se você viu estas mensagens:

2018-08-13T12:49:38+02:00 <3.6> Isilon-1 isi_cpool_d[4520]: [0x80f7d0610]: /b/mnt/src/isilon/lib/isi_cloud_api/cl_provider.cpp:do_with_retry_common:73:  Operation: get_object, current try: 0, total retries: 140733193388032, total failures: 1, error: clapi error: CL_OBJ_NOT_FOUND; AEC_NOT_FOUND

2018-08-13T12:49:38+02:00 <3.3> Isilon-1 isi_cpool_d[4520]: [0x80f7d0610]: /b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_error_util.cpp:send_cloudpools_event:314: isi_cpool_cbm error in isi_cph_read_md_blob: CloudPools Object not found.  provider RAN, devid 1, account X210_cloud, entitypath m0007430b5526ccc7be54980e747b9db7883ai11/007034b0250780fde1b5283187d98e49_00000000_1, filename , lin 0, offset -1, errormessage clapi error: CL_OBJ_NOT_FOUND; AEC_NOT_FOUND: [error code: CBM_CLAPI_OBJECT_NOT_FOUND]

2018-05-23T07:51:43+02:00 <3.6> Isilon-1 isi_cpool_d[4520]: [0x80f7d0610]: /b/mnt/src/isilon/lib/isi_cpool_d/task_processing_thread_pool.cpp:start_thread:506: starting normal thread for type cloud-gc

Um processo de coleta de lixo na nuvem encontrou esse erro. A mensagem "Objeto não encontrado" não indica perda de dados. Como isso ocorre durante um processo rotineiro de coleta e limpeza de lixo, o objeto já estava agendado para exclusão. Se esta tivesse sido uma operação de recuperação, o erro teria sido mais significativo.

O motivo do problema às vezes é fornecido:

Writing Cache Header: Read-only file system

Could not reset CACHED state flag for 1:054d:b5b7

O sistema não consegue redefinir o indicador de estado do cache para o LIN porque o file system está em um estado somente leitura. Nesse caso específico, essa era uma mensagem normal e esperada em um caminho de destino do SyncIQ, mas é preciso investigar se o caminho é ou deve ser somente leitura.

Outro exemplo:

2017-06-19T09:13:15-04:00 <3.7> isilon-2 isi_cpool_d[4531]: [0x80ef97c10]: /b/mnt/src/isilon/lib/isi_cpool_d/task_processing_thread_pool.cpp:run_consumer_function:196: 
run_consumer_function complete for task ([archive/1:5d01:0232::HEAD]/CloudPool-5yrs): File modified after stubbing began; lin 1:5d01:0232: [error code: CBM_STALE_STUB_ERROR]     
from write_map_core (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_mapper.cpp:1615)     
from write_map (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_mapper.cpp:1653)     
from isi_cph_create_stub (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_archive.cpp:1073)     
from isi_cbm_archive_common (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_archive.cpp:934)     
from isi_cbm_archive (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_archive.cpp:312)

Nesse caso, uma tarefa de arquivamento está sendo processada:

archive/1:5d01:0232::HEAD

Determine a política de pools de arquivos:

CloudPool-5yrs

O trabalho de arquivamento específico do CloudPools não pode ser determinado a partir desse erro.

O que aconteceu:

File modified after stubbing began; lin 1:5d01:0232.

Verifique esse arquivo e veja se ele pode ser colocados em stub (deve durante o próximo arquivamento para esse caminho).

Algumas outras mensagens de erro do CloudPools apresentam mais erros enigmáticos. Nesses casos, você geralmente pode determinar a tarefa como parte da pista, mas pode ter que fazer alguma pesquisa para descobrir o significado do erro.

Por exemplo:

varlog.tar/log/messages:

2017-04-20T18:47:52-06:00 <3.3> isilon-6 isi_cpool_d[3856]: [0x80f24f710]: /b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_error_util.cpp:send_cloudpools_event:314: isi_cpool_cbm error in isi_cph_read_md_blob: CloudPools Object not found. provider AWS, devid 6, account isilon archive, entitypath m000743091d8878539854870242892ceaa45di36/007034b0dea80d459f85b4a16d82cc48_00000000_0, filename , lin 0, offset -1, errormessage clapi error: CL_OBJ_NOT_FOUND; The specified key does not exist.: [error code: CBM_CLAPI_OBJECT_NOT_FOUND]

Isso diz um pouco:

• O que é o provedor de serviços em nuvem: Provider AWS
• Qual nó encontrou o erro: Devid 6
• Qual conta foi usada: Account isilon archive
• Qual é o caminho do objeto que está sendo procurado na nuvem: entitypath m000743091d8878539854870242892ceaa45di36/007034b0dea80d459f85b4a16d82cc48_00000000_0.
• Qual é o problema: error message clapi error: CL_OBJ_NOT_FOUND; The specified key does not exist.: [error code: CBM_CLAPI_OBJECT_NOT_FOUND

Nesse caso, veja se esse objeto pode ser encontrado no armazenamento em nuvem.

Alguns outros casos:

An error occurred on the Cloud Storage - Check the cloud storage logs or errors:

CL_SVR_INTERNAL_ERROR; We encountered an internal error. Please try again.: [error code: CBM_CLAPI_SERVER_ERROR]

A network error occurred - make sure that Node can connect to the cloud:

CL_COULDNT_CONNECT; Couldn't connect to server: error buf: couldn't connect to host: [error code: CBM_CLAPI_COULDNT_CONNECT]

Authentication Failed - Make sure that the account identified has access on the Cloud target:

CL_AUTHENTICATION_FAILED; 401: [error code: CBM_CLAPI_AUTHENTICATION_FAILED]