PowerScale. Чтение сообщений журнала CloudPools

CloudPools регистрирует сообщения на основе выполняемых действий или задач, а также возникшей проблемы или причины сообщения. Детали в этих посланиях часто могут быть упущены, но они дают важную информацию для интерпретации. Эти сообщения можно найти в файле сообщений isi_cpool_d.log or in isi_cpool_io_d.log. 

Вот несколько примеров:

2017-07-03T13:03:59-06:00 <3.3> isilon-1 isi_cpool_d[2547]: [0x800710610]: /b/mnt/src/isilon/lib/isi_cpool_d/task_processing_thread_pool.cpp:run_consumer_function:196: 
run_consumer_function complete for task ([cache-invalidation/1:054d:b5b7::HEAD]): Writing Cache Header: Read-only file system     
from write_header (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_cache.cpp:360)     
from clear_state (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_cache.cpp:907): clearing cacheheader state     
from isi_cbm_invalidate_cache_i (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_invalidate.cpp:262): 
Could not reset CACHED state flag for 1:054d:b5b7     
from isi_cbm_invalidate_cached_file_opt (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_invalidate.cpp:518)

Важным ключом для сужения круга источников и причин сообщения является информация о задаче:

Task ([cache-invalidation/1:054d:b5b7::HEAD])

Тип задачи (cache-invalidation) указывает на облачное задание, создавшее сообщение. В данном случае задание 2, задание аннулирования кэша:

tf80-1# isi cloud jobs list

ID   Description                             Effective State  Type
--------------------------------------------------------------------------------------
1    Write updated data back to the cloud    running          cache-writeback

2    Expire CloudPools cache                 running          cache-invalidation

3    Clean up cache and stub file metadata   running          local-garbage-collection

4    Clean up unreferenced data in the cloud running          cloud-garbage-collection

491                                          error            archive

492                                          error            archive>

Номер LIN можно использовать для поиска LIN в этой системе, если он еще существует.

Если тип задачи в сообщении Не выделен, все равно можно определить тип операции.

Вот пример:
Если вы видели эти сообщения:

2018-08-13T12:49:38+02:00 <3.6> Isilon-1 isi_cpool_d[4520]: [0x80f7d0610]: /b/mnt/src/isilon/lib/isi_cloud_api/cl_provider.cpp:do_with_retry_common:73:  Operation: get_object, current try: 0, total retries: 140733193388032, total failures: 1, error: clapi error: CL_OBJ_NOT_FOUND; AEC_NOT_FOUND

2018-08-13T12:49:38+02:00 <3.3> Isilon-1 isi_cpool_d[4520]: [0x80f7d0610]: /b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_error_util.cpp:send_cloudpools_event:314: isi_cpool_cbm error in isi_cph_read_md_blob: CloudPools Object not found.  provider RAN, devid 1, account X210_cloud, entitypath m0007430b5526ccc7be54980e747b9db7883ai11/007034b0250780fde1b5283187d98e49_00000000_1, filename , lin 0, offset -1, errormessage clapi error: CL_OBJ_NOT_FOUND; AEC_NOT_FOUND: [error code: CBM_CLAPI_OBJECT_NOT_FOUND]

2018-05-23T07:51:43+02:00 <3.6> Isilon-1 isi_cpool_d[4520]: [0x80f7d0610]: /b/mnt/src/isilon/lib/isi_cpool_d/task_processing_thread_pool.cpp:start_thread:506: starting normal thread for type cloud-gc

Возникла эта ошибка при выполнении процесса сборки мусора в облаке. Сообщение «Объект не найден» не указывает на потерю данных. Поскольку это происходит во время обычного процесса сборки и очистки мусора, удаление объекта уже было запланировано. Если бы это была операция отзыва, то ошибка была бы более существенной.

Причина проблемы иногда указывается:

Writing Cache Header: Read-only file system

Could not reset CACHED state flag for 1:054d:b5b7

Системе не удается сбросить флаг состояния кэша для LIN, так как файловая система находится в состоянии «доступно только для чтения». В данном конкретном случае это было обычное и ожидаемое сообщение в целевом пути SyncIQ, но необходимо выяснить, является ли этот путь доступным только для чтения.

Другой пример:

2017-06-19T09:13:15-04:00 <3.7> isilon-2 isi_cpool_d[4531]: [0x80ef97c10]: /b/mnt/src/isilon/lib/isi_cpool_d/task_processing_thread_pool.cpp:run_consumer_function:196: 
run_consumer_function complete for task ([archive/1:5d01:0232::HEAD]/CloudPool-5yrs): File modified after stubbing began; lin 1:5d01:0232: [error code: CBM_STALE_STUB_ERROR]     
from write_map_core (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_mapper.cpp:1615)     
from write_map (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_mapper.cpp:1653)     
from isi_cph_create_stub (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_archive.cpp:1073)     
from isi_cbm_archive_common (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_archive.cpp:934)     
from isi_cbm_archive (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_archive.cpp:312)

В этом случае обрабатывается задача архивирования:

archive/1:5d01:0232::HEAD

Определите политику файлового пула.

CloudPool-5yrs

По этой ошибке невозможно определить конкретное задание архива CloudPools.

Что случилось:

File modified after stubbing began; lin 1:5d01:0232.

Проверьте этот файл и проверьте, не является ли он заглушкой (это должно произойти в следующем архиве для этого пути).

Некоторые другие сообщения об ошибках CloudPools содержат более загадочные ошибки. В таких случаях вы обычно можете определить задачу как часть подсказки, но, возможно, вам придется провести некоторое исследование, чтобы выяснить значение ошибки.

Например:

varlog.tar/log/messages:

2017-04-20T18:47:52-06:00 <3.3> isilon-6 isi_cpool_d[3856]: [0x80f24f710]: /b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_error_util.cpp:send_cloudpools_event:314: isi_cpool_cbm error in isi_cph_read_md_blob: CloudPools Object not found. provider AWS, devid 6, account isilon archive, entitypath m000743091d8878539854870242892ceaa45di36/007034b0dea80d459f85b4a16d82cc48_00000000_0, filename , lin 0, offset -1, errormessage clapi error: CL_OBJ_NOT_FOUND; The specified key does not exist.: [error code: CBM_CLAPI_OBJECT_NOT_FOUND]

Это говорит вам о многом:

• Что такое поставщик облачных услуг: Provider AWS
• На каком узле произошла ошибка: Devid 6
• Какой аккаунт использовался: Account isilon archive
• Какой путь к объекту ищется в облаке: entitypath m000743091d8878539854870242892ceaa45di36/007034b0dea80d459f85b4a16d82cc48_00000000_0.
• В чем проблема: error message clapi error: CL_OBJ_NOT_FOUND; The specified key does not exist.: [error code: CBM_CLAPI_OBJECT_NOT_FOUND

В этом случае посмотрите, можно ли найти этот объект в облачном хранилище.

В некоторых других случаях:

An error occurred on the Cloud Storage - Check the cloud storage logs or errors:

CL_SVR_INTERNAL_ERROR; We encountered an internal error. Please try again.: [error code: CBM_CLAPI_SERVER_ERROR]

A network error occurred - make sure that Node can connect to the cloud:

CL_COULDNT_CONNECT; Couldn't connect to server: error buf: couldn't connect to host: [error code: CBM_CLAPI_COULDNT_CONNECT]

Authentication Failed - Make sure that the account identified has access on the Cloud target:

CL_AUTHENTICATION_FAILED; 401: [error code: CBM_CLAPI_AUTHENTICATION_FAILED]