PowerScale: Читання повідомлень журналу CloudPools

CloudPools фіксує повідомлення на основі виконання дій або завдань, а також виниклої проблеми або причини повідомлення. Деталі в цих повідомленнях часто можуть бути пропущені, але вони дають важливу інформацію для інтерпретації. Ці повідомлення можна знайти у файлі повідомлень isi_cpool_d.log or in isi_cpool_io_d.log. 

Ось кілька прикладів:

2017-07-03T13:03:59-06:00 <3.3> isilon-1 isi_cpool_d[2547]: [0x800710610]: /b/mnt/src/isilon/lib/isi_cpool_d/task_processing_thread_pool.cpp:run_consumer_function:196: 
run_consumer_function complete for task ([cache-invalidation/1:054d:b5b7::HEAD]): Writing Cache Header: Read-only file system     
from write_header (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_cache.cpp:360)     
from clear_state (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_cache.cpp:907): clearing cacheheader state     
from isi_cbm_invalidate_cache_i (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_invalidate.cpp:262): 
Could not reset CACHED state flag for 1:054d:b5b7     
from isi_cbm_invalidate_cached_file_opt (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_invalidate.cpp:518)

Важливим ключем для звузення джерела та причини повідомлення є інформація про завдання:

Task ([cache-invalidation/1:054d:b5b7::HEAD])

Тип завдання (cache-invalidation) вказує на хмарне завдання, яке генерувало повідомлення. У цьому випадку завдання 2, завдання інвалідування кешу:

tf80-1# isi cloud jobs list

ID   Description                             Effective State  Type
--------------------------------------------------------------------------------------
1    Write updated data back to the cloud    running          cache-writeback

2    Expire CloudPools cache                 running          cache-invalidation

3    Clean up cache and stub file metadata   running          local-garbage-collection

4    Clean up unreferenced data in the cloud running          cloud-garbage-collection

491                                          error            archive

492                                          error            archive>

LIN можна використовувати для відстеження LIN у цій системі, якщо він ще існує.

Якщо тип завдання не вказаний у повідомленні, ви все одно можете визначити тип операції.

Ось приклад:
Якщо ви бачили ці повідомлення:

2018-08-13T12:49:38+02:00 <3.6> Isilon-1 isi_cpool_d[4520]: [0x80f7d0610]: /b/mnt/src/isilon/lib/isi_cloud_api/cl_provider.cpp:do_with_retry_common:73:  Operation: get_object, current try: 0, total retries: 140733193388032, total failures: 1, error: clapi error: CL_OBJ_NOT_FOUND; AEC_NOT_FOUND

2018-08-13T12:49:38+02:00 <3.3> Isilon-1 isi_cpool_d[4520]: [0x80f7d0610]: /b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_error_util.cpp:send_cloudpools_event:314: isi_cpool_cbm error in isi_cph_read_md_blob: CloudPools Object not found.  provider RAN, devid 1, account X210_cloud, entitypath m0007430b5526ccc7be54980e747b9db7883ai11/007034b0250780fde1b5283187d98e49_00000000_1, filename , lin 0, offset -1, errormessage clapi error: CL_OBJ_NOT_FOUND; AEC_NOT_FOUND: [error code: CBM_CLAPI_OBJECT_NOT_FOUND]

2018-05-23T07:51:43+02:00 <3.6> Isilon-1 isi_cpool_d[4520]: [0x80f7d0610]: /b/mnt/src/isilon/lib/isi_cpool_d/task_processing_thread_pool.cpp:start_thread:506: starting normal thread for type cloud-gc

Процес збору сміття в хмарі зіткнувся з цією помилкою. Повідомлення «Об'єкт не знайдено» не вказує на втрату даних. Оскільки це відбувається під час рутинного процесу збору та очищення сміття, об'єкт уже був запланований до видалення. Якби це була операція відкликання, помилка була б значнішою.

Причину проблеми іноді наводять:

Writing Cache Header: Read-only file system

Could not reset CACHED state flag for 1:054d:b5b7

Система не може скинути прапорець стану кешу для LIN, оскільки файлова система перебуває у стані лише для читання. У цьому конкретному випадку це було звичайне і очікуване повідомлення на цільовому шляху SyncIQ, але слід дослідити, чи є цей шлях лише

для читання.Ще один приклад:

2017-06-19T09:13:15-04:00 <3.7> isilon-2 isi_cpool_d[4531]: [0x80ef97c10]: /b/mnt/src/isilon/lib/isi_cpool_d/task_processing_thread_pool.cpp:run_consumer_function:196: 
run_consumer_function complete for task ([archive/1:5d01:0232::HEAD]/CloudPool-5yrs): File modified after stubbing began; lin 1:5d01:0232: [error code: CBM_STALE_STUB_ERROR]     
from write_map_core (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_mapper.cpp:1615)     
from write_map (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_mapper.cpp:1653)     
from isi_cph_create_stub (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_archive.cpp:1073)     
from isi_cbm_archive_common (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_archive.cpp:934)     
from isi_cbm_archive (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_archive.cpp:312)

У цьому випадку обробляється архівне завдання:

archive/1:5d01:0232::HEAD

Визначте політику файлового пулу:

CloudPool-5yrs

Конкретне завдання архіву CloudPools не можна визначити за цією помилкою.

Що сталося:

File modified after stubbing began; lin 1:5d01:0232.

Перевірте цей файл і подивіться, чи можна його заглушити (має бути під час наступного архіву для цього шляху).

Деякі інші повідомлення про помилки CloudPools містять більш загадкові помилки. У таких випадках ви зазвичай можете визначити завдання як частину підказки, але, можливо, доведеться провести дослідження, щоб з'ясувати значення помилки.

Наприклад:

varlog.tar/log/messages:

2017-04-20T18:47:52-06:00 <3.3> isilon-6 isi_cpool_d[3856]: [0x80f24f710]: /b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_error_util.cpp:send_cloudpools_event:314: isi_cpool_cbm error in isi_cph_read_md_blob: CloudPools Object not found. provider AWS, devid 6, account isilon archive, entitypath m000743091d8878539854870242892ceaa45di36/007034b0dea80d459f85b4a16d82cc48_00000000_0, filename , lin 0, offset -1, errormessage clapi error: CL_OBJ_NOT_FOUND; The specified key does not exist.: [error code: CBM_CLAPI_OBJECT_NOT_FOUND]

Це трохи розповідає:

• Що таке хмарний провайдер: Provider AWS
• Який вузол зіткнувся з помилкою: Devid 6
• Який акаунт використовувався: Account isilon archive
• Який шлях об'єкта шукається в хмарі: entitypath m000743091d8878539854870242892ceaa45di36/007034b0dea80d459f85b4a16d82cc48_00000000_0.
• У чому проблема: error message clapi error: CL_OBJ_NOT_FOUND; The specified key does not exist.: [error code: CBM_CLAPI_OBJECT_NOT_FOUND

У такому випадку подивіться, чи можна знайти цей об'єкт у хмарному сховищі.

Деякі інші випадки:

An error occurred on the Cloud Storage - Check the cloud storage logs or errors:

CL_SVR_INTERNAL_ERROR; We encountered an internal error. Please try again.: [error code: CBM_CLAPI_SERVER_ERROR]

A network error occurred - make sure that Node can connect to the cloud:

CL_COULDNT_CONNECT; Couldn't connect to server: error buf: couldn't connect to host: [error code: CBM_CLAPI_COULDNT_CONNECT]

Authentication Failed - Make sure that the account identified has access on the Cloud target:

CL_AUTHENTICATION_FAILED; 401: [error code: CBM_CLAPI_AUTHENTICATION_FAILED]