PowerScale: Læsning af CloudPools-logmeddelelser
Summary: Sådan analyserer du meddelelser i CloudPools-logfiler.
Instructions
CloudPools logfører meddelelser baseret på de aktiviteter eller opgaver, der udføres, og det opståede problem eller årsagen til meddelelsen. Detaljerne i disse meddelelser kan ofte overses, men giver vigtige oplysninger til fortolkning. Du kan finde disse meddelelser i meddelelsesfilen isi_cpool_d.log or in isi_cpool_io_d.log.
Her er et par eksempler:
2017-07-03T13:03:59-06:00 <3.3> isilon-1 isi_cpool_d[2547]: [0x800710610]: /b/mnt/src/isilon/lib/isi_cpool_d/task_processing_thread_pool.cpp:run_consumer_function:196: run_consumer_function complete for task ([cache-invalidation/1:054d:b5b7::HEAD]): Writing Cache Header: Read-only file system from write_header (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_cache.cpp:360) from clear_state (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_cache.cpp:907): clearing cacheheader state from isi_cbm_invalidate_cache_i (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_invalidate.cpp:262): Could not reset CACHED state flag for 1:054d:b5b7 from isi_cbm_invalidate_cached_file_opt (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_invalidate.cpp:518)
En vigtig nøgle til at indsnævre kilden og årsagen til meddelelsen er opgaveoplysningerne:
Task ([cache-invalidation/1:054d:b5b7::HEAD])
Opgavetypen (cache-ugyldiggørelse) peger tilbage på et cloudjob, der genererede meddelelsen. I dette tilfælde job 2, jobbet til ugyldiggørelse af cachen:
tf80-1# isi cloud jobs list ID Description Effective State Type -------------------------------------------------------------------------------------- 1 Write updated data back to the cloud running cache-writeback 2 Expire CloudPools cache running cache-invalidation 3 Clean up cache and stub file metadata running local-garbage-collection 4 Clean up unreferenced data in the cloud running cloud-garbage-collection 491 error archive 492 error archive>
LIN kan bruges til at spore LIN på dette system, hvis det stadig eksisterer.
Hvis opgavetypen ikke kaldes ud i meddelelsen, kan du stadig bestemme typen af handling.
Her er et eksempel:
Hvis du så disse meddelelser:
2018-08-13T12:49:38+02:00 <3.6> Isilon-1 isi_cpool_d[4520]: [0x80f7d0610]: /b/mnt/src/isilon/lib/isi_cloud_api/cl_provider.cpp:do_with_retry_common:73: Operation: get_object, current try: 0, total retries: 140733193388032, total failures: 1, error: clapi error: CL_OBJ_NOT_FOUND; AEC_NOT_FOUND 2018-08-13T12:49:38+02:00 <3.3> Isilon-1 isi_cpool_d[4520]: [0x80f7d0610]: /b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_error_util.cpp:send_cloudpools_event:314: isi_cpool_cbm error in isi_cph_read_md_blob: CloudPools Object not found. provider RAN, devid 1, account X210_cloud, entitypath m0007430b5526ccc7be54980e747b9db7883ai11/007034b0250780fde1b5283187d98e49_00000000_1, filename , lin 0, offset -1, errormessage clapi error: CL_OBJ_NOT_FOUND; AEC_NOT_FOUND: [error code: CBM_CLAPI_OBJECT_NOT_FOUND]Disse oplysninger fortæller dig processen og tråden. Du kan se længere tilbage i logfilen (i dette tilfælde
isi_cpool_d.log) til initialisering af denne tråd. Her er initialiseringen for den pågældende tråd:
2018-05-23T07:51:43+02:00 <3.6> Isilon-1 isi_cpool_d[4520]: [0x80f7d0610]: /b/mnt/src/isilon/lib/isi_cpool_d/task_processing_thread_pool.cpp:start_thread:506: starting normal thread for type cloud-gc
En affaldsindsamlingsproces i skyen er stødt på denne fejl. Meddelelsen "Objektet blev ikke fundet" angiver ikke tab af data. Da dette sker under en rutinemæssig affaldsindsamling og oprydningsproces, var objektet allerede planlagt til sletning. Havde dette været en tilbagekaldelsesoperation, ville fejlen have været mere signifikant.
Årsagen til problemet er undertiden angivet:
Writing Cache Header: Read-only file system Could not reset CACHED state flag for 1:054d:b5b7
Systemet kan ikke nulstille cachetilstandsflaget for LIN, fordi filsystemet er skrivebeskyttet. I dette specifikke tilfælde var dette en normal og forventet meddelelse på en SyncIQ-målsti, men det bør undersøges, om stien er skrivebeskyttet eller skal være skrivebeskyttet.
Et andet eksempel:
2017-06-19T09:13:15-04:00 <3.7> isilon-2 isi_cpool_d[4531]: [0x80ef97c10]: /b/mnt/src/isilon/lib/isi_cpool_d/task_processing_thread_pool.cpp:run_consumer_function:196: run_consumer_function complete for task ([archive/1:5d01:0232::HEAD]/CloudPool-5yrs): File modified after stubbing began; lin 1:5d01:0232: [error code: CBM_STALE_STUB_ERROR] from write_map_core (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_mapper.cpp:1615) from write_map (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_mapper.cpp:1653) from isi_cph_create_stub (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_archive.cpp:1073) from isi_cbm_archive_common (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_archive.cpp:934) from isi_cbm_archive (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_archive.cpp:312)
I dette tilfælde behandles en arkivopgave:
archive/1:5d01:0232::HEAD
Fastlæg filpuljepolitikken:
CloudPool-5yrs
Det specifikke CloudPools-arkivjob kan ikke bestemmes ud fra denne fejl.
Hvad skete der:
File modified after stubbing began; lin 1:5d01:0232.
Kontroller den fil og se om den kunne stubbes (Det skal under det næste arkiv for den sti).
Nogle andre CloudPools-fejlmeddelelser giver flere kryptiske fejl. I disse tilfælde kan du normalt bestemme opgaven som en del af ledetråden, men det kan være nødvendigt at undersøge for at finde ud af betydningen af fejlen.
Eksempel:
varlog.tar/log/messages: 2017-04-20T18:47:52-06:00 <3.3> isilon-6 isi_cpool_d[3856]: [0x80f24f710]: /b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_error_util.cpp:send_cloudpools_event:314: isi_cpool_cbm error in isi_cph_read_md_blob: CloudPools Object not found. provider AWS, devid 6, account isilon archive, entitypath m000743091d8878539854870242892ceaa45di36/007034b0dea80d459f85b4a16d82cc48_00000000_0, filename , lin 0, offset -1, errormessage clapi error: CL_OBJ_NOT_FOUND; The specified key does not exist.: [error code: CBM_CLAPI_OBJECT_NOT_FOUND]
Dette fortæller dig lidt:
- Hvad er cloud-udbyderen:
Provider AWS - Hvilken node stødte på fejlen:
Devid 6 - Hvilken konto blev brugt:
Account isilon archive - Hvad er den objektsti, der søges efter i skyen:
entitypath m000743091d8878539854870242892ceaa45di36/007034b0dea80d459f85b4a16d82cc48_00000000_0. - Hvad problemet er:
error message clapi error: CL_OBJ_NOT_FOUND; The specified key does not exist.: [error code: CBM_CLAPI_OBJECT_NOT_FOUND
I dette tilfælde skal du se, om objektet kan findes i skylageret.
Nogle andre tilfælde:
An error occurred on the Cloud Storage - Check the cloud storage logs or errors: CL_SVR_INTERNAL_ERROR; We encountered an internal error. Please try again.: [error code: CBM_CLAPI_SERVER_ERROR] A network error occurred - make sure that Node can connect to the cloud: CL_COULDNT_CONNECT; Couldn't connect to server: error buf: couldn't connect to host: [error code: CBM_CLAPI_COULDNT_CONNECT] Authentication Failed - Make sure that the account identified has access on the Cloud target: CL_AUTHENTICATION_FAILED; 401: [error code: CBM_CLAPI_AUTHENTICATION_FAILED]