PowerScale: Läsa CloudPools-loggmeddelanden
Summary: Så här parsar du meddelanden i CloudPools-loggar.
Instructions
CloudPools loggar meddelanden baserat på de aktiviteter eller uppgifter som utförs och problemet som påträffats eller orsaken till meddelandet. Detaljerna i dessa meddelanden kan ofta missas, men ger viktig information för tolkning. Du hittar dessa meddelanden i meddelandefilen isi_cpool_d.log or in isi_cpool_io_d.log.
Här är några exempel:
2017-07-03T13:03:59-06:00 <3.3> isilon-1 isi_cpool_d[2547]: [0x800710610]: /b/mnt/src/isilon/lib/isi_cpool_d/task_processing_thread_pool.cpp:run_consumer_function:196: run_consumer_function complete for task ([cache-invalidation/1:054d:b5b7::HEAD]): Writing Cache Header: Read-only file system from write_header (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_cache.cpp:360) from clear_state (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_cache.cpp:907): clearing cacheheader state from isi_cbm_invalidate_cache_i (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_invalidate.cpp:262): Could not reset CACHED state flag for 1:054d:b5b7 from isi_cbm_invalidate_cached_file_opt (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_invalidate.cpp:518)
En viktig nyckel för att begränsa källan och orsaken till meddelandet är uppgiftsinformationen:
Task ([cache-invalidation/1:054d:b5b7::HEAD])
Aktivitetstypen (cache-invalidation) pekar tillbaka på ett molnjobb som genererade meddelandet. I det här fallet jobb 2, cacheogiltigförklaringsjobbet:
tf80-1# isi cloud jobs list ID Description Effective State Type -------------------------------------------------------------------------------------- 1 Write updated data back to the cloud running cache-writeback 2 Expire CloudPools cache running cache-invalidation 3 Clean up cache and stub file metadata running local-garbage-collection 4 Clean up unreferenced data in the cloud running cloud-garbage-collection 491 error archive 492 error archive>
LIN kan användas för att spåra LIN på systemet, om det fortfarande finns.
Om aktivitetstypen inte anropas i meddelandet kan du fortfarande fastställa typen av åtgärd.
Här är ett exempel:
Om du såg dessa meddelanden:
2018-08-13T12:49:38+02:00 <3.6> Isilon-1 isi_cpool_d[4520]: [0x80f7d0610]: /b/mnt/src/isilon/lib/isi_cloud_api/cl_provider.cpp:do_with_retry_common:73: Operation: get_object, current try: 0, total retries: 140733193388032, total failures: 1, error: clapi error: CL_OBJ_NOT_FOUND; AEC_NOT_FOUND 2018-08-13T12:49:38+02:00 <3.3> Isilon-1 isi_cpool_d[4520]: [0x80f7d0610]: /b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_error_util.cpp:send_cloudpools_event:314: isi_cpool_cbm error in isi_cph_read_md_blob: CloudPools Object not found. provider RAN, devid 1, account X210_cloud, entitypath m0007430b5526ccc7be54980e747b9db7883ai11/007034b0250780fde1b5283187d98e49_00000000_1, filename , lin 0, offset -1, errormessage clapi error: CL_OBJ_NOT_FOUND; AEC_NOT_FOUND: [error code: CBM_CLAPI_OBJECT_NOT_FOUND]Den här informationen anger processen och tråden. Du kan titta bakåt ytterligare i loggfilen (i det här fallet
isi_cpool_d.log) för initieringen av den tråden. Här är initieringen för den tråden:
2018-05-23T07:51:43+02:00 <3.6> Isilon-1 isi_cpool_d[4520]: [0x80f7d0610]: /b/mnt/src/isilon/lib/isi_cpool_d/task_processing_thread_pool.cpp:start_thread:506: starting normal thread for type cloud-gc
En skräpinsamlingsprocess i molnet har påträffat det här felet. Meddelandet "Objektet hittades inte" indikerar inte dataförlust. Eftersom detta inträffar under en rutinmässig skräpinsamlings- och rensningsprocess har objektet redan schemalagts för borttagning. Hade detta varit en återkallelseåtgärd hade felet varit mer betydande.
Orsaken till problemet anges ibland:
Writing Cache Header: Read-only file system Could not reset CACHED state flag for 1:054d:b5b7
Systemet kan inte återställa flaggan för cachetillstånd för LIN eftersom filsystemet är skrivskyddat. I det här specifika fallet var detta ett normalt och förväntat meddelande på en SyncIQ-målsökväg, men undersökning bör göras om sökvägen är eller bör vara skrivskyddad.
Ett annat exempel:
2017-06-19T09:13:15-04:00 <3.7> isilon-2 isi_cpool_d[4531]: [0x80ef97c10]: /b/mnt/src/isilon/lib/isi_cpool_d/task_processing_thread_pool.cpp:run_consumer_function:196: run_consumer_function complete for task ([archive/1:5d01:0232::HEAD]/CloudPool-5yrs): File modified after stubbing began; lin 1:5d01:0232: [error code: CBM_STALE_STUB_ERROR] from write_map_core (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_mapper.cpp:1615) from write_map (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_mapper.cpp:1653) from isi_cph_create_stub (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_archive.cpp:1073) from isi_cbm_archive_common (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_archive.cpp:934) from isi_cbm_archive (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_archive.cpp:312)
I det här fallet bearbetas en arkivuppgift:
archive/1:5d01:0232::HEAD
Fastställ filpoolsprincipen:
CloudPool-5yrs
Det går inte att fastställa det specifika CloudPools-arkivjobbet utifrån det här felet.
Vad hände:
File modified after stubbing began; lin 1:5d01:0232.
Kontrollera den filen och se om den kan stubbas (det bör den göra under nästa arkiv för den sökvägen).
Vissa andra CloudPools-felmeddelanden ger mer kryptiska fel. I dessa fall kan du vanligtvis fastställa uppgiften som en del av ledtråden, men kan behöva göra en del efterforskningar för att ta reda på innebörden av felet.
Till exempel:
varlog.tar/log/messages: 2017-04-20T18:47:52-06:00 <3.3> isilon-6 isi_cpool_d[3856]: [0x80f24f710]: /b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_error_util.cpp:send_cloudpools_event:314: isi_cpool_cbm error in isi_cph_read_md_blob: CloudPools Object not found. provider AWS, devid 6, account isilon archive, entitypath m000743091d8878539854870242892ceaa45di36/007034b0dea80d459f85b4a16d82cc48_00000000_0, filename , lin 0, offset -1, errormessage clapi error: CL_OBJ_NOT_FOUND; The specified key does not exist.: [error code: CBM_CLAPI_OBJECT_NOT_FOUND]
Det här säger dig lite:
- Vad är molnleverantören:
Provider AWS - Vilken nod som påträffade felet:
Devid 6 - Vilket konto användes:
Account isilon archive - Vad är det för objektsökväg som söks efter i molnet:
entitypath m000743091d8878539854870242892ceaa45di36/007034b0dea80d459f85b4a16d82cc48_00000000_0. - Vad problemet är:
error message clapi error: CL_OBJ_NOT_FOUND; The specified key does not exist.: [error code: CBM_CLAPI_OBJECT_NOT_FOUND
I det här fallet kontrollerar du om objektet finns i molnlagringen.
Några andra fall:
An error occurred on the Cloud Storage - Check the cloud storage logs or errors: CL_SVR_INTERNAL_ERROR; We encountered an internal error. Please try again.: [error code: CBM_CLAPI_SERVER_ERROR] A network error occurred - make sure that Node can connect to the cloud: CL_COULDNT_CONNECT; Couldn't connect to server: error buf: couldn't connect to host: [error code: CBM_CLAPI_COULDNT_CONNECT] Authentication Failed - Make sure that the account identified has access on the Cloud target: CL_AUTHENTICATION_FAILED; 401: [error code: CBM_CLAPI_AUTHENTICATION_FAILED]