PowerScale: Lesen von CloudPools-Protokollmeldungen

CloudPools protokolliert Meldungen basierend auf den durchgeführten Aktivitäten oder Aufgaben sowie dem aufgetretenen Problem oder dem Grund für die Meldung. Die Details in diesen Nachrichten können oft übersehen werden, liefern aber wichtige Informationen für die Interpretation. Sie finden diese Meldungen in der Meldungsdatei isi_cpool_d.log or in isi_cpool_io_d.log. 

Hier sind ein paar Beispiele:

2017-07-03T13:03:59-06:00 <3.3> isilon-1 isi_cpool_d[2547]: [0x800710610]: /b/mnt/src/isilon/lib/isi_cpool_d/task_processing_thread_pool.cpp:run_consumer_function:196: 
run_consumer_function complete for task ([cache-invalidation/1:054d:b5b7::HEAD]): Writing Cache Header: Read-only file system     
from write_header (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_cache.cpp:360)     
from clear_state (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_cache.cpp:907): clearing cacheheader state     
from isi_cbm_invalidate_cache_i (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_invalidate.cpp:262): 
Could not reset CACHED state flag for 1:054d:b5b7     
from isi_cbm_invalidate_cached_file_opt (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_invalidate.cpp:518)

Ein wichtiger Schlüssel zum Eingrenzen der Quelle und Ursache der Meldung sind die Aufgabeninformationen:

Task ([cache-invalidation/1:054d:b5b7::HEAD])

Der Aufgabentyp (Cache-Invalidierung) verweist auf einen Cloudjob, der die Meldung erzeugt hat. In diesem Fall von Job 2 führt der Job zur Cacheinvalidierung Folgendes aus:

tf80-1# isi cloud jobs list

ID   Description                             Effective State  Type
--------------------------------------------------------------------------------------
1    Write updated data back to the cloud    running          cache-writeback

2    Expire CloudPools cache                 running          cache-invalidation

3    Clean up cache and stub file metadata   running          local-garbage-collection

4    Clean up unreferenced data in the cloud running          cloud-garbage-collection

491                                          error            archive

492                                          error            archive>

Die LIN kann verwendet werden, um die LIN auf diesem System aufzuspüren, falls sie noch vorhanden ist.

Wenn der Aufgabentyp in der Meldung nicht genannt wird, können Sie dennoch den Typ des Vorgangs bestimmen.

Hier ist ein Beispiel:
Wenn Sie diese Meldungen gesehen haben:

2018-08-13T12:49:38+02:00 <3.6> Isilon-1 isi_cpool_d[4520]: [0x80f7d0610]: /b/mnt/src/isilon/lib/isi_cloud_api/cl_provider.cpp:do_with_retry_common:73:  Operation: get_object, current try: 0, total retries: 140733193388032, total failures: 1, error: clapi error: CL_OBJ_NOT_FOUND; AEC_NOT_FOUND

2018-08-13T12:49:38+02:00 <3.3> Isilon-1 isi_cpool_d[4520]: [0x80f7d0610]: /b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_error_util.cpp:send_cloudpools_event:314: isi_cpool_cbm error in isi_cph_read_md_blob: CloudPools Object not found.  provider RAN, devid 1, account X210_cloud, entitypath m0007430b5526ccc7be54980e747b9db7883ai11/007034b0250780fde1b5283187d98e49_00000000_1, filename , lin 0, offset -1, errormessage clapi error: CL_OBJ_NOT_FOUND; AEC_NOT_FOUND: [error code: CBM_CLAPI_OBJECT_NOT_FOUND]

2018-05-23T07:51:43+02:00 <3.6> Isilon-1 isi_cpool_d[4520]: [0x80f7d0610]: /b/mnt/src/isilon/lib/isi_cpool_d/task_processing_thread_pool.cpp:start_thread:506: starting normal thread for type cloud-gc

Dieser Fehler ist bei einem Prozess zur automatischen Speicherbereinigung in der Cloud aufgetreten. Die Meldung "Objekt nicht gefunden" zeigt keinen Datenverlust an. Da dies während eines routinemäßigen Prozesses zur automatischen Speicherbereinigung erfolgt, war das Objekt bereits für die Löschung geplant. Hätte es sich um einen Rückruf gehandelt, wäre der Fehler schwerwiegender gewesen.

Der Grund für das Problem wird manchmal angegeben:

Writing Cache Header: Read-only file system

Could not reset CACHED state flag for 1:054d:b5b7

Das System kann das Cache-Status-Flag für die LIN nicht zurücksetzen, da sich das Dateisystem im schreibgeschützten Zustand befindet. In diesem speziellen Fall war dies eine normale und erwartete Meldung auf einem SyncIQ-Zielpfad, aber es sollte untersucht werden, ob der Pfad schreibgeschützt ist oder sein sollte.

Ein weiteres Beispiel:

2017-06-19T09:13:15-04:00 <3.7> isilon-2 isi_cpool_d[4531]: [0x80ef97c10]: /b/mnt/src/isilon/lib/isi_cpool_d/task_processing_thread_pool.cpp:run_consumer_function:196: 
run_consumer_function complete for task ([archive/1:5d01:0232::HEAD]/CloudPool-5yrs): File modified after stubbing began; lin 1:5d01:0232: [error code: CBM_STALE_STUB_ERROR]     
from write_map_core (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_mapper.cpp:1615)     
from write_map (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_mapper.cpp:1653)     
from isi_cph_create_stub (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_archive.cpp:1073)     
from isi_cbm_archive_common (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_archive.cpp:934)     
from isi_cbm_archive (/b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_archive.cpp:312)

In diesem Fall wird eine Archivierungsaufgabe verarbeitet:

archive/1:5d01:0232::HEAD

Bestimmen Sie die Dateipool-Policy:

CloudPool-5yrs

Der spezifische CloudPools-Archivjob kann anhand dieses Fehlers nicht bestimmt werden.

Was ist passiert:

File modified after stubbing began; lin 1:5d01:0232.

Überprüfen Sie diese Datei und prüfen Sie, ob sie als Stub-Datei verwendet werden kann (dies sollte bei der nächsten Archivierung für diesen Pfad der Fall sein).

Einige andere CloudPools-Fehlermeldungen bieten kryptischere Fehler. In diesen Fällen können Sie die Aufgabe in der Regel als Teil des Hinweises bestimmen, müssen aber möglicherweise einige Nachforschungen anstellen, um die Bedeutung des Fehlers herauszufinden.

Zum Beispiel:

varlog.tar/log/messages:

2017-04-20T18:47:52-06:00 <3.3> isilon-6 isi_cpool_d[3856]: [0x80f24f710]: /b/mnt/src/isilon/lib/isi_cpool_cbm/isi_cbm_error_util.cpp:send_cloudpools_event:314: isi_cpool_cbm error in isi_cph_read_md_blob: CloudPools Object not found. provider AWS, devid 6, account isilon archive, entitypath m000743091d8878539854870242892ceaa45di36/007034b0dea80d459f85b4a16d82cc48_00000000_0, filename , lin 0, offset -1, errormessage clapi error: CL_OBJ_NOT_FOUND; The specified key does not exist.: [error code: CBM_CLAPI_OBJECT_NOT_FOUND]

Das sagt Ihnen ein wenig:

• Was ist der Cloud-Anbieter? Provider AWS
• Bei welchem Node ist der Fehler aufgetreten: Devid 6
• Welches Konto wurde verwendet: Account isilon archive
• Was ist der Objektpfad, nach dem in der Cloud gesucht wird: entitypath m000743091d8878539854870242892ceaa45di36/007034b0dea80d459f85b4a16d82cc48_00000000_0.
• Was das Problem ist: error message clapi error: CL_OBJ_NOT_FOUND; The specified key does not exist.: [error code: CBM_CLAPI_OBJECT_NOT_FOUND

Prüfen Sie in diesem Fall, ob das Objekt im Cloud-Storage gefunden werden kann.

Einige andere Fälle:

An error occurred on the Cloud Storage - Check the cloud storage logs or errors:

CL_SVR_INTERNAL_ERROR; We encountered an internal error. Please try again.: [error code: CBM_CLAPI_SERVER_ERROR]

A network error occurred - make sure that Node can connect to the cloud:

CL_COULDNT_CONNECT; Couldn't connect to server: error buf: couldn't connect to host: [error code: CBM_CLAPI_COULDNT_CONNECT]

Authentication Failed - Make sure that the account identified has access on the Cloud target:

CL_AUTHENTICATION_FAILED; 401: [error code: CBM_CLAPI_AUTHENTICATION_FAILED]