PowerProtect：儘管 PPDM 中繼資料 ESDB 伺服器不健全，但備份工作流程仍會繼續

識別到的問題

已識別以下問題：

• 即使 PPDM 中繼資料 ESDB 伺服器不健全，備份工作流程仍會繼續
• 節點上的分片失敗
• 由於搜尋執行損毀失敗導致分片失敗
• FetchPhaseExecutionException
• CorruptIndexException 因為字典長度不當
• 最新的分配狀態顯示「no_valid_shard_copy」

執行下列命令時的記錄輸出範例：

curl -XGET localhost:14300/_cluster/allocation/explain?pretty

failed shard on node [8bAs7gx6Taao-39LzvEsQg]: shard failure, reason [search execution corruption failure], failure FetchPhaseExecutionException[Fetch Failed [Error running fetch phase for doc [323322]]]; nested: CorruptIndexException[Illegal dict length (resource=NIOFSIndexInput(path="/data01/elasticsearch/nodes/0/indices/8RaISKFjQ1eh7ah-MoQuQg/0/index/_wvh8k.fdt"))]; 
"last_allocation_status" : "no_valid_shard_copy"

在 PPDM ES 資料庫中，列出索引時，可以看到未指派的索引：

admin@ppdm_host:/var/log/elasticsearch> curl -XGET localhost:14300/_cat/shards?h=index,shard,prirep,state,unassigned.reason| grep UNASSIGNED

  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current

                                 Dload  Upload   Total   Spent    Left  Speed

100 11795  100 11795    0     0   295k      0 --:--:-- --:--:-- --:--:--  303k

index_protection_copy_set                                     0 p UNASSIGNED ALLOCATION_FAILED

問題的根本原因

問題的根本原因與用於存儲複製資訊的索引有關。具體來說， index_protection_copy_set 和 index_protection_copy 備份後索引未更新，導致客戶無法恢復數據。

此問題並非取決於任何特定的環境條件、系統組態或使用者動作，而是內部索引機制的結果。

相關技術詳細資料

有問題的索引對於存儲複製資訊至關重要，如果複製索引未正確更新，它們在備份後無法正確更新會導致備份數據丟失。

錯誤訊息與代碼

Failed shard on node [8bAs7gx6Taao-39LzvEsQg]: shard failure, reason [search execution corruption failure], failure FetchPhaseExecutionException[Fetch Failed [Error running fetch phase for doc [323322]]]; nested: CorruptIndexException[Illegal dict length (resource=NIOFSIndexInput(path="/data01/elasticsearch/nodes/0/indices/8RaISKFjQ1eh7ah-MoQuQg/0/index/_wvh8k.fdt"))];
"last_allocation_status" : "no_valid_shard_copy"

因應措施和修正

若要解決此問題，有因應措施適用於代理程式型備份，但並非適用於所有工作負載。請向 PPDM 支援開立新的服務要求以解決此問題。

計劃在未來的版本中進行修復，確切版本待定 （待定）。

協調基於代理程式的備份的資料

對於基於代理的備份，可以進行數據調節，但這並不適用於所有工作負載。

驗證解析度

套用因應措施後，或是發佈並套用修正程式後，請確認備份工作流程運作正常，以及資料能否成功復原。