Data Domain:使用 ECS 作為雲端分層時的「多重複制」作業
Summary: 本文說明 ECS 與 Data Domain for Cloud Tier 搭配使用時的實作詳細資料。此功能可解決檢閱 Data Domain 和 ECS 記錄時的潛在問題。
This article applies to
This article does not apply to
This article is not tied to any specific product.
Not all product versions are identified in this article.
Symptoms
DELL ECS 可作為具有 DD Cloud Tier 選項 (長期保留、LTR) 的雲端供應商使用。如需有關 DD LTR 的詳細資訊,請參閱 Dell KB 文章 23144、Data Domain Restorer (DDR) 和雲端長期保留 (LTR):常見問題 (FAQ/常見問題)
除次要實作詳細資料外,ECS 和公有雲供應商 (例如 AWS、Azure 和 GCP) 的運作方式完全相同。由於 ECS 雲端為本機,由客戶擁有,因此在 ECS 中雲端階層的清理工作方式不同,因此:
ECS 已實作名為「複製範圍」的 S3 擴充功能。這種情況可能會在其他位置出現,例如多重副本。
這是一組延伸標頭,不在 S3 標準中,因此僅支援 ECS。可讓 ECS 透過提取現有物件的位元組範圍來建立新的物件。所有工作都是透過 ECS 完成,而非用戶端。
只有在 Cloud Tier 清理「複製」階段,DD 才使用 ECS 支援的非標準作業。它可讓 DD 以在 ECS 型雲端裝置上執行垃圾收集 (GC) 的方式與在 Active Tier 上執行的方式相同 (在回收未使用的空間方面更為有效)。
在資料移動期間 (使用 PUT) 將新資料寫入雲端時,或是從雲端裝置回收或讀取資料時 (使用 GET 時),都不會使用此功能。
除次要實作詳細資料外,ECS 和公有雲供應商 (例如 AWS、Azure 和 GCP) 的運作方式完全相同。由於 ECS 雲端為本機,由客戶擁有,因此在 ECS 中雲端階層的清理工作方式不同,因此:
- 延遲和效能比公有雲供應商更快
- 使用者在使用頻寬或在 ECS 上執行作業時不會產生額外費用
- ECS 由 DELL 開發,並可延伸至 S3 通訊協定標準。這可讓您比公有雲供應商更有效率地執行 Cloud Tier 清理
ECS 已實作名為「複製範圍」的 S3 擴充功能。這種情況可能會在其他位置出現,例如多重副本。
這是一組延伸標頭,不在 S3 標準中,因此僅支援 ECS。可讓 ECS 透過提取現有物件的位元組範圍來建立新的物件。所有工作都是透過 ECS 完成,而非用戶端。
只有在 Cloud Tier 清理「複製」階段,DD 才使用 ECS 支援的非標準作業。它可讓 DD 以在 ECS 型雲端裝置上執行垃圾收集 (GC) 的方式與在 Active Tier 上執行的方式相同 (在回收未使用的空間方面更為有效)。
在資料移動期間 (使用 PUT) 將新資料寫入雲端時,或是從雲端裝置回收或讀取資料時 (使用 GET 時),都不會使用此功能。
Cause
複製範圍/多重副本,作為 S3 通訊協定的延伸,這不是一個新方法。
Copy Range/MULTI COPY 是一組新標頭,已新增至 PUT 呼叫。ECS 瞭解如何解譯此問題,而非其他雲端實作。
在 DVD 中,有一處會報告多重副本而非 PUT。這是為了將一般 PUT (用於在資料移動期間將資料寫入雲端) 與在 CT GC 期間產生的程式分開 (這會是所謂的多重複制,但會置於機蓋下)。
例如,我們可能會發現客戶在相隔 7 天時回報下列值:
DD 會報告 PUT、GET、DELETE、MULTI COPY 和 LIST 已完成的作業量。
多重複制不是有效的 S3 方法,甚至適用于 ECS。使用 ECS 執行此作業時,DD 會加入一些特殊標頭,實在放入 MULTI COPY。
檢查 ECS 端時,客戶和 ECS 支援完全看不到「MULTI COPY」作業。
在適用情況下,他們只會看到 PUT、GET、DELETE 和 LIST。在進行資料移動至雲端時,DD 會分別報告 PUT。DD 會報告 MULTI COPY (在 CT GC 期間產生 PUT),以從雲端中現有物件讀取的位元組範圍建立新物件。
因此,客戶和 ECS 支援會看到在 DD CT GC 期間從 DD 執行 PUT。這可能被誤認為是新資料 (來自 DD 的資料移動),但可能是因為持續的 DD CT GC (多重複制,也就是使用特殊參數放入)。
在 DD 統計資料中記錄的每個多重複製作業,只會在 ECS 端記錄一個和一個 PUT 作業。
在 DD CT GC 期間,程式會進入「背景刪除」階段。
此時,DD CT GC 已使用 MULTI COPY 完成所有轉送副本。現在,它要求 ECS 刪除我們讀取位元組範圍的所有來源物件。
在上述統計資料中,一周內的 DELETE 數量會比新物件的總和數量 (在 CT GC 期間轉送複製的新物件 (PUT、新資料和 MULTI COPY) 數量多。
這會導致雲端階層
的空間淨增。在此範例中,557,408 + 18,453,552 - 25,148,128 = -6,137,168,即超過 20 TiB 後相容于 ECS 型雲端單位的一般物件大小。
Copy Range/MULTI COPY 是一組新標頭,已新增至 PUT 呼叫。ECS 瞭解如何解譯此問題,而非其他雲端實作。
在 DVD 中,有一處會報告多重副本而非 PUT。這是為了將一般 PUT (用於在資料移動期間將資料寫入雲端) 與在 CT GC 期間產生的程式分開 (這會是所謂的多重複制,但會置於機蓋下)。
例如,我們可能會發現客戶在相隔 7 天時回報下列值:
GENERATED_ON=Tue Jul 18 06:09:51 CEST 2023 || GENERATED_ON=Tue Jul 25 06:09:52 CEST 2023 || Cloud op stats for bucket:xxxxxxxxxxxxxxxx-yyyyyyyyyyyyyyyy-d0 || Cloud op stats for bucket:xxxxxxxxxxxxxxxx-yyyyyyyyyyyyyyyy-d0 Number of PUT object requests : 1881 || Number of PUT object requests : 559289 + 557,408 PUT Number of GET object requests : 51 || Number of GET object requests : 51 + 0 GET Number of DELETE object requests : 1026 || Number of DELETE object requests : 25149154 + 25,148,128 DELETE Number of MULTI COPY object requests : 0 || Number of MULTI COPY object requests : 18453552 + 18,453,552 MULTI COPY Number of LIST object requests : 105847 || Number of LIST object requests : 105847 + 0 LIST
DD 會報告 PUT、GET、DELETE、MULTI COPY 和 LIST 已完成的作業量。
多重複制不是有效的 S3 方法,甚至適用于 ECS。使用 ECS 執行此作業時,DD 會加入一些特殊標頭,實在放入 MULTI COPY。
檢查 ECS 端時,客戶和 ECS 支援完全看不到「MULTI COPY」作業。
在適用情況下,他們只會看到 PUT、GET、DELETE 和 LIST。在進行資料移動至雲端時,DD 會分別報告 PUT。DD 會報告 MULTI COPY (在 CT GC 期間產生 PUT),以從雲端中現有物件讀取的位元組範圍建立新物件。
因此,客戶和 ECS 支援會看到在 DD CT GC 期間從 DD 執行 PUT。這可能被誤認為是新資料 (來自 DD 的資料移動),但可能是因為持續的 DD CT GC (多重複制,也就是使用特殊參數放入)。
在 DD 統計資料中記錄的每個多重複製作業,只會在 ECS 端記錄一個和一個 PUT 作業。
在 DD CT GC 期間,程式會進入「背景刪除」階段。
此時,DD CT GC 已使用 MULTI COPY 完成所有轉送副本。現在,它要求 ECS 刪除我們讀取位元組範圍的所有來源物件。
在上述統計資料中,一周內的 DELETE 數量會比新物件的總和數量 (在 CT GC 期間轉送複製的新物件 (PUT、新資料和 MULTI COPY) 數量多。
這會導致雲端階層
的空間淨增。在此範例中,557,408 + 18,453,552 - 25,148,128 = -6,137,168,即超過 20 TiB 後相容于 ECS 型雲端單位的一般物件大小。
Resolution
這是預期的行為。
有些由 DD 執行至 ECS 的 PUT 作業是一種特殊類型,在 DD 端稱為「MULTI COPY」,但在 ECS 端會顯示為一般 PUT。
多重副本僅在 CT GC 期間從 DD 產生。它們透過 ECS 中現有物件的位元組讀取範圍,在雲端中建立單一新物件。這一切都會在 ECS 本身內發生。
這會產生下列後果:
有些由 DD 執行至 ECS 的 PUT 作業是一種特殊類型,在 DD 端稱為「MULTI COPY」,但在 ECS 端會顯示為一般 PUT。
多重副本僅在 CT GC 期間從 DD 產生。它們透過 ECS 中現有物件的位元組讀取範圍,在雲端中建立單一新物件。這一切都會在 ECS 本身內發生。
這會產生下列後果:
- 在 DD CT GC 期間,ECS 有時會看到許多 PUT 作業 (DD 多重副本)。這是完美的預期,並導致 ECS 的儲存使用量暫時增加
- 在 DD CT GC 完成複製轉送後,會將刪除問題傳送至 ECS,並開始釋出空間。ECS 若因 ECS GC 的運作方式而延遲釋出自家儲存空間
- 除了 DD CT GC 的 PUT 之外,可能很難判斷 PUT 是否有新資料。請諮詢 ECS 支援部門,以瞭解是否需要相關協助。
- 多重複制是 S3 標準的延伸,僅適用于 ECS 型雲端單位
- 要求 ECS 從現有物件讀取以建立新物件的多份副本,可能會導致 DD 上張貼失敗或損毀警示。預期所有來源物件都存在於 ECS 中。如果沒有,DD CT GC 會停止並回報 DD CT GC 故障、完整性檢查失敗或損毀的警示。在此情況下,請聯絡 DELL Data Domain 支援。
- 即使 ECS 中實作多重副本擴充功能,亦不支援 IAM 使用者。只有從 ECS 建立的 (定期) 物件使用者才能使用多重副本擴充功能。如果使用 IAM 使用者認證來設定 DD 雲端設定檔,或是一般物件使用者在稍後變更為 IAM 使用者,則除了乾淨之外,DD 上的所有功能都可正常運作。最終會失敗,並顯示以下警示:
Jul 19 11:24:59 dd.example.com ddfs[10217]: INFO: Event posted: m0-4577 (210011e1:553652705): EVT-CLOUD-00001: Unable to access provider for cloud unit ECS_CLOUD_UNIT.EVT-OBJ::CloudUnit=ECS_CLOUD_UNIT EVT-INFO::Cause=IAM user is not supported for Copy Range API
Affected Products
Data DomainArticle Properties
Article Number: 000216319
Article Type: Solution
Last Modified: 11 Aug 2023
Version: 2
Find answers to your questions from other Dell users
Support Services
Check if your device is covered by Support Services.