Data Domain：NetWorker 如何搭配 Data Domain 和雲端層運作

Summary: NetWorker (NW) 有內建的 Data Domain 雲端層 (DD CT) 支援。本文說明一些誤解和術語衝突。

This article applies to This article does not apply to This article is not tied to any specific product. Not all product versions are identified in this article.
Check out other resources

Symptoms

NetWorker (NW) 有內建的 Data Domain 雲端層 (DD CT) 支援。這表示 NW 管理員可以設定雲端的分層原則：NW 會標記個別的備份映像，以便稍後執行將 DD 資料移動至雲端，並將這些檔案傳送至設定的雲端裝置。

要強調的第一個重要事實是 NW 不會將資料移動或建立複本 (複製) 到雲端。它會建立要傳送至雲端的 SSID 複本 (複製)，但複製 (最初) 位於 DD 作用層中。只有在設定的 DD data-movement 排程啟動後，標記用於 (分層至) 雲端的 SSID 才會傳送至雲端儲存。

從進行備份到可在雲端中取得 SSID 的整個過程與以下非常類似：

Cause

1.NW 設定會將備份儲存至 DD (DD 作用層一律會進行消化)。通常，會使用單一儲存單元來進行： 
DDBOOST Storage-Unit Show Type BoostFS
-------------------------

Name                   Pre-Comp (GiB)   Status   User            Report Physical   BoostFS
                                                                    Size (MiB)
--------------------   --------------   ------   -------------   ---------------   -------
NW-STORAGE-UNIT            25680542.0   RW       boostuser                    -    no
--------------------   --------------   ------   -------------   ---------------   -------


2.在 NetWorker 中，每個備份原則都會儲存在 NetWorker 所稱的「裝置」下。裝置只是儲存單元根目錄下的子目錄，例如： 
/data/col1/NW-STORAGE-UNIT/DAILY-DB-DEV01/00/80/ee140226-00000006-2b625ef6-66625ef6-0e095000-e36c9c56
/data/col1/NW-STORAGE-UNIT/DAILY-DB-DEV02/00/48/f8959462-00000006-3f775a89-66775a89-b8fa5000-e36c9c56
/data/col1/NW-STORAGE-UNIT/MONTHLY-DB-DEV01/03/93/30e0c543-00000006-3d5cac26-665cac26-f6f75000-e36c9c56
/data/col1/NW-STORAGE-UNIT/MONTHLY-FS-DEV06/92/30/05729157-00000006-cc5a6431-665a6431-9e685000-e36c9c56
此處的原則或裝置會是「DAILY-DB-DEV01」、「DAILY-DB-DEV02」、「MONTHLY-DB-DEV01」和「MONTHLY-FS-DEV06」。

3.NW 最終會針對 DD CT 進行設定，並在 DD 中產生資料移動 app-managed data-movement 組態，如下所示： 
Cloud Data-Movement Configuration
---------------------------------
Mtree                             Target(Tier/Unit Name)   Policy        Value
-------------------------------   ----------------------   -----------   -------
/data/col1/NW-STORAGE-UNIT        Cloud/CLOUD-UNIT         app-managed   enabled
-------------------------------   ----------------------   -----------   -------
雲端的 DD data-movement 組態會採用來源 MTree (NW 儲存單元)、目標雲端裝置 (CLOUD-UNIT) 和原則，其中 NetWorker (和 Avamar) 必須為「app-managed」，而非「age-threshold」，因為要移至雲端的檔案是由 NW 決定 (標記)，而不是根據檔案本身的年份來選擇。

4.NW 為 DD CT 的運作方式並不會在其原始位置上「標記」要移至雲端的檔案：當客戶為雲端分層設定 NW 時，客戶必須在同一個儲存單元中建立其他裝置，其中會先由 NW 將要傳送至雲端的檔案複製到其中。例如，設定為儲存在 DD CT 中的特定 SSID 會在 DD 檔案位置報告中顯示為兩個獨立 (但相同) 的檔案： 
# filesys report generate file-location tiering
--------------------------------                                                                                  ----------------------      -----         ---------------------------
File Name                                                                                                         Location(Unit Name)         Size          Placement Time
--------------------------------                                                                                  ----------------------      -----         ---------------------------
/data/col1/NW-STORAGE-UNIT/MONTHLY-FS-DEV05/85/72/365bdbce-00000006-3157c1bc-6657c1bc-32035000-e36c9c56                        Active         1.15 TiB      Thu May 30 04:00:59 2024
/data/col1/NW-STORAGE-UNIT/CLOUD-LONG-TERM-DEV04/85/72/365bdbce-00000006-3157c1bc-6657c1bc-32035000-e36c9c56               CLOUD-UNIT         1.15 TiB      Sat Jun  1 11:13:33 2024
以上資訊顯示：
  • 含有長 SSID「365bdbce-00000006-3157c1bc-6657c1bc-32035000-e36c9c56」的備份映像已寫入 DD 作用層，上次寫入時間「Thu May 30 04:00:59 2024」，位於裝置名稱「MONTHLY-FS-DEV05」下
  • 有一個名為「CLOUD-LONG-TERM-DEV04/」的分層原則 (含目標裝置)
  • 執行分層原則時 (可能在備份完成後便會發生)，會從原始裝置製作一份 SSID 複本 (複製) 到名為「CLOUD-LONG-TERM-DEV04」的 NW 雲端裝置
  • 最終會執行 DD data-movement，並將原始備份的複製從作用中移至雲端裝置，檔案的處理完成時間為「Sat Jun  1 11:13:33 2024」
  • 在收集上述檔案位置資訊時，作用中和雲端 DD 層中存在相同的長 SSID 複本
  • NW 可自行決定到期及刪除個別到期的複本，理論上而言，作用層中的複本會比雲端中的複本更早到期，雲端中的複本會保留更長時間 (否則就失去一開始將該備份映像傳送到雲端的意義)

5.NetWorker 文件會要求在與作用層中的檔案相同的儲存單元下建立的 NW 精靈中的雲端層裝置。在不同的儲存單元上建立雲端裝置可能會導致使用「fastcopy」以外的方式完成複製，這會導致複製時間緩慢許多。此為 NW 說明文件中的適用區段：
https://www.dell.com/support/manuals/en-us/networker/nw_p_ddboostdedup_integration/configuring-networker-devices-for-dd-cloud-tier?guid=guid-680d906f-10c7-4266-822e-1a0f3ba3e201⟨=en-us
  
Configuring NetWorker devices for DD Cloud Tier
-----------------------------------------------
Use the Device Configuration Wizard to configure NetWorker devices for the DD Cloud Tier devices.

The Data Domain devices that contain the source backup data must reside on the same mtree as the DD Cloud Tier device that will store the clone data. The storage node that manages the Data Domain devices must be a NetWorker 19.7 storage node. 

6.來自上述 NW 說明文件聲明的其中一個含義是，在使用雲端層的 NetWorker/Data Domain 設定中，所有資料通常都儲存在 DD 內的同一個儲存單元中，而且不支援將 NW 備份映像傳送至兩個獨立雲端裝置的方法。DD 資料移動組態不能針對相同的來源 Mtree 設有多個原則，這可能會在以下情況產生問題，例如第一個雲端裝置的容量用盡等 (請參閱下方的範例)： 
Active Tier:                                                                                       
Resource           Size GiB    Used GiB   Avail GiB   Use%   Cleanable GiB*                        
----------------   --------   ---------   ---------   ----   --------------                        
/data: pre-comp           -   8477328.0           -      -                -                        
/data: post-comp   944180.2    769927.8    174252.4    82%          90605.3                        
----------------   --------   ---------   ---------   ----   --------------                        

Cloud Tier unit-wise space usage                                                                   
--------------------------------                                                                   
CLOUD-UNIT                                                                                         
Resource             Size GiB     Used GiB   Avail GiB   Use%   Cleanable GiB                      
----------------   ----------   ----------   ---------   ----   -------------                      
/data: pre-comp             -   16935910.0           -      -               -                      
/data: post-comp   1572768.4*    1572755.0        13.4   100%             0.0                      
----------------   ----------   ----------   ---------   ----   -------------                      

Cloud Data-Movement Configuration                                        
---------------------------------                                        
Mtree                      Target(Tier/Unit Name)   Policy        Value  
------------------------   ----------------------   -----------   -------
/data/col1/NW-STORAGE-UNIT Cloud/CLOUD-UNIT         app-managed   enabled
------------------------   ----------------------   -----------   -------

Resolution

7.嘗試克服上述限制時，客戶可能會為即將進行的備份建立新的 NetWorker 儲存單元。或者，他們可以從現有的儲存單元複製到新儲存單元中的裝置，之後將第二個 DD 資料移動原則從新的儲存單元新增到新的雲端裝置。最終的組態如下所示： 
Cloud Unit List
---------------
Name           Profile              Status   Reason
------------   ------------------   ------   -------------------------------
CLOUD-UNIT     CLOUD-UNIT_profile   Active   Cloud unit connected and ready.  <<-- existing Cloud Unit
CLOUD-UNIT02   CLOUD-UNIT_profile   Active   Cloud unit connected and ready.  <<-- new Cloud Unit
------------   ------------------   ------   -------------------------------

Cloud Data-Movement Configuration
---------------------------------
Mtree                             Target(Tier/Unit Name)   Policy        Value
-------------------------------   ----------------------   -----------   -------
/data/col1/NW-STORAGE-UNIT          Cloud/CLOUD-UNIT         app-managed   enabled
/data/col1/NW-STORAGE-UNIT-NEW      Cloud/CLOUD-UNIT02       app-managed   enabled
-------------------------------   ----------------------   -----------   -------

除了 NW 說明文件的要求外，問題是複製速度緩慢。此外，您可能會在 DD SSP (系統顯示效能) 中看到類似以下內容： 
                     -----------Throughput (MB/s)----------- ---------------Protocol-----------------  Compression  ------Cache Miss--------  -----------Streams-----------  -MTree Active-  ----State---  -----Utilization-----  --Latency-- 
                                                                                                                                                                       Repl
Date       Time      Read  Write Repl Network  Repl Pre-comp ops/s    load    data(MB/s)    wait(ms/MB)  gcomp lcomp  thra unus ovhd data meta    rd/  wr/  r+/  w+/  in/ out      rd/wr      'CDPVMSFIRL'     CPU        disk       in ms     stream   
---------- --------  ----- ----- ----in/out--- ----in/out--- -----    --%--   --in/out---   --in/out---  ----- -----  ---- ---- ---- ---- ----  ----------------------------- --------------  -----------  -avg/max---- --max---  --avg/sdev-  -----------
2024/06/13 18:27:00    0.0    0.0   0.00/  0.00   0.00/  0.00     2   NaN%   0.00/  0.00  20.97/ 37.46    1.7   1.7    0%   0%  21%   0%   2%     0/   0/   0/   0/   0/   0       0/ 0       ---V---I---    6%/  8%[13]  7%[28]  2.1/  7.5  116.0/  2.2 
2024/06/13 18:37:00    0.0    0.0   0.00/  0.00   0.00/  0.00    89   NaN%   0.01/  0.01  19.45/ 68.12    2.8   2.1    0%   0%  21%   0%   1%     0/   0/   0/   0/   0/   0       0/ 0       ---V---I---    5%/  6%[4]   7%[28]  0.7/  3.7  115.8/  3.0 
2024/06/13 18:47:00   39.6   39.5   0.00/  0.00   0.00/  0.00  1160   NaN%   0.54/ 37.82   4.27/  0.42   62.5   1.7    0%   0%  11%   0%   1%     1/   1/   0/   0/   0/   0       1/ 1       ---V---I---    5%/  7%[4]   7%[28]  0.4/  3.0  118.8/  3.4 
2024/06/13 18:57:00  215.5  215.5   0.00/  0.00   0.00/  0.00   825   NaN%   0.93/205.66   4.29/  0.30  291.2   1.2    0%   0%   7%   0%   1%     1/   1/   0/   0/   0/   0       1/ 1       ---V---I---    7%/  9%[14]  8%[28]  0.1/  3.8  118.8/  3.7 
2024/06/13 19:07:00  223.9  223.9   0.00/  0.00   0.00/  0.00   856   NaN%   0.94/213.74   4.32/  0.29  327.5   1.1    0%   0%   7%   0%   1%     1/   1/   0/   0/   0/   0       1/ 1       ---V---I---    7%/  9%[14]  8%[28]  0.1/  0.8  118.5/  4.4 
2024/06/13 19:17:00  218.5  218.5   0.00/  0.00   0.00/  0.00  1916   NaN%   1.01/208.56   5.34/  0.32  278.3   1.3    0%   0%   9%   0%   1%     1/   1/   0/   0/   0/   0       1/ 1       ---V---I---    7%/  9%[4]   8%[28]  0.2/  3.7  118.2/  3.6 
2024/06/13 19:27:00  174.3  174.3   0.00/  0.00   0.00/  0.00   696   NaN%   2.25/166.37   2.02/  0.30   64.7   1.5    0%   1%  19%   0%   1%     1/   1/   0/   0/   0/   0       0/ 2       ---V---I---    8%/ 12%[13]  9%[28]  0.4/  6.5  121.5/  4.6 
2024/06/13 19:37:00  182.6  183.5   0.00/  0.00   0.00/  0.00   719   NaN%   5.40/174.31   1.24/  0.29   34.8   1.1    2%   6%  28%   0%   3%     1/   3/   0/   0/   0/   0       0/ 2       ---V---I---    8%/ 11%[43] 12%[28]  0.3/  6.0  121.8/  6.9 
...
2024/06/20 15:39:00  150.4  293.6   0.00/  0.00   0.00/  0.00   6716  NaN%  25.47/146.12   1.39/  0.59   11.8   1.0    1%   0%  19%   0%   4%     0/   2/   0/   0/   0/   0       0/ 2       ---V---I---    7%/ 13%[15]  5%[14]  0.2/  1.0  119.2/  4.0 
2024/06/20 15:49:00  215.9  298.8   0.00/  0.00   0.00/  0.00  12448  NaN%  31.55/212.33   1.60/  0.65    9.8   1.0    2%   0%   0%   0%   2%     0/   2/   0/   0/   0/   0       0/ 2       ---V---I---    8%/ 15%[15]  4%[21]  0.2/  0.5  117.5/  2.7 
2024/06/20 15:59:00  186.5  344.3   0.00/  0.00   0.00/  0.00   1854  NaN%  24.07/178.14   1.04/  0.33   14.6   1.0    5%   0%  21%   0%   2%     1/   2/   0/   0/   0/   0       0/ 2       ---V---I---    6%/ 14%[15]  5%[ 3]  0.4/  4.4  119.2/  2.3 
2024/06/20 16:09:00  205.3  426.2   0.00/  0.00   0.00/  0.00    808  NaN%  18.73/196.08   1.09/  0.30   24.4   1.0    4%   5%  27%   0%   3%     0/   2/   0/   0/   0/   0       0/ 2       ---V---I---    6%/ 14%[47]  5%[ 3]  0.3/  0.3  117.5/  2.6 
2024/06/20 16:19:00  211.7  399.3   0.00/  0.00   0.00/  0.00    843  NaN%  17.86/202.10   1.09/  0.29   23.5   1.0    2%   0%   0%   0%   2%     1/   2/   0/   0/   0/   0       0/ 2       ---V---I---    6%/ 13%[15]  3%[ 3]  0.3/  4.8  119.2/  1.8 
...                                                                                        
2024/06/23 18:21:00  470.3  484.6   0.00/  0.00   0.00/  0.00   1807  NaN%   9.85/448.86   2.59/  0.30   50.2   1.1    1%  21%  34%   0%   0%     4/   5/   0/   0/   0/   0       0/ 2       ---V---I---    7%/ 11%[9]   9%[13]   0.2/  1.5  126.8/  8.8 
2024/06/23 18:31:00  477.2  494.6   0.00/  0.00   0.00/  0.00   1846  NaN%   8.99/455.44   2.69/  0.29   57.3   1.1    1%  13%  27%   0%   0%     4/   5/   0/   0/   0/   0       0/ 2       -------I---    5%/  9%[0]   7%[17]   0.2/  1.7  127.0/  6.8 
2024/06/23 18:41:00  458.9  481.3   0.00/  0.00   0.00/  0.00   2913  NaN%  10.17/438.07   2.57/  0.30   48.3   1.1    1%  12%  28%   0%   0%     4/   5/   0/   0/   0/   0       0/ 2       -------I---    5%/  8%[0]   7%[ 3]   0.2/  1.2  127.0/  5.8 
2024/06/23 18:51:00  468.7  481.2   0.00/  0.00   0.00/  0.00   1807  NaN%  10.60/447.40   2.27/  0.29   46.5   1.1    1%  19%  34%   0%   1%     4/   5/   0/   0/   0/   0       0/ 2       -------I---    7%/  9%[9]   9%[ 3]   0.2/  1.5  127.0/  5.6 
2024/06/23 19:01:00  474.0  485.5   0.00/  0.00   0.00/  0.00   1814  NaN%  14.32/452.44   1.99/  0.29   33.6   1.1    2%  26%  39%   0%   0%     4/   5/   0/   0/   0/   0       0/ 2       ---V---I---    6%/ 10%[15] 11%[ 3]   0.2/  1.5  126.2/  6.4

當 NW 使用「fastcopy」進行複製時 (相同儲存單元內的複製會發生這種情況)，我們不應該會看到讀取負載。我們能在此看到是因為 NW 透過「filecopy」完成跨儲存單元的複製，在這個範例中，情況甚至更糟： 
06/19 08:24:14.178358 [7fbbf6b4a390] ddboost-<nw-node1.example.com-52424>: JOB START IMAGE_READ ip=10.20.30.40 pid=1727382 cd=1 enc=off //NW-STORAGE-UNIT/MONTHLY-FS-DEV06/03/54/d2b98e7a-00000006-4f5a1067-665a1067-88e55000-e36c9c56

06/19 08:24:14.286608 [7facd6691b70] ddboost-<nw-node2.example.com-58788>: JOB START IMAGE_WRITE ip=10.20.30.40 pid=18392 cd=1 enc=off //NW-STORAGE-UNIT-CT/CLOUD-LONG-TERM02-DEV07/03/54/d2b98e7a-00000006-4f5a1067-665a1067-88e55000-e36c9c56
這裡發生 SSID「d2b98e7a-00000006-4f5a1067-665a1067-88e55000-e36c9c56」的複製：
  • 從裝置「MONTHLY-FS-DEV06」在名為 (NW-STORAGE-UNIT) 的原始儲存單元中，讀取工作是從名為「nw-node1.example.com」的 NW 節點完成
  • 至新儲存單元 (NW-STORAGE-UNIT-CT) 下名為「CLOUD-LONG-TERM02-DEV07」的裝置，寫入工作是從名為「nw-node2.example.com」的 NW 節點完成
此讀取資料來自 DD 並傳至網路，穿過客戶網路從一個 NW 節點至另一個節點，然後使用相同的位元組串流將新檔案寫入當初其來自的相同 DD。

8.如範例所示 (含單一儲存單元的 NW 組態，以及雲端裝置已滿的 DD CT)，NW 的正確組態是在 DD 中建立新的雲端裝置。
這可避免在 DD 中建立第二個儲存單元，並為相同現有儲存單元內的不同裝置在 NW 中建立新的雲端分層原則。
然後為即將進行的 data-movement 執行變更 DD 資料移動組態，以新的雲端單元作為目標。
最終的 DD 端組態如下： 
Cloud Unit List
---------------
Name           Profile              Status   Reason
------------   ------------------   ------   -------------------------------
CLOUD-UNIT     CLOUD-UNIT_profile   Active   Cloud unit connected and ready.  <<-- existing Cloud Unit
CLOUD-UNIT02   CLOUD-UNIT_profile   Active   Cloud unit connected and ready.  <<-- new Cloud Unit
------------   ------------------   ------   -------------------------------

Cloud Data-Movement Configuration
---------------------------------
Mtree                             Target(Tier/Unit Name)   Policy        Value
-------------------------------   ----------------------   -----------   -------
/data/col1/NW-STORAGE-UNIT        Cloud/CLOUD-UNIT02       app-managed   enabled  <<-- target cloud unit changed from "CLOUD-UNIT"
-------------------------------   ----------------------   -----------   -------
當現有和新的 NW 分層原則皆執行時，它們會建立要傳送到雲端的儲存集複製，並在相同儲存單元的不同裝置 (子目錄) 下進行複製，NW「雲端裝置」內的檔案會標示為用於資料移動。

當依排程執行 DD 資料移動時，將會列出單一 NW 儲存單元中的所有檔案，並判斷其是否符合資料移動資格 (已標示)，但尚未位在任何雲端裝置中。無論它們在 DD 中的子目錄 (裝置) 為何，尚未在雲端裝置中所有用於資料移動的已標記檔案會依次個別傳送至目標雲端裝置 (CLOUD-UNIT02)。

將檔案成功複製到雲端並由 DD 驗證後，檔案就會「安裝」，這表示 DD 會變更檔案 CH (內容處理) 以指出檔案的實體位置 (以允許其在作用層或兩個雲端裝置中的任何一個中找到檔案的資料)。

當備份應用程式稍後嘗試讀取或回收在雲端中的檔案時，檔案資料的實體位置對 NW 來說是顯而易見的，因為 DD 確切知道要從哪裡讀取資料。這與目前的 DD 資料移動組態分離。


9.最後，範例中的客戶一開始並未遵循 NW 說明文件 (遇到嚴重的 NW 複製效能問題)，最終部分 SSID 儲存了三次 (一次為作用中，在兩個雲端裝置中各一次)，這完全沒問題 (儘管根據設定的保留原則，這可能會浪費空間)： 
--------------------------------                                                                                  ----------------------      -----         ---------------------------
File Name                                                                                                         Location(Unit Name)         Size          Placement Time
--------------------------------                                                                                  ----------------------      -----         ---------------------------
/data/col1/NW-STORAGE-UNIT/MONTHLY-FS-DEV05/85/72/365bdbce-00000006-3157c1bc-6657c1bc-32035000-e36c9c56                        Active         1.15 TiB      Thu May 30 04:00:59 2024
/data/col1/NW-STORAGE-UNIT/CLOUD-LONG-TERM-DEV04 /85/72/365bdbce-00000006-3157c1bc-6657c1bc-32035000-e36c9c56              CLOUD-UNIT         1.15 TiB      Sat Jun  1 11:13:33 2024
/data/col1/NW-STORAGE-UNIT-CT/CLOUD-LONG-TERM02-DEV07/85/72/365bdbce-00000006-3157c1bc-6657c1bc-32035000-e36c9c56        CLOUD-UNIT02         1.15 TiB      Tue Jun 18 10:49:10 2024

同一個檔案有三個複本，其中兩個已移至雲端，每個雲端裝置各一個。
當 NW 嘗試讀取其中任何一個時，DD 會知道每個位置，並視需要清楚地將資料傳回 NW，與僅使用作用層的情況相比沒有任何差異。
這三個檔案的每一個最終都會到期，並由 NW 刪除。

同一個檔案有三個複本，其中兩個已移至雲端，每個雲端裝置各一個。
當 NW 嘗試讀取其中任何一個時，DD 會確切知道每個的位置，並視需要清楚地將資料傳回 NW，與僅使用作用層的情況相比沒有任何差異。
三個檔案中的每一個最終都會由 NW 設為過期 (並刪除)。

Affected Products

Data Domain
Article Properties
Article Number: 000226881
Article Type: Solution
Last Modified: 19 Aug 2024
Version:  2
Find answers to your questions from other Dell users
Support Services
Check if your device is covered by Support Services.