Data Domain: NetWorkerin toiminta Data Domainin ja Cloud Tierin kanssa

NetWorker (NW) sisältää sisäänrakennetun Data Domain Cloud Tier (DD CT) -tuen. Tämä tarkoittaa, että NW-järjestelmänvalvoja voi määrittää käytännöt pilvipalvelun kerrostukselle: NW merkitsee yksittäiset varmuuskopiokuvat niin, että myöhemmin DD-tietojen siirto pilveen suoritetaan ja lähettää nämä tiedostot määritettyyn pilviyksikköön.

Ensimmäinen tärkeä korostettava seikka on, että NW ei siirrä tai kopioi (kloonaa) tietoja pilveen. Se luo SSID:istä kopioita (klooneja), jotka lähetetään pilveen, mutta kloonit ovat (aluksi) DD Active -tasolla. Vasta kun määritetty DD-tiedonsiirtoaikataulu käynnistyy, pilvipalvelulle (porrastettu) SSID lähetetään pilvitallennustilaan.

Koko prosessi varmuuskopion ottamisesta siihen pisteeseen, jossa kyseinen SSID on saatavilla pilvessä, toimii hyvin samalla tavalla kuin alla:

1. NW on määritetty tallentamaan varmuuskopiot DD:hen (käyttö tapahtuu aina DD Active -tasolle). Tavallisesti se käyttää yhtä tallennusyksikköä seuraaviin tarkoituksiin:

DDBOOST Storage-Unit Show Type BoostFS
-------------------------

Name                   Pre-Comp (GiB)   Status   User            Report Physical   BoostFS
                                                                    Size (MiB)
--------------------   --------------   ------   -------------   ---------------   -------
NW-STORAGE-UNIT            25680542.0   RW       boostuser                    -    no
--------------------   --------------   ------   -------------   ---------------   -------

2. NetWorkerissa kukin varmuuskopiointikäytäntö tallennetaan laitteeseen, jota NetWorker kutsuu "laitteeksi". Laite on vain tallennusyksikön juuren alapuolella oleva alihakemisto, esimerkiksi:

/data/col1/NW-STORAGE-UNIT/DAILY-DB-DEV01/00/80/ee140226-00000006-2b625ef6-66625ef6-0e095000-e36c9c56
/data/col1/NW-STORAGE-UNIT/DAILY-DB-DEV02/00/48/f8959462-00000006-3f775a89-66775a89-b8fa5000-e36c9c56
/data/col1/NW-STORAGE-UNIT/MONTHLY-DB-DEV01/03/93/30e0c543-00000006-3d5cac26-665cac26-f6f75000-e36c9c56
/data/col1/NW-STORAGE-UNIT/MONTHLY-FS-DEV06/92/30/05729157-00000006-cc5a6431-665a6431-9e685000-e36c9c56

Tässä käytännöt tai laitteet ovat DAILY-DB-DEV01, DAILY-DB-DEV02, MONTHLY-DB-DEV01 ja MONTHLY-FS-DEV06.

3. NW määritetään lopulta DD CT:lle, mikä johtaa DD:ssä sovelluksen hallitsemaan tiedonsiirtomääritykseen seuraavan mukaisesti:

Cloud Data-Movement Configuration
---------------------------------
Mtree                             Target(Tier/Unit Name)   Policy        Value
-------------------------------   ----------------------   -----------   -------
/data/col1/NW-STORAGE-UNIT        Cloud/CLOUD-UNIT         app-managed   enabled
-------------------------------   ----------------------   -----------   -------

DD-tiedonsiirron määritys pilvipalveluun hakee lähde-MTreen (NW-tallennusyksikkö), kohdepilviyksikön (CLOUD-UNIT) ja käytännön, jonka NetWorkerin (ja Avamarin) on oltava "app-managed" eikä "age-threshold", koska pilveen siirrettävät tiedostot määrittää (merkitse) NW eikä itse

tiedostojen ikä valitse.4. NW:n toimintatapa DD CT:ssä se ei "merkitse" pilveen siirrettäviä tiedostoja niiden alkuperäiseen sijaintiin: Kun asiakas määrittää NW:n pilvikerrostusta varten, asiakkaan on luotava samaan tallennusyksikköön toinen laite, johon NW kloonaa ensin pilveen lähetettävät tiedostot. Esimerkiksi tietty SSID, joka on määritetty tallennettavaksi DD CT:hen, näkyy kahtena erillisenä (mutta identtisenä) tiedostona DD-tiedoston sijaintiraportissa:

# filesys report generate file-location tiering
--------------------------------                                                                                  ----------------------      -----         ---------------------------
File Name                                                                                                         Location(Unit Name)         Size          Placement Time
--------------------------------                                                                                  ----------------------      -----         ---------------------------
/data/col1/NW-STORAGE-UNIT/MONTHLY-FS-DEV05/85/72/365bdbce-00000006-3157c1bc-6657c1bc-32035000-e36c9c56                        Active         1.15 TiB      Thu May 30 04:00:59 2024
/data/col1/NW-STORAGE-UNIT/CLOUD-LONG-TERM-DEV04/85/72/365bdbce-00000006-3157c1bc-6657c1bc-32035000-e36c9c56               CLOUD-UNIT         1.15 TiB      Sat Jun  1 11:13:33 2024

Edellä olevista tiedoista käy ilmi, että:

• Varmuuskopiokuva pitkällä SSID-tunnuksella "365bdbce-000000006-3157c1bc-6657c1bc-32035000-e36c9c56" on kirjoitettu DD Active -tasolle ja viimeksi nimellä "Thu May 30 04:00:59 2024" laitenimellä "MONTHLY-FS-DEV05"
• On olemassa kerrostuskäytäntö (kohdelaitteen kanssa) nimeltä "CLOUD-LONG-TERM-DEV04/"
• Kun kerrostuskäytäntö suoritettiin (tämä tapahtui todennäköisesti jo varmuuskopioinnin valmistuttua), SSID:stä tehtiin kopio (klooni) alkuperäisestä laitteesta NW-pilvilaitteeseen nimeltä CLOUD-LONG-TERM-DEV04
• DD-tiedonsiirto suoritettiin lopulta ja alkuperäisen varmuuskopion klooni siirrettiin aktiivisesta pilviyksikköön, prosessi valmistui tiedostolle "Sat Jun 1 11:13:33 2024" mennessä
• Kun edellä olevat tiedoston sijaintitiedot kerättiin, samasta pitkästä SSID:stä on kopio sekä aktiivisella että pilvipohjaisen DD:n tasolla
• NW:n on pakko vanhentaa ja poistaa yksittäiset kopiot, kun teoriassa Active-tason kopio vanhenee aikaisemmin kuin pilvessä oleva kopio, jota säilytetään pidempään (tai muuten olisi turhaa lähettää varmuuskopiokuvaa pilveen)

5. NetWorker-dokumentaatiossa pyydetään, että ohjatun NW-toiminnon Cloud Tier -laite luodaan samaan tallennusyksikköön kuin aktiivisen tason tiedostot. Pilvilaitteen luominen eri tallennusyksikköön voi aiheuttaa kloonien käyttämisen muulla kuin pikakopioinnilla, mikä hidastaa kloonausta. Tämä on NW-dokumentaation soveltuva osa:
https://www.dell.com/support/manuals/en-us/networker/nw_p_ddboostdedup_integration/configuring-networker-devices-for-dd-cloud-tier?guid=guid-680d906f-10c7-4266-822e-1a0f3ba3e201⟨=en-us
 

Configuring NetWorker devices for DD Cloud Tier
-----------------------------------------------
Use the Device Configuration Wizard to configure NetWorker devices for the DD Cloud Tier devices.

The Data Domain devices that contain the source backup data must reside on the same mtree as the DD Cloud Tier device that will store the clone data. The storage node that manages the Data Domain devices must be a NetWorker 19.7 storage node. 

6. Yksi edellä NW-dokumentaatiossa esitetyn väitteen seurauksista on se, että NetWorker- / Data Domain -asetuksissa, joissa on pilvitaso, yleensä kaikki tiedot tallennetaan samaan tallennusyksikköön DD:ssä, eikä NW-varmuuskopiokuvien lähettäminen kahteen erilliseen pilviyksikköön ole tuettua. DD-tiedonsiirtokonfiguraatiolla ei voi olla useampaa kuin yhtä käytäntöä samalle lähde-Mtreelle, mikä voi aiheuttaa ongelmia esimerkiksi ensimmäisen pilviyksikön kapasiteetin maksimoinnissa (katso alla oleva esimerkki):

Active Tier:                                                                                       
Resource           Size GiB    Used GiB   Avail GiB   Use%   Cleanable GiB*                        
----------------   --------   ---------   ---------   ----   --------------                        
/data: pre-comp           -   8477328.0           -      -                -                        
/data: post-comp   944180.2    769927.8    174252.4    82%          90605.3                        
----------------   --------   ---------   ---------   ----   --------------                        

Cloud Tier unit-wise space usage                                                                   
--------------------------------                                                                   
CLOUD-UNIT                                                                                         
Resource             Size GiB     Used GiB   Avail GiB   Use%   Cleanable GiB                      
----------------   ----------   ----------   ---------   ----   -------------                      
/data: pre-comp             -   16935910.0           -      -               -                      
/data: post-comp   1572768.4*    1572755.0        13.4   100%             0.0                      
----------------   ----------   ----------   ---------   ----   -------------                      

Cloud Data-Movement Configuration                                        
---------------------------------                                        
Mtree                      Target(Tier/Unit Name)   Policy        Value  
------------------------   ----------------------   -----------   -------
/data/col1/NW-STORAGE-UNIT Cloud/CLOUD-UNIT         app-managed   enabled
------------------------   ----------------------   -----------   -------

7. Kun asiakas yrittää ylittää edellä mainitut rajoitukset, hän voi luoda uuden NetWorker-tallennusyksikön tulevia varmuuskopiointeja varten. Tai he voivat tehdä klooneja olemassa olevasta tallennusyksiköstä uuteen laitteeseen ja lisätä myöhemmin toisen DD-tiedonsiirtokäytännön uudesta tallennusyksiköstä uuteen pilviyksikköön. Tämä päätyy alla olevan kaltaiseen kokoonpanoon:

Cloud Unit List
---------------
Name           Profile              Status   Reason
------------   ------------------   ------   -------------------------------
CLOUD-UNIT     CLOUD-UNIT_profile   Active   Cloud unit connected and ready.  <<-- existing Cloud Unit
CLOUD-UNIT02   CLOUD-UNIT_profile   Active   Cloud unit connected and ready.  <<-- new Cloud Unit
------------   ------------------   ------   -------------------------------

Cloud Data-Movement Configuration
---------------------------------
Mtree                             Target(Tier/Unit Name)   Policy        Value
-------------------------------   ----------------------   -----------   -------
/data/col1/NW-STORAGE-UNIT          Cloud/CLOUD-UNIT         app-managed   enabled
/data/col1/NW-STORAGE-UNIT-NEW      Cloud/CLOUD-UNIT02       app-managed   enabled
-------------------------------   ----------------------   -----------   -------

NW-dokumentaation vaatimusten lisäksi ongelmana on, että kloonaus on hidasta. DD SSP:ssä (system show performance) voi myös näkyä jotain tällaista:

                     -----------Throughput (MB/s)----------- ---------------Protocol-----------------  Compression  ------Cache Miss--------  -----------Streams-----------  -MTree Active-  ----State---  -----Utilization-----  --Latency-- 
                                                                                                                                                                       Repl
Date       Time      Read  Write Repl Network  Repl Pre-comp ops/s    load    data(MB/s)    wait(ms/MB)  gcomp lcomp  thra unus ovhd data meta    rd/  wr/  r+/  w+/  in/ out      rd/wr      'CDPVMSFIRL'     CPU        disk       in ms     stream   
---------- --------  ----- ----- ----in/out--- ----in/out--- -----    --%--   --in/out---   --in/out---  ----- -----  ---- ---- ---- ---- ----  ----------------------------- --------------  -----------  -avg/max---- --max---  --avg/sdev-  -----------
2024/06/13 18:27:00    0.0    0.0   0.00/  0.00   0.00/  0.00     2   NaN%   0.00/  0.00  20.97/ 37.46    1.7   1.7    0%   0%  21%   0%   2%     0/   0/   0/   0/   0/   0       0/ 0       ---V---I---    6%/  8%[13]  7%[28]  2.1/  7.5  116.0/  2.2 
2024/06/13 18:37:00    0.0    0.0   0.00/  0.00   0.00/  0.00    89   NaN%   0.01/  0.01  19.45/ 68.12    2.8   2.1    0%   0%  21%   0%   1%     0/   0/   0/   0/   0/   0       0/ 0       ---V---I---    5%/  6%[4]   7%[28]  0.7/  3.7  115.8/  3.0 
2024/06/13 18:47:00   39.6   39.5   0.00/  0.00   0.00/  0.00  1160   NaN%   0.54/ 37.82   4.27/  0.42   62.5   1.7    0%   0%  11%   0%   1%     1/   1/   0/   0/   0/   0       1/ 1       ---V---I---    5%/  7%[4]   7%[28]  0.4/  3.0  118.8/  3.4 
2024/06/13 18:57:00  215.5  215.5   0.00/  0.00   0.00/  0.00   825   NaN%   0.93/205.66   4.29/  0.30  291.2   1.2    0%   0%   7%   0%   1%     1/   1/   0/   0/   0/   0       1/ 1       ---V---I---    7%/  9%[14]  8%[28]  0.1/  3.8  118.8/  3.7 
2024/06/13 19:07:00  223.9  223.9   0.00/  0.00   0.00/  0.00   856   NaN%   0.94/213.74   4.32/  0.29  327.5   1.1    0%   0%   7%   0%   1%     1/   1/   0/   0/   0/   0       1/ 1       ---V---I---    7%/  9%[14]  8%[28]  0.1/  0.8  118.5/  4.4 
2024/06/13 19:17:00  218.5  218.5   0.00/  0.00   0.00/  0.00  1916   NaN%   1.01/208.56   5.34/  0.32  278.3   1.3    0%   0%   9%   0%   1%     1/   1/   0/   0/   0/   0       1/ 1       ---V---I---    7%/  9%[4]   8%[28]  0.2/  3.7  118.2/  3.6 
2024/06/13 19:27:00  174.3  174.3   0.00/  0.00   0.00/  0.00   696   NaN%   2.25/166.37   2.02/  0.30   64.7   1.5    0%   1%  19%   0%   1%     1/   1/   0/   0/   0/   0       0/ 2       ---V---I---    8%/ 12%[13]  9%[28]  0.4/  6.5  121.5/  4.6 
2024/06/13 19:37:00  182.6  183.5   0.00/  0.00   0.00/  0.00   719   NaN%   5.40/174.31   1.24/  0.29   34.8   1.1    2%   6%  28%   0%   3%     1/   3/   0/   0/   0/   0       0/ 2       ---V---I---    8%/ 11%[43] 12%[28]  0.3/  6.0  121.8/  6.9 
...
2024/06/20 15:39:00  150.4  293.6   0.00/  0.00   0.00/  0.00   6716  NaN%  25.47/146.12   1.39/  0.59   11.8   1.0    1%   0%  19%   0%   4%     0/   2/   0/   0/   0/   0       0/ 2       ---V---I---    7%/ 13%[15]  5%[14]  0.2/  1.0  119.2/  4.0 
2024/06/20 15:49:00  215.9  298.8   0.00/  0.00   0.00/  0.00  12448  NaN%  31.55/212.33   1.60/  0.65    9.8   1.0    2%   0%   0%   0%   2%     0/   2/   0/   0/   0/   0       0/ 2       ---V---I---    8%/ 15%[15]  4%[21]  0.2/  0.5  117.5/  2.7 
2024/06/20 15:59:00  186.5  344.3   0.00/  0.00   0.00/  0.00   1854  NaN%  24.07/178.14   1.04/  0.33   14.6   1.0    5%   0%  21%   0%   2%     1/   2/   0/   0/   0/   0       0/ 2       ---V---I---    6%/ 14%[15]  5%[ 3]  0.4/  4.4  119.2/  2.3 
2024/06/20 16:09:00  205.3  426.2   0.00/  0.00   0.00/  0.00    808  NaN%  18.73/196.08   1.09/  0.30   24.4   1.0    4%   5%  27%   0%   3%     0/   2/   0/   0/   0/   0       0/ 2       ---V---I---    6%/ 14%[47]  5%[ 3]  0.3/  0.3  117.5/  2.6 
2024/06/20 16:19:00  211.7  399.3   0.00/  0.00   0.00/  0.00    843  NaN%  17.86/202.10   1.09/  0.29   23.5   1.0    2%   0%   0%   0%   2%     1/   2/   0/   0/   0/   0       0/ 2       ---V---I---    6%/ 13%[15]  3%[ 3]  0.3/  4.8  119.2/  1.8 
...                                                                                        
2024/06/23 18:21:00  470.3  484.6   0.00/  0.00   0.00/  0.00   1807  NaN%   9.85/448.86   2.59/  0.30   50.2   1.1    1%  21%  34%   0%   0%     4/   5/   0/   0/   0/   0       0/ 2       ---V---I---    7%/ 11%[9]   9%[13]   0.2/  1.5  126.8/  8.8 
2024/06/23 18:31:00  477.2  494.6   0.00/  0.00   0.00/  0.00   1846  NaN%   8.99/455.44   2.69/  0.29   57.3   1.1    1%  13%  27%   0%   0%     4/   5/   0/   0/   0/   0       0/ 2       -------I---    5%/  9%[0]   7%[17]   0.2/  1.7  127.0/  6.8 
2024/06/23 18:41:00  458.9  481.3   0.00/  0.00   0.00/  0.00   2913  NaN%  10.17/438.07   2.57/  0.30   48.3   1.1    1%  12%  28%   0%   0%     4/   5/   0/   0/   0/   0       0/ 2       -------I---    5%/  8%[0]   7%[ 3]   0.2/  1.2  127.0/  5.8 
2024/06/23 18:51:00  468.7  481.2   0.00/  0.00   0.00/  0.00   1807  NaN%  10.60/447.40   2.27/  0.29   46.5   1.1    1%  19%  34%   0%   1%     4/   5/   0/   0/   0/   0       0/ 2       -------I---    7%/  9%[9]   9%[ 3]   0.2/  1.5  127.0/  5.6 
2024/06/23 19:01:00  474.0  485.5   0.00/  0.00   0.00/  0.00   1814  NaN%  14.32/452.44   1.99/  0.29   33.6   1.1    2%  26%  39%   0%   0%     4/   5/   0/   0/   0/   0       0/ 2       ---V---I---    6%/ 10%[15] 11%[ 3]   0.2/  1.5  126.2/  6.4

Kun NW käyttää klooneille "fastcopya" (kuten tapahtuu klooneille samassa tallennusyksikössä), meidän ei pitäisi nähdä lukukuormaa. Tässä näemme sen, koska NW tekee kloonauksen tallennusyksiköiden välillä "filecopyn" kautta, ja tässä esimerkissä se oli vielä pahempi:

06/19 08:24:14.178358 [7fbbf6b4a390] ddboost-<nw-node1.example.com-52424>: JOB START IMAGE_READ ip=10.20.30.40 pid=1727382 cd=1 enc=off //NW-STORAGE-UNIT/MONTHLY-FS-DEV06/03/54/d2b98e7a-00000006-4f5a1067-665a1067-88e55000-e36c9c56

06/19 08:24:14.286608 [7facd6691b70] ddboost-<nw-node2.example.com-58788>: JOB START IMAGE_WRITE ip=10.20.30.40 pid=18392 cd=1 enc=off //NW-STORAGE-UNIT-CT/CLOUD-LONG-TERM02-DEV07/03/54/d2b98e7a-00000006-4f5a1067-665a1067-88e55000-e36c9c56

Tässä tapahtuu klooni SSID: lle "d2b98e7a-00000006-4f5a1067-665a1067-88e55000-e36c9c56":

• Alkuperäisen tallennusyksikön (NW-STORAGE-UNIT) laitteessa MONTHLY-FS-DEV06 READ-työ tehdään NW-solmusta nimeltä nw-node1.example.com
• Uuden tallennusyksikön (NW-STORAGE-UNIT-CT) alla olevaan laitteeseen, jonka nimi on CLOUD-LONG-TERM02-DEV07, kirjoitetaan NW-solmuun nimeltä nw-node2.example.com

Tässä lukemassa DD: stä tuli tietoja verkkoon, jotka kulkivat asiakasverkon läpi yhdestä NW-solmusta toiseen, joka sitten käyttää samaa tavuvirtaa uuden tiedoston kirjoittamiseen samaan DD: hen, josta ne alun perin tulivat.

8. Kuten esimerkissä (NW-kokoonpano yhdellä tallennusyksiköllä ja DD CT, jossa pilviyksikkö on jo täynnä), NW:n oikea kokoonpano on luoda uusi pilviyksikkö DD:hen.
Näin vältetään toisen tallennusyksikön luominen DD:hen ja uuden pilvikerrostuskäytännön luominen NW:ssä eri laitteeseen samassa olemassa olevassa tallennusyksikössä.
Muuta sitten DD-tiedonsiirtokonfiguraatiota tulevia tiedonsiirtoajoja varten niin, että kohteena on uusi pilviyksikkö.
DD-puolen lopullinen määritys on seuraavanlainen:

Cloud Unit List
---------------
Name           Profile              Status   Reason
------------   ------------------   ------   -------------------------------
CLOUD-UNIT     CLOUD-UNIT_profile   Active   Cloud unit connected and ready.  <<-- existing Cloud Unit
CLOUD-UNIT02   CLOUD-UNIT_profile   Active   Cloud unit connected and ready.  <<-- new Cloud Unit
------------   ------------------   ------   -------------------------------

Cloud Data-Movement Configuration
---------------------------------
Mtree                             Target(Tier/Unit Name)   Policy        Value
-------------------------------   ----------------------   -----------   -------
/data/col1/NW-STORAGE-UNIT        Cloud/CLOUD-UNIT02       app-managed   enabled  <<-- target cloud unit changed from "CLOUD-UNIT"
-------------------------------   ----------------------   -----------   -------

Kun sekä nykyiset että uudet NW-kerrostuskäytännöt suoritetaan, ne luovat klooneja tallennusjoukoista lähetettäväksi pilveen, kloonit luodaan samaan tallennusyksikköön eri laitteeseen (alihakemistoon), ja NW-pilvilaitteissa olevat tiedostot merkitään tiedonsiirtoa varten.

Kun DD-tiedonsiirto suoritetaan aikataulun mukaisesti, kaikki yksittäisessä NW-tallennusyksikössä olevat tiedostot luetellaan ja määritetään, soveltuvatko ne (merkitään) tiedonsiirtoon, eivätkä ne ole vielä missään pilviyksikössä. Alihakemistosta (laitteesta) riippumatta ne ovat DD:ssä, kaikki merkityt tiedonsiirtoon tarkoitetut tiedostot, jotka eivät ole vielä pilviyksikössä, lähetetään yksitellen kohdepilviyksikköön (CLOUD-UNIT02).

Kun tiedosto on kopioitu onnistuneesti pilveen ja DD on vahvistanut sen, tiedosto "asennetaan", mikä tarkoittaa, että DD muuttaa tiedoston CH (Content Handle) ilmaisemaan tiedoston fyysisen sijainnin (jotta se voi paikantaa tiedoston tiedot joko aktiiviselta tasolta tai jommaltakummalta pilviyksiköltä).

Kun myöhemmin varmuuskopiointisovellus yrittää lukea tai palauttaa tiedostoja pilvessä, tiedoston tietojen fyysinen sijainti on läpinäkyvä NW:lle, koska DD tietää tarkalleen, mistä tiedot luetaan. Tämä on irrotettu nykyisestä DD-tiedonsiirtomäärityksestä.


9. Lopuksi esimerkin asiakas ei noudattanut NW-dokumentaatiota alussa (koki vakavia NW-kloonien suorituskykyongelmia) ja päätyi johonkin SSID: hen, joka tallennettiin kolme kertaa (kerran aktiivisessa ja kerran kummassakin kahdessa pilviyksikössä), mikä on täysin hienoa (vaikka se voi olla tilan tuhlausta määritetyistä säilytyskäytännöistä riippuen):

--------------------------------                                                                                  ----------------------      -----         ---------------------------
File Name                                                                                                         Location(Unit Name)         Size          Placement Time
--------------------------------                                                                                  ----------------------      -----         ---------------------------
/data/col1/NW-STORAGE-UNIT/MONTHLY-FS-DEV05/85/72/365bdbce-00000006-3157c1bc-6657c1bc-32035000-e36c9c56                        Active         1.15 TiB      Thu May 30 04:00:59 2024
/data/col1/NW-STORAGE-UNIT/CLOUD-LONG-TERM-DEV04 /85/72/365bdbce-00000006-3157c1bc-6657c1bc-32035000-e36c9c56              CLOUD-UNIT         1.15 TiB      Sat Jun  1 11:13:33 2024
/data/col1/NW-STORAGE-UNIT-CT/CLOUD-LONG-TERM02-DEV07/85/72/365bdbce-00000006-3157c1bc-6657c1bc-32035000-e36c9c56        CLOUD-UNIT02         1.15 TiB      Tue Jun 18 10:49:10 2024

Samasta tiedostosta on kolme kopiota, joista kaksi on siirretty pilveen, yksi kuhunkin pilviyksikköön.
Kun NW yrittää lukea mistä tahansa niistä, DD tietää, missä kukin on, ja tekee läpinäkyvästi tarpeen mukaan toimittaakseen tiedot takaisin NW: lle ilman eroa tilanteeseen, jossa on vain aktiivinen taso.
Jokainen kolmesta tiedostosta vanhenee lopulta ja NW poistaa sen.

Samasta tiedostosta on kolme kopiota, joista kaksi on siirretty pilveen, yksi kuhunkin pilviyksikköön.
Kun NW yrittää lukea mistä tahansa niistä, DD tietää tarkalleen, missä kukin heistä on, ja tekee läpinäkyvästi tarpeen mukaan toimittaakseen tiedot takaisin NW: lle ilman eroa tilanteeseen, jossa on vain aktiivinen taso.
NW vanhentaa (ja poistaa) lopulta jokaisen kolmesta tiedostosta.