Data Domain: Puhdistettava koko on arvio

Data Domain -järjestelmän Cleanable GiB -arvoon liittyy usein epäselvyyttä ja epäselviä odotuksia tyhjennyksen yhteydessä palautettavan tilan määrästä.

Annettu "puhdistettava GiB" -luku on puhtaasti arvio, eikä ole mahdollista saada tarkkaa arvoa siitä, kuinka paljon tilaa palautetaan suorittamalla puhdistus, Data Domain Filesystemin kehittämisessä tehtyjen teknisten valintojen vuoksi.

Seuraavassa on lyhyt selitys siitä, miksi arviot puhdistettavasta tilasta voivat poiketa huomattavasti todellisesta talteenotetusta tilasta. On kuitenkin muita tekijöitä, joita ei ole otettu huomioon tässä, mikä voi tehdä arviosta ja todella vapautuvan levytilan määrästä puhtaalla käyttökerralla huomattavan eron
 

Kun Data Domain -järjestelmä käsittelee tietoja, pakkauksen jälkeinen arvo lasketaan ja tallennetaan staattisena datana jokaiselle tiedostolle. Cleanable-arvo on yksinkertaisesti kaikkien DD Clean -suorittimen jälkeen viimeksi poistettujen tiedostojen pakkauksen jälkeinen arvo.
 

Puhdistettava-arvosta tulee epätarkka, jos poistettujen tiedostojen tiedostosegmenttejä on käytetty tietojen poistamiseen muista tiedostoista, joita ei ole poistettu. Niin kauan kuin käytössä on yksi tiedosto, joka viittaa olemassa olevaan yksilölliseen segmenttiin, DD:n puhdistusprosessi ei ota kyseisiä segmenttejä huomioon. Joten vaikka tiedoston jälkikorjaus lisättäisiin "Cleanable GiB" -laskuriin ikään kuin kaikki sen ainutlaatuiset segmentit olisivat hävittämässä, jotkut (tai monet) eivät ehkä ole, koska muut tiedostot käyttävät niitä uudelleen.
 

Seuraavassa on yksityiskohtaisempi esimerkki tästä vaikutuksesta:

Oletetaan, että sinulla on 5 tiedostoa, jotka on lisätty yksi kerrallaan Data Domain -järjestelmään ja joissa ei ole aiemmin muita tietoja.

Koska ensimmäiset 100 Gt: n tiedostot sisälsivät kaikki ainutlaatuiset tiedot, sen pakkaussuhde on 1x (olettaen, että ensimmäisellä tiedostolla ei ollut redundanssia itse tiedostossa). 2.-5. tiedostot pystyivät poistamaan kopioinnin 1. tiedoston tiedoista ja jokaisesta vanhemmasta tiedostosta, kun ne lisätään, ja jokainen sai yhä enemmän päällekkäisyyttä, koska päällekkäisyydet lisääntyvät.

File 1: precomp: 100 GB postcomp: 100 GB compression ratio: 1x
File 2: precomp: 100 GB postcomp:  50 GB compression ratio: 2x
File 3: precomp: 100 GB postcomp:  25 GB compression ratio: 4x
File 4: precomp: 100 GB postcomp:  25 GB compression ratio: 4x
File 5: precomp: 100 GB postcomp:   1 GB compression ratio: 100x

Resource            Size GiB    Used GiB   Avail GiB   Use%   Cleanable GiB*
----------------   ---------   ---------   ---------   ----   --------------
/backup: pre-comp          -         500           -      -                -
/backup: post-comp      1000         201         799    20%                0
----------------   ---------   ---------   ---------   ----   --------------

Esimerkki 1. Tila sen jälkeen, kun ensimmäiset 3 tiedostoa on poistettu /backup-kansiosta:
 

Resource            Size GiB    Used GiB   Avail GiB   Use%   Cleanable GiB*
----------------   ---------   ---------   ---------   ----   --------------
/backup: pre-comp          -         200           -      -                -
/backup: post-comp      1000         201         799    20%              175
----------------   ---------   ---------   ---------   ----   --------------

Jos suoritat puhdistuksen tämän jälkeen, saatat pystyä palauttamaan 125 täyden puhdistettavan 175: n sijaan. Tämä johtuu siitä, että viimeiset 2 tiedostoa jakavat segmenttejä tiedostojen 1-3 kanssa.  Puhdistus ei palauta loput 50 Gt tilaa, koska kyseiset segmentit ovat edelleen tiedostojen 3–5 käytössä.
 

Esimerkki 2: Oletetaan samaa lähtökohtaa käyttäen kuin esimerkissä 1, että tiedosto 1 on poistettu, sitten pikakopio on tehty koko /backup-kansioon (eli kaikkiin 5 tiedostoon) ja sitten tiedostojen 2–4 poisto. 

Resource            Size GiB    Used GiB   Avail GiB   Use%   Cleanable GiB*
----------------   ---------   ---------   ---------   ----   --------------
/backup: pre-comp          -         800           -      -                -
/backup: post-comp      1000         201         799    20%              200
----------------   ---------   ---------   ---------   ----   --------------

Pre-compin "Size GiB" -luku tulee (500-100)=400*2=800, jolloin 500 saadaan 500 alkuperäiselle tiedostolle, vähentämällä 100 tiedoston 1 poistamisesta saadaan 400 GiB.  Seuraavaksi 400 GiB kerrottuna 2: lla kaikkien 4 jäljellä olevan tiedoston pikakopion vuoksi.

Huomaa, että käytetty kilpailun jälkeinen tila on edelleen sama, koska tiedostokopio lisää vain pienen määrän tilaa, joka koostuu metatieto-osoittimista alkuperäiseen dataan. Tilankäyttö ei ole muuttunut tiedoston 1 poistamisesta huolimatta, koska "filesys clean start" -toimintoa ei ole suoritettu (puhdistuksen aloittamiseksi). 
 

Puhdistuksen jälkeen näemme:
 

Resource            Size GiB    Used GiB   Avail GiB   Use%   Cleanable GiB*
----------------   ---------   ---------   ---------   ----   --------------
/backup: pre-comp          -         800           -      -                -
/backup: post-comp      1000         176         824    18%                0
----------------   ---------   ---------   ---------   ----   --------------

Huomaa, että vaikka 200 Gt näytettiin puhdistettavaksi, vain 25 Gt puhdistettiin. "Cleanable GiB" näytti olevan 200, koska tiedostojen 1–4 "post-comp"-tiedostokoko oli jopa 200 Gt.  Vain "tiedosto 1" poistettiin, joka oli 100 Gt, mutta josta 75 Gt oli edelleen muiden 4 tiedoston käytössä (duplikoinnin poistamisen vuoksi).  

Tämä saattaa tuntua oudolta, koska "Tiedostot 2" - "Tiedosto 4" oli myös poistettu, mutta muista, että vaikka järjestelmä näyttää "Tiedostot 2" - "Tiedosto 4" poistettuina, näiden tiedostojen todellisia datasegmenttejä ei voitu poistaa, koska kyseiset tiedostot oli kopioitu nopeasti toiseen kansioon.   Vasta kun kaikki pikaversiot on myös poistettu, tila voidaan palauttaa kokonaan puhdistamalla.

Koska puhdistettava GiB on vain "arvio" eikä välttämättä ole tarkka, joskus se voi jopa heijastaa suurta tai samaa kokoa kuin Data Domainin fyysinen kapasiteetti.

Tämä voi aiheuttaa sekaannusta siitä, sallitaanko ajoitetun DDFS-puhdistuksen suorittaa vai manuaalisesti, jos DDFS-tilan käyttö on lähes 100 %, koska puhdistettava GiB näkyy lähellä tai sama arvo kuin "/data: post-comp".

Jotta käytössä olisi parempi ja luotettavampi tapa arvioida puhtaan levytilan määrä käytön aikana, DDOS 7.7.x:stä alkaen komentoriviliittymästä on nyt mahdollista määrittää aktiivisen tason seuraavan GC:n todellinen puhdistettava tila takaisin. Tämä on yhteenveto komentoriviliittymästä:
 

# filesys cleanable-space calculate
Cleanable space calculation started. Use 'filesys cleanable-space watch' to monitor progress.

Prosessi toimii samalla tavalla kuin tavallinen GC, käy läpi vaiheet 1–4, mutta ohittaa vaiheen 5 (kopiointi), joka kopioi eteenpäin säilöt ja vapauttaa kuolleen levytilan. Sellaisenaan kestää niin kauan kuin tavallinen GC kestää puhdistusvaiheiden 1–4 suorittamiseen arvon palauttamiseksi, joten tätä ei tarvitse suorittaa säännöllisesti päivitetyn arvion saamiseksi, vaan vain tarvittaessa. Toisin sanoen filesys cleanable-space calculate suorittaa GC:n Active-tasolla ohittaen vain sen osan, jossa se vapauttaa tilaa.

Prosessia voidaan seurata seuraavasti:
 

# filesys cleanable-space watch
Beginning 'filesys cleanable-space calculation' monitoring.  Use Control-C to stop monitoring.

Cleaning: phase 1 of 4 (pre-merge)
  100.0% complete, 96233 GiB free; time: phase  0:02:07, total  0:02:07

Cleaning: phase 2 of 4 (pre-analysis)
  100.0% complete, 96233 GiB free; time: phase  0:06:51, total  0:08:59

Cleaning: phase 3 of 4 (pre-enumeration)
  100.0% complete, 96233 GiB free; time: phase  0:00:20, total  0:09:20

Cleaning: phase 4 of 4 (pre-select)
  100.0% complete, 96233 GiB free; time: phase  0:00:25, total  0:09:46

Kun se on valmis, pääset käsiksi puhdistettavaan mittaustulokseen:

# filesys cleanable-space status

Cleanable space on active tier is 94649698202 bytes. Last calculated on 2023/08/25 03:29:51
Cleanable space calculation finished at 2023/08/25 03:29:51.

Jos DD GC suoritetaan nyt, se vapauttaa 94649698202 tavua. Se on 88,1 GiB, kun taas laskentahetkellä "df:n" ilmoittama arvio DD-laboratoriossa oli 41,9 GiB. Tietenkin, kun FS: ään tehdään muutoksia (uusia varmuuskopioita, enemmän poistoja, tilannekuvia luodaan ja vanhenee jne.), Laskenta käynnistyy.

Yllä olevan prosessin pysäyttämiseksi voidaan tarvittaessa käyttää komentoa:

# filesys cleanable-space stop

The 'filesys cleanable-space stop' command stops calculating cleanable space in the system.
Are you sure? (yes|no) [no]: yes

ok, proceeding.

# filesys cleanable-space status
Cleanable space on active tier is 2607064 bytes. Last calculated on 2021/06/27 23:23:05
Cleanable space calculation started at 2021/06/27 23:27:58 and was aborted at 2021/06/27 23:28:19.
Cleaning was aborted by user.

Huomaa, että komentoriviliittymä koskee vain DD Active -tasoa. DD-pilviyksikölle ei ole vastaavaa puhdistettavan laskentaprosessia, jolla on oma arvionsa, samoilla epävarmuuksilla kuin edellä on kuvattu.