Data Domain: introduzione alla pulizia/garbage collection di Cloud Tier con cloud retention/retention a lungo termine su Data Domain Restorer (DDR)
Summary: Questo articolo rappresenta un'introduzione alla pulizia/garbage collection per un Cloud Tier configurato su Data Domain Restorer (DDR) utilizzando la funzionalità di cloud retention/retention a lungo termine (LTR) ...
This article applies to
This article does not apply to
This article is not tied to any specific product.
Not all product versions are identified in this article.
Instructions
Data Domain Operating System (DD OS) 6.0 introduce una nuova funzione nota come cloud retention o retention a lungo termine (LTR). Questa funzione consente di aggiungere un secondo storage tier basato su oggetti fornito da un provider di cloud a determinati modelli di Data Domain Restorer (DDR) con una licenza CLOUD_CAPACITY associata.
Nei sistemi che utilizzano i file LTR acquisiti da DDR, vengono inizialmente scritti in Active Tier (storage collegato in locale). Le policy di spostamento dei dati/soglie di età vengono quindi configurate in base all'MTree, in modo che determinati file che richiedono una retention a lungo termine vengano successivamente migrati da Active Tier a Cloud Tier dal processo di spostamento dei dati (attività regolarmente pianificata).
I file in Cloud Tier possono essere eliminati normalmente, tuttavia lo spazio associato sullo storage cloud/a oggetti non viene immediatamente recuperato per l'uso. Per rimuovere i dati superflui dal cloud, è necessario pulire Cloud Tier.
Struttura di Cloud Tier:
Cloud Tier è suddiviso in "unità cloud". Importante:
# cloud unit list
Name Profile Status
----------------------- ------------ ------
B-unit LTR-ECS-Ben Active <=== ECS provider
cloud-unit-virtustream1 virtustream1 Active <=== Virtustream provider
----------------------- ------------ ------
Concetti di base sulla pulizia del cloud:
Sfortunatamente, queste informazioni non sono attualmente disponibili tramite la shell della riga di comando Data Domain (DDSH) per la pulizia dell'unità cloud in corso.
Inoltre, nei registri DDFS viene visualizzato quanto segue se la pulizia del cloud viene avviata manualmente o tramite la relativa pianificazione:
Pianificazione della pulizia del cloud:
In DD OS 6.0 e versioni successive, il modo in cui è pianificata la pulizia di Active Tier non è cambiato. Per impostazione predefinita, la pulizia di Active Tier è pianificata per essere eseguita una volta alla settimana alle 06:00 di martedì, ad esempio:
# filesys clean show schedule
Filesystem cleaning is scheduled to run "Tue" at "0600".
Per impostazione predefinita, la pulizia del cloud viene eseguita dopo ogni quattro richiami della pulizia pianificata di Active Tier. Per visualizzare la pianificazione della pulizia del cloud, utilizzare il seguente comando:
# cloud clean frequency show
Cloud tier cleaning frequency is set to run after every 4 active tier cleaning cycles.
Di conseguenza, su un sistema con configurazione predefinita, la pulizia del cloud viene avviata ogni quattro settimane; se il sistema dispone di due unità cloud, ogni unità viene pulita ogni otto settimane.
Per modificare la frequenza di pulizia del cloud, è possibile utilizzare il seguente comando:
# cloud clean frequency set 2
Cloud tier cleaning frequency is set to run after every 2 active tier cleaning cycles.
Per ripristinare la pulizia del cloud sulla pianificazione predefinita dopo ogni quattro pulizie di Active Tier, è possibile utilizzare il seguente comando:
# cloud clean frequency reset
Cloud tier cleaning frequency is reset to default (every 4 active tier cleaning cycles).
La pianificazione della pulizia del cloud non include i cicli di pulizia di Active Tier avviati manualmente. Di conseguenza, sul sistema indicato sopra, anche se la pulizia di Active Tier veniva eseguita manualmente ogni giorno, la pulizia di Cloud Tier inizia solo una volta ogni quattro settimane.
È inoltre possibile disabilitare completamente la pulizia del cloud pianificata utilizzando il seguente comando:
# cloud clean frequency set never
Cloud tier cleaning frequency is set to "never".
In questo caso specifico, la funzione di pulizia del cloud viene eseguita esclusivamente quando viene avviata manualmente.
Per arrestare una pulizia del cloud attualmente in esecuzione, è possibile utilizzare il seguente comando:
# cloud clean stop
Per determinare quando è stata eseguita l'ultima pulizia del cloud, è possibile utilizzare il seguente comando:
# cloud clean status
Cloud tier cleaning finished at 2016/08/01 20:54:43.
Algoritmo di pulizia del cloud:
La pulizia del cloud utilizza lo stesso algoritmo di pulizia configurato per Active Tier. In DD OS 6.0 (e versioni successive), è configurato per impostazione predefinita su Perfect Physical Garbage Collection (PPGC); tuttavia, può essere modificato in Physical Garbage Collection (PGC) tramite i parametri di sistema.
Tenere presente che la garbage collection fisica non deve essere disabilitata, in quanto l'utilizzo dell'algoritmo di pulizia tradizionale/completa per pulire un'unità cloud può causare un errore irreversibile o un riavvio di DDFS
L'algoritmo utilizzato per la pulizia del cloud viene visualizzato nei registri di DDFS all'avvio della pulizia, ad esempio:
06/28 10:51:56.960 (tid 0x7fc5bccb2d50): gc: gc_start_intern: Algorithm selected: Physical Cleaning <=== PPGC or PGC
07/27 12:21:18.224 (tid 0x7f92b8cfe7e0): gc: gc_start_intern: Algorithm selected: Full Cleaning <=== Traditional GC
Dall'output precedente non è possibile distinguere tra PPGC o PGC: l'algoritmo specifico utilizzato è apparente a causa del numero di fasi eseguite dalla pulizia. In generale:
GC tradizionale/completa: 10 fasi
PGC: 12 fasi
PPGC: 6 fasi
Per ulteriori informazioni sulla modifica dell'algoritmo di pulizia utilizzato in un sistema, contattare il fornitore di supporto incaricato
Differenze tra le fasi di copia della pulizia di Active Tier e Cloud Tier
La fase di copia della pulizia è la fase in cui i dati superflui su un DDR vengono rimossi fisicamente e lo spazio viene recuperato. Esistono differenze tra il funzionamento della fase di copia nei livelli Active Tier e Cloud Tier:
Active Tier:
Cloud Tier:
Le regioni di compressione contrassegnate per l'eliminazione vengono elaborate in modo asincrono dalla pulizia del cloud, di conseguenza lo spazio libero su un'unità cloud può continuare ad aumentare anche una volta completata la pulizia del cloud
Questa differenza è dovuta al costo intrinseco delle operazioni di lettura/scrittura di una grande quantità di dati sul cloud storage, tuttavia ciò significa che un'unità cloud potrebbe diventare artificialmente piena (ovvero contenere un gran numero di regioni di compressione, ciascuna delle quali contiene una quantità molto ridotta di dati in tempo reale che ne impedisce la rimozione).
Se si verifica questa situazione, è possibile impostare i parametri di sistema forzando una "pulizia con deframmentazione" dell'unità cloud: in questo modo i dati in tempo reale provenienti dalle regioni di compressione esistenti vengono copiati per consolidare i dati in tempo reale nel minor numero possibile di regioni di compressione, consentendo di liberare spazio.
Per ulteriori informazioni sull'esecuzione di una "pulizia con deframmentazione", contattare il fornitore di supporto incaricato.
Nei sistemi che utilizzano i file LTR acquisiti da DDR, vengono inizialmente scritti in Active Tier (storage collegato in locale). Le policy di spostamento dei dati/soglie di età vengono quindi configurate in base all'MTree, in modo che determinati file che richiedono una retention a lungo termine vengano successivamente migrati da Active Tier a Cloud Tier dal processo di spostamento dei dati (attività regolarmente pianificata).
I file in Cloud Tier possono essere eliminati normalmente, tuttavia lo spazio associato sullo storage cloud/a oggetti non viene immediatamente recuperato per l'uso. Per rimuovere i dati superflui dal cloud, è necessario pulire Cloud Tier.
Struttura di Cloud Tier:
Cloud Tier è suddiviso in "unità cloud". Importante:
- Cloud Tier può contenere fino a due unità cloud
- Ogni unità cloud può avere le stesse dimensioni massime supportate di Active Tier per il modello di DDR specificato
- Ogni unità cloud può essere sottoposta a provisioning da un provider di storage a oggetti diverso
# cloud unit list
Name Profile Status
----------------------- ------------ ------
B-unit LTR-ECS-Ben Active <=== ECS provider
cloud-unit-virtustream1 virtustream1 Active <=== Virtustream provider
----------------------- ------------ ------
Concetti di base sulla pulizia del cloud:
- la pulizia del cloud funziona solo su una singola unità cloud durante ogni esecuzione. Per determinare l'unità cloud da pulire, è possibile trovare il seguente messaggio nei registri DDFS (/ddr/var/log/debug/ddfs.info). In questo caso, viene pulita l'unità cloud-unit-virtustream1:
08/12 13:25:07.551 (tid 0x7f22991eb880): gc: Physical Cleaning will run on partition: cloud-unit-virtustream1, select_flags: none, usr: SCHEDULED CLOUD-GC, asm: Sì
Sfortunatamente, queste informazioni non sono attualmente disponibili tramite la shell della riga di comando Data Domain (DDSH) per la pulizia dell'unità cloud in corso.
- Se un sistema dispone di più unità cloud configurate, viene eseguita la pulizia Round Robin tentando di pulire una singola unità ogni volta che viene eseguito il processo
- La pulizia del cloud può essere avviata manualmente o automaticamente tramite una pianificazione. Per avviarla manualmente, viene utilizzato il seguente comando:
# cloud clean start [cloud unit name]
- La pulizia di Active Tier e Cloud Tier non è eseguibile in parallelo (poiché entrambi utilizzano le stesse strutture di memoria all'interno di DDFS)
- Se la pulizia di Active Tier è in esecuzione (avviata manualmente o tramite pianificazione) e si tenta di avviare la pulizia del cloud, si verifica un errore, ad esempio:
# cloud clean start cloudunit2
Failed to start: activer tier cleaning is currently running. Use 'filesys clean watch' to monitor its progress.
Failed to start: activer tier cleaning is currently running. Use 'filesys clean watch' to monitor its progress.
- Se la pulizia del cloud è stata avviata automaticamente (ovvero tramite pianificazione) e viene avviata la pulizia di Active Tier, la pulizia dell'unità cloud viene interrotta per consentire l'esecuzione della pulizia di Active Tier. Ciò è indicato dai seguenti registri DDFS:
08/12 13:25:24.532 (tid 0x7f2277e9d210): gc_asm_start: Abort scheduled cloud-GC
- Se la pulizia del cloud è stata avviata manualmente e si tenta di avviare la pulizia di Active Tier, non è possibile avviare la pulizia del cloud. Il processo prosegue fino al completamento, ovvero:
# filesys clean start
**** Cleaning cannot start since Cloud tier cleaning is in progress. Use 'cloud clean watch' to monitor progress.
**** Cleaning cannot start since Cloud tier cleaning is in progress. Use 'cloud clean watch' to monitor progress.
- Un'unità cloud deve aver raggiunto almeno l'1% di varianza dei dati (ovvero >= 1% dei dati attualmente presenti sull'unità cloud deve essere considerato superfluo e quindi rimovibile) per poter iniziare la pulizia del cloud. Se non è questo il caso, viene visualizzato quanto segue sulla riga di comando se la pulizia del cloud viene avviata manualmente:
# cloud clean start cloudunit2
**** Failed to start: cloud unit "cloudunit2" does not have sufficient cleanable data.
**** Failed to start: cloud unit "cloudunit2" does not have sufficient cleanable data.
Inoltre, nei registri DDFS viene visualizzato quanto segue se la pulizia del cloud viene avviata manualmente o tramite la relativa pianificazione:
07/26 15:38:58.496 (tid 0x7f7a450fd340): gc: cp: cloudunit2 has 0% churn, minimum churn needed to run gc: 1%
07/26 15:38:58.496 (tid 0x7f7a450fd340): gc: cp: cloudunit2 does not have sufficient churn for GC to run
07/26 15:38:58.496 (tid 0x7f7a450fd340): gc: cp: cloudunit2 does not have sufficient churn for GC to run
- Se un sistema contiene due unità cloud e la pulizia pianificata della prima unità non riesce per qualche motivo (ad esempio, una varianza insufficiente), la pulizia tenta automaticamente l'avvio dalla seconda unità (non è necessario attendere la successiva esecuzione pianificata di pulizia del cloud per pulire la seconda unità)
- La pulizia del cloud può essere limitata (in modo simile alla pulizia di Active Tier) per determinare l'azione da intraprendere quando il sistema è sottoposto a un altro carico di lavoro significativo (ad esempio, acquisizione/ripristino/replica).
Come per la pulizia di Active Tier, la limitazione è impostata come percentuale tra 0 e 100:
0%: la pulizia del cloud rilascia rapidamente le risorse ad altri carichi di lavoro e, di conseguenza, può funzionare lentamente, ma causa un impatto minimo sulle prestazioni complessive del sistema
100%: la pulizia del cloud non rilascia risorse ad altri carichi di lavoro e quindi viene eseguita il più velocemente possibile, ma può causare un impatto significativo sulle prestazioni complessive del sistema
La limitazione della pulizia del cloud è impostata su un valore predefinito del 50%:
# cloud clean throttle show
Cloud tier cleaning throttle is set to 50 percent
Per modificare la limitazione, è possibile utilizzare il seguente comando. Il nuovo valore di limitazione ha effetto immediato e non è necessario riavviare DDFS o la pulizia del cloud dopo aver modificato la limitazione:
# cloud clean throttle set 75
Cloud tier cleaning throttle set to 75 percent
0%: la pulizia del cloud rilascia rapidamente le risorse ad altri carichi di lavoro e, di conseguenza, può funzionare lentamente, ma causa un impatto minimo sulle prestazioni complessive del sistema
100%: la pulizia del cloud non rilascia risorse ad altri carichi di lavoro e quindi viene eseguita il più velocemente possibile, ma può causare un impatto significativo sulle prestazioni complessive del sistema
La limitazione della pulizia del cloud è impostata su un valore predefinito del 50%:
# cloud clean throttle show
Cloud tier cleaning throttle is set to 50 percent
Per modificare la limitazione, è possibile utilizzare il seguente comando. Il nuovo valore di limitazione ha effetto immediato e non è necessario riavviare DDFS o la pulizia del cloud dopo aver modificato la limitazione:
# cloud clean throttle set 75
Cloud tier cleaning throttle set to 75 percent
Pianificazione della pulizia del cloud:
In DD OS 6.0 e versioni successive, il modo in cui è pianificata la pulizia di Active Tier non è cambiato. Per impostazione predefinita, la pulizia di Active Tier è pianificata per essere eseguita una volta alla settimana alle 06:00 di martedì, ad esempio:
# filesys clean show schedule
Filesystem cleaning is scheduled to run "Tue" at "0600".
Per impostazione predefinita, la pulizia del cloud viene eseguita dopo ogni quattro richiami della pulizia pianificata di Active Tier. Per visualizzare la pianificazione della pulizia del cloud, utilizzare il seguente comando:
# cloud clean frequency show
Cloud tier cleaning frequency is set to run after every 4 active tier cleaning cycles.
Di conseguenza, su un sistema con configurazione predefinita, la pulizia del cloud viene avviata ogni quattro settimane; se il sistema dispone di due unità cloud, ogni unità viene pulita ogni otto settimane.
Per modificare la frequenza di pulizia del cloud, è possibile utilizzare il seguente comando:
# cloud clean frequency set 2
Cloud tier cleaning frequency is set to run after every 2 active tier cleaning cycles.
Per ripristinare la pulizia del cloud sulla pianificazione predefinita dopo ogni quattro pulizie di Active Tier, è possibile utilizzare il seguente comando:
# cloud clean frequency reset
Cloud tier cleaning frequency is reset to default (every 4 active tier cleaning cycles).
La pianificazione della pulizia del cloud non include i cicli di pulizia di Active Tier avviati manualmente. Di conseguenza, sul sistema indicato sopra, anche se la pulizia di Active Tier veniva eseguita manualmente ogni giorno, la pulizia di Cloud Tier inizia solo una volta ogni quattro settimane.
È inoltre possibile disabilitare completamente la pulizia del cloud pianificata utilizzando il seguente comando:
# cloud clean frequency set never
Cloud tier cleaning frequency is set to "never".
In questo caso specifico, la funzione di pulizia del cloud viene eseguita esclusivamente quando viene avviata manualmente.
Per arrestare una pulizia del cloud attualmente in esecuzione, è possibile utilizzare il seguente comando:
# cloud clean stop
Per determinare quando è stata eseguita l'ultima pulizia del cloud, è possibile utilizzare il seguente comando:
# cloud clean status
Cloud tier cleaning finished at 2016/08/01 20:54:43.
Algoritmo di pulizia del cloud:
La pulizia del cloud utilizza lo stesso algoritmo di pulizia configurato per Active Tier. In DD OS 6.0 (e versioni successive), è configurato per impostazione predefinita su Perfect Physical Garbage Collection (PPGC); tuttavia, può essere modificato in Physical Garbage Collection (PGC) tramite i parametri di sistema.
Tenere presente che la garbage collection fisica non deve essere disabilitata, in quanto l'utilizzo dell'algoritmo di pulizia tradizionale/completa per pulire un'unità cloud può causare un errore irreversibile o un riavvio di DDFS
L'algoritmo utilizzato per la pulizia del cloud viene visualizzato nei registri di DDFS all'avvio della pulizia, ad esempio:
06/28 10:51:56.960 (tid 0x7fc5bccb2d50): gc: gc_start_intern: Algorithm selected: Physical Cleaning <=== PPGC or PGC
07/27 12:21:18.224 (tid 0x7f92b8cfe7e0): gc: gc_start_intern: Algorithm selected: Full Cleaning <=== Traditional GC
Dall'output precedente non è possibile distinguere tra PPGC o PGC: l'algoritmo specifico utilizzato è apparente a causa del numero di fasi eseguite dalla pulizia. In generale:
GC tradizionale/completa: 10 fasi
PGC: 12 fasi
PPGC: 6 fasi
Per ulteriori informazioni sulla modifica dell'algoritmo di pulizia utilizzato in un sistema, contattare il fornitore di supporto incaricato
Differenze tra le fasi di copia della pulizia di Active Tier e Cloud Tier
La fase di copia della pulizia è la fase in cui i dati superflui su un DDR vengono rimossi fisicamente e lo spazio viene recuperato. Esistono differenze tra il funzionamento della fase di copia nei livelli Active Tier e Cloud Tier:
Active Tier:
- I dati scritti nell'Active Tier di un DDR sono contenuti all'interno di container da 4,5 MB
- Per impostazione predefinita, un container viene considerato per la "copia" tramite pulizia solo se contiene <= 92% di dati in tempo reale (ad es. con riferimento attivo)
- I dati in tempo reale vengono estratti dal container e scritti su un nuovo container (insieme ai dati in tempo reale di altri container copiati) alla fine del file system
- Gli indici su disco vengono aggiornati per riflettere il nuovo container che ospita i dati in tempo reale
- Il container originale (che contiene sia i dati in tempo reale che quelli inattivi) viene eliminato e lo spazio su disco sottostante viene reso disponibile per l'uso
Cloud Tier:
- I dati scritti nel Cloud Tier di un DDR sono strutturati in modo diverso; invece di essere collocati all'interno di container da 4,5 MB, i singolo blocchi di dati (regioni di compressione da 64 KB) vengono scritti nell'unità cloud (NOTA: per DD OS 6.1.2.0 e versioni successive, gli oggetti archiviati nell'unità cloud sono più grandi; vedere Data Domain: oggetti di grandi dimensioni per Tier Cloud (in inglese) per i dettagli)
- Invece di estrarre dati in tempo reale da una regione di compressione esistente e copiarli, la pulizia del cloud considera solo le regioni di compressione che contengono esclusivamente dati inattivi per l'eliminazione
Di conseguenza, se una regione di compressione contiene una piccola quantità di dati ancora attivi (a cui si fa riferimento da parte di un file), non vengono eliminati e i dati inattivi all'interno della regione di compressione non vengono rimossi dal disco (ad esempio, nessuno spazio utilizzato dalla regione di compressione viene recuperato)
Le regioni di compressione contrassegnate per l'eliminazione vengono elaborate in modo asincrono dalla pulizia del cloud, di conseguenza lo spazio libero su un'unità cloud può continuare ad aumentare anche una volta completata la pulizia del cloud
Questa differenza è dovuta al costo intrinseco delle operazioni di lettura/scrittura di una grande quantità di dati sul cloud storage, tuttavia ciò significa che un'unità cloud potrebbe diventare artificialmente piena (ovvero contenere un gran numero di regioni di compressione, ciascuna delle quali contiene una quantità molto ridotta di dati in tempo reale che ne impedisce la rimozione).
Se si verifica questa situazione, è possibile impostare i parametri di sistema forzando una "pulizia con deframmentazione" dell'unità cloud: in questo modo i dati in tempo reale provenienti dalle regioni di compressione esistenti vengono copiati per consolidare i dati in tempo reale nel minor numero possibile di regioni di compressione, consentendo di liberare spazio.
Per ulteriori informazioni sull'esecuzione di una "pulizia con deframmentazione", contattare il fornitore di supporto incaricato.
Affected Products
Data DomainProducts
Data DomainArticle Properties
Article Number: 000019165
Article Type: How To
Last Modified: 25 Jul 2025
Version: 3
Find answers to your questions from other Dell users
Support Services
Check if your device is covered by Support Services.