Domande frequenti su misurazione della capacità fisica DDOS o reporting sulla capacità fisica

Summary: Domande frequenti su Data Domain Operating System (DD OS), Physical Capacity Measurement (PCM) o Physical Capacity Reporting (PCR).

This article applies to This article does not apply to This article is not tied to any specific product. Not all product versions are identified in this article.
Check out other resources

Instructions

La versione 5.7 di Data Domain Operating System (DD OS) introduce una nuova funzionalità nota come PCM (Physical Capacity Measurement) o PCR (Physical Capacity Reporting).

Questo articolo descrive i casi d'uso comuni e le domande relative a questa funzionalità. PCM e PCR sono utilizzati in modo intercambiabile in questo documento.

Che cos'è la misurazione della capacità fisica (PCM)?
PCM è una nuova funzione supportata in DD OS 5.7 e versioni successive che consente il calcolo dell'utilizzo accurato del disco rigido da parte di una struttura ad albero di directory, di una raccolta di strutture ad albero di directory, di un MTree o di una raccolta di MTrees.

Qual è la differenza rispetto alle funzioni delle versioni precedenti di DDOS?
Quando un file viene acquisito su un DDR, registriamo varie statistiche sul file. Una di queste statistiche è costituita dai "byte post-lc", ovvero la quantità fisica di spazio occupata da un file quando viene scritto nel sistema. È possibile visualizzare i byte post-lc per un file o un albero di directory utilizzando il comando filesys show compression comando, ad esempio:

sysadmin@dd9500# filesys show compression /data/col1/jf1
Total files: 4;  bytes/storage_used: 1.3
       Original Bytes:        4,309,378,324
  Globally Compressed:        3,242,487,836
   Locally Compressed:        3,293,594,658
            Meta-data:           13,897,112

Ciò indica che la struttura ad albero della directory precedente contiene quattro file che, in totale, utilizzavano 3.293.594.658 byte (3,07 Gb) di spazio fisico quando acquisiti.
 

Nota: Queste statistiche vengono generate al momento dell'acquisizione e non vengono aggiornate dopo questo periodo. A causa della natura della deduplica, tuttavia, man mano che vengono acquisiti o eliminati file aggiuntivi e viene eseguita la pulizia, cambia il modo in cui i dati su disco vengono deduplicati e di conseguenza il modo in cui ogni file viene deduplicato (e la quantità di dati è "proprietaria"). Per questo motivo, le statistiche di cui sopra diventano obsolete nel tempo e, a volte, i carichi di lavoro possono diventare imprecisi.

PCM è uno sforzo per evitare risultati incoerenti causati dalle statistiche di cui sopra che diventano obsolete. Poiché PCM è in grado di generare report sull'utilizzo del disco rigido in un momento specifico, le limitazioni di cui sopra non sono più valide e i risultati sono garantiti per essere più accurati.

Esistono fatti o configurazioni noti in cui i risultati calcolati tramite PCM sono noti per essere meno che accurati in modo ottimale?
PCM esegue il campionamento per calcolare lo spazio su disco utilizzato dai file nel set di percorsi. Ciò significa che alcuni file potrebbero non essere inclusi nell'enumerazione per i segmenti univoci perché, per motivi di prestazioni, i file di dimensioni inferiori a una determinata dimensione non vengono presi in considerazione. La dimensione minima dei singoli file nei pathset che i lavori PCM considerano per l'enumerazione (e quindi quelli per cui tiene conto dello spazio su disco utilizzato) dipende dalla dimensione media del segmento del file system:
  • Se la dimensione media del segmento è 4 K, i file di dimensioni pari o inferiori a 4 MB vengono ignorati dalla PCM
  • Se la dimensione media del segmento è 8 K, i file di dimensioni pari o inferiori a 8 MB vengono ignorati dalla PCM
  • Se la dimensione media del segmento è 12 K, i file di dimensioni pari o inferiori a 12 MB vengono ignorati dalla PCM

I dati reali dei clienti mostrano che la dimensione media dei segmenti si aggira intorno ai 9 KB per i casi d'uso più comuni, quindi una cifra approssimativa per i file che non vengono considerati quando un PCM calcola lo spazio su disco utilizzato sarebbe quella di quelli inferiori a 9 MB.

Sono necessarie licenze aggiuntive per PCM?
No: PCM non è una funzione concessa in licenza e, di conseguenza, non sono necessarie licenze aggiuntive per utilizzare PCM.

PCM è supportato in tutte le piattaforme?
No: la PCM è supportata su tutti gli hardware e i Virtual Data Domain Appliance (DDVE), ad eccezione di Active Tier on Object Storage (ATOS) DDVE.

PCM misura ed enumera solo i file sul tier attivo: I file che si trovano nelle unità cloud (o, per la retention estesa legacy, quelli nelle unità di archiviazione) non rientrano nel calcolo delle dimensioni per i processi PCM.

Sono necessari altri prerequisiti prima di poter utilizzare la PCM?
Per impostazione predefinita, la PCM è disabilitata in DDOS 5.7. Prima di poterla utilizzare, è necessario abilitarla e inizializzarne la cache, come illustrato di seguito:

sysadmin@dd9500# compression physical-capacity-measurement enable and-initialize
physical-capacity-measurement enabled. Initialization started.

Nota: La cache PCM viene utilizzata per accelerare i processi PCM futuri e l'inizializzazione della cache può richiedere molto tempo. Nonostante ciò, i processi PCM possono iniziare a essere accodati durante l'inizializzazione della cache PCM.

In che modo PCM calcola i totali di utilizzo?
PCM utilizza istantanee mtree per determinare l'utilizzo fisico di un gruppo di file. Di conseguenza, all'avvio di un processo PCM si verifica quanto segue:
  • Viene creata un'istantanea mtree sugli MTrees sottostanti.
Nota: Questa snapshot è denominata pcr_snap_*, ovvero: 
sysadmin@dd9500# snapshot list mtree /data/col1/jf2
Snapshot Information for MTree: /data/col1/jf2
----------------------------------------------
Name                                Pre-Comp (GiB)   Create Date         Retain Until        Status
---------------------------------   --------------   -----------------   -----------------   -------
pcr_snap_1440284055_1440360259_19              6.0   Aug 23 2015 13:04   Dec 31 1969 16:00   expired
---------------------------------   --------------   -----------------   -----------------   -------
  • PCM trova i file dell'istantanea che devono trovarsi nel processo PCM (vale a dire, nei pathset o MTree specificati).
  • PCM percorre la struttura ad albero dei segmenti di questi file per creare essenzialmente un elenco di impronte digitali univoche del segmento a cui fanno riferimento tutti i file.
  • PCM trova quindi i segmenti corrispondenti sul disco (all'interno del set di contenitori) e calcola la somma delle dimensioni di tali segmenti.
  • La somma delle dimensioni di questi segmenti rappresenta l'utilizzo corrente del disco rigido da parte dei file corrispondenti.
  • Oltre a quanto indicato sopra, le dimensioni pre-compresse del set di file possono essere trovate dai metadati del file corrispondente.
  • Una volta completati i processi PCM, le snapshot PCM sottostanti scadranno per la successiva rimozione.


Come funzionano i processi PCM?
I lavori PCM vengono inviati da un utente (o da una pianificazione) e aggiunti a una coda di lavoro PCM. A seconda del carico di lavoro del sistema, i processi PCM possono quindi essere prelevati dalla coda e avviati immediatamente oppure possono essere posticipati per un periodo di tempo.

Di seguito sono riportati alcuni esempi del motivo per cui i processi PCM possono essere posticipati:

  • La pulizia del tier attivo è in esecuzione sul sistema: i processi PCM e la pulizia del tier attivo non possono essere eseguiti in parallelo. Di conseguenza, i processi PCM accodati durante l'esecuzione della pulizia dell'Active Tier vengono posticipati fino al completamento della pulizia dell'Active Tier.
  • Esistono già alcuni processi PCM in esecuzione sugli MTree sottostanti: PCM utilizza istantanee MTree e vi sono limiti rigorosi al numero di istantanee PCM che un determinato utente può creare in un determinato momento rispetto a un singolo MTree. Se questi limiti vengono superati da un nuovo processo PCM, il processo viene posticipato fino al completamento del processo esistente.


È possibile controllare le risorse utilizzate dalla PCM su un sistema?
La PCM utilizza un meccanismo di limitazione simile a quello utilizzato dalla pulizia del tier attivo, ovvero la limitazione PCM può essere impostata da 0 (non aggressiva) a 100 (aggressiva). Ovviamente, maggiore è la limitazione, maggiori saranno le risorse utilizzate dalla PCM e maggiore sarà l'impatto che i lavori PCM potrebbero avere sugli altri carichi di lavoro del sistema.

Per impostazione predefinita, la limitazione PCM è impostata su 20, ovvero:

sysadmin@dd9500# compression physical-capacity-measurement throttle show
Throttle is set to 20 percent (default).

La limitazione PCM può essere modificata come segue, con la modifica della limitazione che avviene immediatamente (ovvero, non è necessario alcun riavvio DDFS affinché PCM rilevi la nuova impostazione di limitazione):

sysadmin@dd9500# compression physical-capacity-measurement throttle set 50
Throttle set to 50 percent.


Che cosa sono i pathset?
I lavori PCM possono essere eseguiti in due modi, ovvero:

  • Rispetto a un "set di percorsi" predefinito (ovvero una raccolta di directory specificata dall'utente)
  • Rispetto a un singolo MTree

Prima di poter eseguire i lavori su un determinato set di percorsi, il set di percorsi deve essere creato o definito come segue:

sysadmin@dd9500# compression physical-capacity-measurement pathset create jfall paths /data/col1/jf1,/data/col1/jf2
Pathset "jfall" created.
È possibile aggiungere o rimuovere directory specifiche da un set di percorsi esistente nel modo seguente: 
sysadmin@dd9500# compression physical-capacity-measurement pathset del jfall paths /data/col1/jf2
Path(s) deleted from pathset "jfall".
sysadmin@dd9500# compression physical-capacity-measurement pathset add jfall paths /data/col1/jf2
Path(s) added to pathset "jfall".

Tutti i set di percorsi creati vengono visualizzati nel modo seguente:

sysadmin@dd9500# compression physical-capacity-measurement pathset show list
Pathset           Number of paths   Measurement-retention (days)
---------------   ---------------   ----------------------------
jf1                             1                            180
jf2                             1                            180
jfall                           2                            180
phys-gandhi3                    1                            180
phys-gandhi5-fc                 1                            180
phys-gandhi5                    1                            180
phys2-gandhi3                   2                            180
---------------   ---------------   ----------------------------
7 pathset(s) found.

Per visualizzare percorsi specifici definiti all'interno di un set di percorsi, la finestra di dialogo pathset show detailed viene utilizzato il comando:

sysadmin@dd9500# compression physical-capacity-measurement pathset show detailed jfall
Pathset: jfall
    Number of paths: 2
    Measurement-retention: 180 day(s)
    Paths:
        /data/col1/jf1
        /data/col1/jf2
sysadmin@dd9500#

Per eliminare un percorso, impostare l'opzione pathset destroy è possibile utilizzare il comando:

sysadmin@dd9500# compression physical-capacity-measurement pathset destroy jfall

Nota: In questo modo viene rimossa tutta la cronologia per il set di percorsi specificato.
 
Nota: I job ad hoc su un singolo MTree non richiedono un set di percorsi definito prima dell'esecuzione.


Come viene avviato un processo PCM?
Un nuovo processo PCM viene inviato alla coda di lavoro PCM utilizzando il comando sample start comando, ovvero:

sysadmin@dd9500# compression physical-capacity-measurement sample start pathsets jfall
Measurement task(s) submitted and will begin as soon as resources are available.

Nell'esempio precedente, è stato utilizzato un set di percorsi predefinito. Per inviare un processo PCM su un singolo MTree, l'MTree viene specificato, ovvero:

sysadmin@dd9500# compression physical-capacity-measurement sample start mtrees /data/col1/backup
Measurement task(s) submitted and will begin as soon as resources are available.

Per impostazione predefinita, i processi PCM vengono inviati con priorità "normal". E' inoltre possibile specificare una priorità di urgente:

sysadmin@dd9500# compression physical-capacity-measurement sample start pathsets jf1 priority urgent
Measurement task(s) submitted and will begin as soon as resources are available.

I lavori con priorità "urgente" vengono messi in coda prima di quelli con priorità "normale" (il che significa che vengono prelevati e lavorati in preferenza rispetto a tutti i lavori inviati con priorità "normale").

Viene visualizzato un elenco dei lavori inviati o in esecuzione utilizzando il sample show current comando, ad esempio:

sysadmin@dd9500# compression physical-capacity-measurement sample show current
Task ID       Type   Name    User       State       Creation Time         Measurement Time      Start Time   Priority   Percent
                                                                          (Submitted Time)                              Done
-----------   ----   -----   --------   ---------   -------------------   -------------------   ----------   --------   --------
47244640259   PS     jf2     sysadmin   Scheduled   2015/08/23 12:24:12   2015/08/23 12:24:12   --           Urgent     0
47244640258   PS     jf1     sysadmin   Scheduled   2015/08/23 12:24:09   2015/08/23 12:24:09   --           Urgent     0
47244640257   PS     jfall   sysadmin   Scheduled   2015/08/23 12:23:06   2015/08/23 12:23:06   --           Normal     0
-----------   ----   -----   --------   ---------   -------------------   -------------------   ----------   --------   --------
sysadmin@dd9500#


È possibile pianificare i processi PCM?
Sì: se un processo PCM specifico deve essere eseguito regolarmente, viene pianificato per l'esecuzione automatica in base alle esigenze. Ad esempio:

sysadmin@dd9500# compression physical-capacity-measurement schedule create jf_sched pathsets jfall,jf1,jf2 time 1400
Schedule "jf_sched" created.

Nota: Le pianificazioni vengono create per essere eseguite quotidianamente, in giorni specifici della settimana o in determinati giorni di ogni mese.

Una pianificazione esistente viene modificata utilizzando il comando schedule modify comando:

sysadmin@dd9500# compression physical-capacity-measurement schedule modify jf_sched priority urgent time 1700 day Wed,Fri
Schedule "jf_sched" modified.

Inoltre, in una pianificazione esistente possono essere stati aggiunti o rimossi pathset come indicato di seguito:

sysadmin@dd9500# compression physical-capacity-measurement schedule del jf_sched pathsets jf2
Schedule "jf_sched" modified.
sysadmin@dd9500# compression physical-capacity-measurement schedule add jf_sched pathsets jf2
Schedule "jf_sched" modified.

Nota: Una pianificazione non può contenere solo pathset O MTrees (ovvero le due opzioni non possono essere combinate): 
sysadmin@dd9500# compression physical-capacity-measurement schedule create jf_sched2 mtrees /data/col1/backup time 1400
Schedule "jf_sched2" created.
sysadmin@dd9500# compression physical-capacity-measurement schedule add jf_sched2 pathsets jfall
**** Failed to add: this schedule is only for mtrees.

Per visualizzare i dettagli delle pianificazioni esistenti, cliccare su schedule show all viene utilizzato il comando, ad esempio:

sysadmin@dd9500# compression physical-capacity-measurement schedule show all
Name:      jf_sched
Status:    enabled
Priority:  urgent
Frequency: weekly on Wed, Fri
Time:      17:00
Pathset(s):
    jfall
    jf1
    jf2


Name:      jf_sched2
Status:    enabled
Priority:  normal
Frequency: daily
Time:      14:00
MTree(s):
    /data/col1/backup

Le pianificazioni esistenti possono essere disabilitate o abilitate immediatamente, ovvero:

sysadmin@dd9500# compression physical-capacity-measurement schedule disable jf_sched2
Schedule "jf_sched2" disabled.
sysadmin@dd9500# compression physical-capacity-measurement schedule enable jf_sched2
Schedule "jf_sched2" enabled.

Una pianificazione può anche essere distrutta:

sysadmin@dd9500# compression physical-capacity-measurement schedule destroy jf_sched2
Schedule "jf_sched2" destroyed.

Nota: In questo modo NON viene rimossa la cronologia per gli MTree/pathset corrispondenti (significa che i nuovi processi PCM non vengono pianificati automaticamente).


Come vengono avviati i processi pianificati?
L'aggiunta e l'abilitazione di una pianificazione PCM determina l'aggiunta di una voce corrispondente a /etc/crontabCioè:

#
# collection.1.crontab.pcr.jf_sched.0
#
00 17 * * Wed,Fri  root /ddr/bin/ddsh -a compression physical-capacity-measurement sample start force priority urgent objects-from-schedule jf_sched

Nota: Il cron job viene rimosso da /etc/crontab se la pianificazione è disabilitata o distrutta.


È possibile interrompere l'esecuzione di un processo PCM?
Sì: i processi PCM in esecuzione possono essere interrotti utilizzando l'ID attività o i nomi pathset/mtree. Ad esempio, vediamo che sono presenti due processi PCM in coda:

SE@dd9500## compression physical-capacity-measurement sample show current
Task ID        Type   Name    User       State       Creation Time         Measurement Time      Start Time   Priority   Percent
                                                                           (Submitted Time)                              Done
------------   ----   -----   --------   ---------   -------------------   -------------------   ----------   --------   --------
124554051585   PS     jfall   sysadmin   Scheduled   2015/08/30 16:00:48   2015/08/30 16:00:48   --           Normal     0
124554051586   PS     jfall   sysadmin   Scheduled   2015/08/30 16:01:55   2015/08/30 16:01:55   --           Normal     0
------------   ----   -----   --------   ---------   -------------------   -------------------   ----------   --------   --------

Questi job possono essere interrotti utilizzando task-id (per arrestare un singolo job):

SE@dd9500## compression physical-capacity-measurement sample stop task-id 124554051585
**   This will abort any submitted or running compression physical-capacity-measurement sampling tasks.
        Do you want to proceed? (yes|no) [no]: yes
1 task(s) aborted.

Rimanendo con un unico job in esecuzione:

SE@dd9500## compression physical-capacity-measurement sample show current
Task ID        Type   Name    User       State       Creation Time         Measurement Time      Start Time   Priority   Percent
                                                                           (Submitted Time)                              Done
------------   ----   -----   --------   ---------   -------------------   -------------------   ----------   --------   --------
124554051586   PS     jfall   sysadmin   Scheduled   2015/08/30 16:01:55   2015/08/30 16:01:55   --           Normal     0
------------   ----   -----   --------   ---------   -------------------   -------------------   ----------   --------   --------

Oppure nome del set di percorsi:

SE@dd9500## compression physical-capacity-measurement sample stop pathsets jfall
**   This will abort any submitted or running compression physical-capacity-measurement sampling tasks.
        Do you want to proceed? (yes|no) [no]: yes
1 task(s) aborted.

Lasciandoci senza lavoro:

SE@dd9500## compression physical-capacity-measurement sample show current
No measurement tasks found.


Come si possono visualizzare i dettagli dei lavori completati?
I dettagli dei lavori completati vengono visualizzati con il pulsante sample show history . Ad esempio, per visualizzare i dettagli di un singolo set di percorsi:

SE@dd9500## compression physical-capacity-measurement sample show history pathset jfall
Pathset: jfall
Measurement Time      Logical Used   Physical Used   Global-Comp   Local-Comp       Total-Comp
                        (Pre-Comp)     (Post-Comp)        Factor       Factor           Factor
                             (GiB)           (GiB)                               (Reduction %)
-------------------   ------------   -------------   -----------   ----------   --------------
2015/08/23 12:23:06            7.0             4.2         1.70x        0.98x   1.67x (40.24%)
2015/08/23 13:04:20           10.0             6.2         1.63x        0.98x   1.61x (37.84%)
2015/08/26 14:00:01           10.0             6.2         1.63x        0.98x   1.61x (37.84%)
2015/08/27 14:00:01           10.0             6.2         1.63x        0.98x   1.61x (37.84%)
2015/08/28 14:00:02           10.0             6.2         1.63x        0.98x   1.61x (37.84%)
2015/08/29 14:00:02           10.0             6.2         1.63x        0.98x   1.61x (37.84%)
2015/08/30 14:00:01           10.0             6.2         1.63x        0.98x   1.61x (37.84%)
-------------------   ------------   -------------   -----------   ----------   --------------
Total number of measurements retrieved = 7.

Il parametro detailed-history mostra inoltre l'ora di inizio e di fine di ogni processo:

SE@dd9500## compression physical-capacity-measurement sample show detailed-history pathset jfall
Pathset: jfall
Measurement Time      Logical Used   Physical Used   Global-Comp   Local-Comp       Total-Comp   Task ID        Task Start Time       Task End Time
                        (Pre-Comp)     (Post-Comp)        Factor       Factor           Factor
                             (GiB)           (GiB)                               (Reduction %)
-------------------   ------------   -------------   -----------   ----------   --------------   ------------   -------------------   -------------------
2015/08/23 12:23:06            7.0             4.2         1.70x        0.98x   1.67x (40.24%)   47244640257    2015/08/23 12:25:19   2015/08/23 12:25:23
2015/08/23 13:04:20           10.0             6.2         1.63x        0.98x   1.61x (37.84%)   51539607553    2015/08/23 13:05:45   2015/08/23 13:05:48
2015/08/26 14:00:01           10.0             6.2         1.63x        0.98x   1.61x (37.84%)   77309411329    2015/08/26 14:02:50   2015/08/26 14:02:50
2015/08/27 14:00:01           10.0             6.2         1.63x        0.98x   1.61x (37.84%)   85899345921    2015/08/27 14:03:06   2015/08/27 14:03:06
2015/08/28 14:00:02           10.0             6.2         1.63x        0.98x   1.61x (37.84%)   94489280513    2015/08/28 14:02:50   2015/08/28 14:02:51
2015/08/29 14:00:02           10.0             6.2         1.63x        0.98x   1.61x (37.84%)   103079215105   2015/08/29 14:01:40   2015/08/29 14:01:41
2015/08/30 14:00:01           10.0             6.2         1.63x        0.98x   1.61x (37.84%)   115964116993   2015/08/30 14:04:12   2015/08/30 14:04:12
-------------------   ------------   -------------   -----------   ----------   --------------   ------------   -------------------   -------------------
Total number of measurements retrieved = 7.

Nota: Entrambi i comandi possono essere modificati per recuperare solo i risultati in un periodo di tempo specifico: 
SE@dd9500## compression physical-capacity-measurement sample show history pathset jfall last 2days
Pathset: jfall
Measurement Time      Logical Used   Physical Used   Global-Comp   Local-Comp       Total-Comp
                        (Pre-Comp)     (Post-Comp)        Factor       Factor           Factor
                             (GiB)           (GiB)                               (Reduction %)
-------------------   ------------   -------------   -----------   ----------   --------------
2015/08/29 14:00:02           10.0             6.2         1.63x        0.98x   1.61x (37.84%)
2015/08/30 14:00:01           10.0             6.2         1.63x        0.98x   1.61x (37.84%)
-------------------   ------------   -------------   -----------   ----------   --------------
Total number of measurements retrieved = 2.

O tra date o orari specifici:

SE@dd9500## compression physical-capacity-measurement sample show history pathset jfall start 08231010 end 08231400
Pathset: jfall
Measurement Time      Logical Used   Physical Used   Global-Comp   Local-Comp       Total-Comp
                        (Pre-Comp)     (Post-Comp)        Factor       Factor           Factor
                             (GiB)           (GiB)                               (Reduction %)
-------------------   ------------   -------------   -----------   ----------   --------------
2015/08/23 12:23:06            7.0             4.2         1.70x        0.98x   1.67x (40.24%)
2015/08/23 13:04:20           10.0             6.2         1.63x        0.98x   1.61x (37.84%)
-------------------   ------------   -------------   -----------   ----------   --------------
Total number of measurements retrieved = 2.


Per quanto tempo viene conservata una cronologia specifica per un pathset/mtree specifico?
Per impostazione predefinita, i risultati di ogni set di percorsi PCM vengono conservati per 180 giorni. Questo può essere cambiato modificando il percorso corrispondente impostato:

SE@dd9500## compression physical-capacity-measurement pathset modify jfall measurement-retention 14
Measurement-retention changed to 14 day(s).

La cronologia PCM è conservata nel database cronologico dei sistemi. Di conseguenza, se il database cronologico viene perso o danneggiato, anche i dettagli di tutta la cronologia PCM vengono persi.

Esistono delle avvertenze da tenere presenti quando si utilizza la PCM?
I processi PCM vengono sospesi se il sistema ha meno del 10% di spazio disponibile.
I processi PCM vengono sospesi durante l'esecuzione del ciclo di pulizia.

Come indicato in precedenza, PCM è uno strumento utilizzato per calcolare l'utilizzo fisico da parte di un set specifico di directory/mtrees. Quando si calcolano i risultati per un set di percorsi specifico o un set di MTrees, PCM conta una sola volta le dimensioni di ciascun segmento univoco di dati utilizzato dal set di percorsi o dall'insieme di MTrees.
 

Nota: A causa della natura della deduplica, potrebbero essere presenti altri file al di fuori dei pathset/mtree su cui viene eseguito il job che potrebbero anche essere deduplicati sugli stessi dati.

Di conseguenza, se i file che eseguono la deduplica rispetto agli stessi dati si trovano in più lavori PCM diversi, ciascuno dei segmenti che compongono i file può essere conteggiato più volte (una volta per ogni lavoro PCM). Ciò significa che, mentre i risultati di ogni singolo lavoro PCM sono accurati, i risultati di più lavori PCM non possono essere sommati per fornire un utilizzo fisico accurato per la somma di pathset/mtree nei lavori.

A causa del modo in cui i processi PCM vengono assemblati, il set di percorsi o lo spazio MTree post-compressione utilizzato sul disco:

  • I processi PCM non tengono conto dei dati inattivi (spazio su disco utilizzato dai file eliminati, spazio su disco che potrebbe non essere stato ancora recuperato da GC in esecuzione).
  • La PCM non tiene conto dei dati bloccati nelle istantanee create per l MTree o i pathset misurati.

Ad esempio, ho un mtree chiamato /data/col1/jf1 in cui creo tre file da 1Gb, ovvero:

!!!! dd9500 YOUR DATA IS IN DANGER !!!! # for i in 1 2 3 ; do
> dd if=/dev/urandom of=/data/col1/jf1/${i} bs=1024k count=1024
> done

Quindi copio quei file in un secondo mtree (/data/col1/jf2):

!!!! dd9500 YOUR DATA IS IN DANGER !!!! # cp /data/col1/jf1/1 /data/col1/jf2/4
!!!! dd9500 YOUR DATA IS IN DANGER !!!! # cp /data/col1/jf1/2 /data/col1/jf2/5
!!!! dd9500 YOUR DATA IS IN DANGER !!!! # cp /data/col1/jf1/3 /data/col1/jf2/6

Infine, creo un nuovo file da 1 Gb in /data/col1/jf2:

!!!! dd9500 YOUR DATA IS IN DANGER !!!! # dd if=/dev/urandom of=/data/col1/jf2/7 bs=1024k count=1024
1024+0 records in
1024+0 records out

Se la compressione locale dei dati viene ignorata e viene presa in considerazione solo la deduplica, è chiaro che ogni MTree ha utilizzato la seguente quantità di spazio fisico quando i file sono stati scritti:

/data/col1/jf1: 3 Gb
/data/col1/jf2: 1 Gb (per il nuovo file, i file copiati sarebbero stati deduplicati rispetto ai dati esistenti, quindi avrebbero consumato uno spazio fisico minimo).

Di conseguenza, la somma dell'utilizzo dello spazio fisico per /data/col1/jf1 e /data/col1/jf2 dovrebbe essere di circa 4 Gb.

Vengono creati tre set di percorsi PCM:

JF1 contenente /data/col1/jf1
JF2 contenente /data/col1/jf2 JFfall
contenente data/col1/jf1 e /data/col1/jf2

I lavori PCM vengono eseguiti e forniscono l'output come segue:

Pathset: jf1
Measurement Time      Logical Used   Physical Used   Global-Comp   Local-Comp       Total-Comp
                        (Pre-Comp)     (Post-Comp)        Factor       Factor           Factor
                             (GiB)           (GiB)                               (Reduction %)
-------------------   ------------   -------------   -----------   ----------   --------------
2015/08/23 12:24:09            3.0             3.2         0.96x        0.98x   0.94x (-6.21%)
-------------------   ------------   -------------   -----------   ----------   --------------


Pathset: jf2
Measurement Time      Logical Used   Physical Used   Global-Comp   Local-Comp       Total-Comp
                        (Pre-Comp)     (Post-Comp)        Factor       Factor           Factor
                             (GiB)           (GiB)                               (Reduction %)
-------------------   ------------   -------------   -----------   ----------   --------------
2015/08/23 12:24:12            4.0             4.2         0.98x        0.98x   0.96x (-4.14%)
-------------------   ------------   -------------   -----------   ----------   --------------

Questi valori sono corretti in quanto ogni processo PCM esamina solo i dati fisici a cui fanno riferimento i file nel set di percorsi corrispondente. Ciò significa che i dati dei file copiati vengono conteggiati due volte (una per ogni processo PCM).

Può sembrare ragionevole che per ottenere l'utilizzo fisico totale da parte del /data/col1/jf1 e /data/col1/jf2 MTrees, possiamo sommare i valori di "physical used" dagli output di cui sopra.
 

Nota: In questo modo si ottengono 7,4 Gb, che chiaramente non è corretto (in precedenza è stato stimato che, a causa della deduplica, l'utilizzo totale sarebbe di circa 4 Gb).
 

Per ottenere un valore preciso per l'utilizzo fisico totale di /data/col1/jf1 e /data/col1/jf2, è necessario eseguire un singolo processo PCM che copra entrambi questi MTrees (ovvero utilizzare jfall). Ciò garantisce che i segmenti duplicati vengano conteggiati solo una volta e non due volte come nell'esempio precedente, ovvero:

Pathset: jfall
Measurement Time      Logical Used   Physical Used   Global-Comp   Local-Comp       Total-Comp
                        (Pre-Comp)     (Post-Comp)        Factor       Factor           Factor
                             (GiB)           (GiB)                               (Reduction %)
-------------------   ------------   -------------   -----------   ----------   --------------
2015/08/23 12:23:06            7.0             4.2         1.70x        0.98x   1.67x (40.24%)
-------------------   ------------   -------------   -----------   ----------   --------------

In sintesi, l'output di più lavori PCM non può essere sommato per fornire un utilizzo fisico accurato per un set di pathset/mtrees. È invece necessario definire un singolo set di percorsi PCM che copra tutti gli MTree/directory richiesti, in quanto ciò garantisce che i dati duplicati vengano conteggiati una sola volta. Se questa operazione non viene eseguita e ad esempio deve essere eseguito un processo PCM separato per ogni MTree su un sistema, i risultati sommati è del tutto possibile che la capacità fisica totale utilizzata superi la capacità raw del sistema.

I lavori PCM possono essere inviati solo da DDSH riga di comando o si può usare anche un'interfaccia utente?
In questo documento, l'interfaccia della riga di comando (DDSH) di Data Domain viene utilizzata per configurare, inviare ed esaminare i processi PCM.
 

Nota: La PCM può essere utilizzata anche dall'interfaccia utente di Data Domain Enterprise Manager o System Manager.
 
Nota: L'interfaccia DDSH ha un limite di massimo 256 caratteri in ogni comando specificato. Di conseguenza, se i processi PCM devono essere configurati a fronte di un percorso con un nome di directory lungo, potrebbe essere vantaggioso (o addirittura necessario) utilizzare una delle interfacce utente disponibili.

Affected Products

Data Domain, DD OS

Products

Data Domain
Article Properties
Article Number: 000058798
Article Type: How To
Last Modified: 05 Dec 2024
Version:  6
Find answers to your questions from other Dell users
Support Services
Check if your device is covered by Support Services.