Perguntas frequentes sobre medição de capacidade física ou geração de relatórios de capacidade física do DDOS
Summary: Perguntas frequentes sobre a PCM (Physical Capacity Measurement, medição de capacidade física) ou a geração de relatórios de capacidade física (PCR) do Data Domain Operating System (DD OS). ...
Instructions
A versão 5.7 do Data Domain Operating System (DD OS) introduz uma nova funcionalidade conhecida como Physical Capacity Measurement (PCM) ou Physical Capacity Reporting (PCR).
Este artigo descreve casos de uso e perguntas comuns sobre esse recurso. PCM e PCR são usados de modo intercambiável neste documento.
O que é a medição de capacidade física (PCM)?
O PCM é um novo recurso compatível com o DD OS 5.7 e versões posteriores que permite o cálculo da utilização precisa do disco rígido por uma árvore de diretórios, um conjunto de árvores de diretórios, um MTree ou um conjunto de MTrees.
Qual é a diferença entre isso e os recursos das versões anteriores do DDOS?
Quando um arquivo é ingerido em um DDR, registramos várias estatísticas sobre o arquivo. Uma dessas estatísticas é "post-lc bytes" ou a quantidade física de espaço ocupado por um arquivo quando gravado no sistema. Podemos visualizar bytes pós-lc para um arquivo ou árvore de diretórios usando o filesys show compression comando - por exemplo:
sysadmin@dd9500# filesys show compression /data/col1/jf1 Total files: 4; bytes/storage_used: 1.3 Original Bytes: 4,309,378,324 Globally Compressed: 3,242,487,836 Locally Compressed: 3,293,594,658 Meta-data: 13,897,112
Isso indica que a árvore de diretórios acima contém quatro arquivos que, no total, usaram 3.293.594.658 bytes (3,07 Gb) de espaço físico quando ingeridos.
A PCM é um esforço para evitar que resultados inconsistentes causados pelas estatísticas acima se tornem obsoletos. Como o PCM pode gerar relatórios de utilização do disco rígido em um momento específico, as limitações acima não se aplicam mais e os resultados são garantidos como mais precisos.
Existem fatos ou configurações conhecidos em que os resultados calculados pelo PCM são sabidamente menos precisos?
A PCM faz a amostragem para calcular o espaço em disco usado pelos arquivos no conjunto de caminhos. Isso significa que alguns arquivos podem ficar de fora da enumeração de segmentos exclusivos, pois, por motivos de desempenho, arquivos menores que um determinado tamanho não são contabilizados. O tamanho mínimo dos arquivos individuais nos conjuntos de caminhos que os trabalhos de PCM consideram para enumeração (e, portanto, aqueles para os quais ele contabiliza o espaço em disco usado) depende do tamanho médio do segmento do file system:
- Se o tamanho médio do segmento for de 4 K, os arquivos de 4 MB e menores serão ignorados pelo PCM
- Se o tamanho médio do segmento for de 8 K, os arquivos de 8 MB e menores serão ignorados pelo PCM
- Se o tamanho médio do segmento for de 12 K, os arquivos de 12 MB e menores serão ignorados pelo PCM
Dados reais de clientes mostram que o tamanho médio do segmento gira em torno de 9 KB para os casos de uso mais comuns, portanto, um número aproximado para arquivos que não estão sendo considerados quando um PCM calcula o espaço em disco usado seria aqueles menores que 9 MB.
Há necessidade de licenças adicionais para PCM?
Não - o PCM não é um recurso licenciado e, como resultado, nenhuma licença adicional é necessária para usar o PCM.
Há suporte para PCM em todas as plataformas?
Não - O PCM é compatível com todos os equipamentos de hardware e Virtual Data Domain (DDVE), exceto nos DDVEs Active Tier on Object Storage (ATOS).
O PCM só mede e enumera os arquivos no nível ativo: Os arquivos armazenados em unidades de nuvem (ou, para retenção estendida preexistente, aqueles em unidades arquivadoras) não estão no cálculo de tamanho para trabalhos de PCM.
Existem outros pré-requisitos exigidos para que o PCM possa ser usado?
Por padrão, o PCM está desativado no DDOS 5.7. Antes de poder ser usado, ele deve ser ativado e seu cache inicializado, conforme mostrado abaixo:
sysadmin@dd9500# compression physical-capacity-measurement enable and-initialize physical-capacity-measurement enabled. Initialization started.
Nota: O cache PCM é usado para acelerar futuros trabalhos de PCM e a inicialização do cache pode levar um tempo considerável. Apesar disso, os trabalhos de PCM podem começar a ser enfileirados enquanto o cache do PCM está sendo inicializado.
Como o PCM calcula os totais de uso?
A PCM usa snapshots de mtree para determinar a utilização física de um grupo de arquivos. Como resultado, quando um trabalho de PCM é iniciado, ocorre o seguinte:
- Um snapshot de mtree é criado em MTrees subjacentes.
sysadmin@dd9500# snapshot list mtree /data/col1/jf2 Snapshot Information for MTree: /data/col1/jf2 ---------------------------------------------- Name Pre-Comp (GiB) Create Date Retain Until Status --------------------------------- -------------- ----------------- ----------------- ------- pcr_snap_1440284055_1440360259_19 6.0 Aug 23 2015 13:04 Dec 31 1969 16:00 expired --------------------------------- -------------- ----------------- ----------------- -------
- O PCM localiza arquivos do snapshot que devem estar no trabalho de PCM (isto é, nos conjuntos de caminhos ou MTrees especificados).
- O PCM percorre a árvore de segmentos desses arquivos para, essencialmente, criar uma lista de impressões digitais de segmento exclusivas referenciadas por todos os arquivos.
- Em seguida, a PCM encontra os segmentos correspondentes no disco (dentro do conjunto de contêineres) e calcula a soma do tamanho desses segmentos.
-
A soma do tamanho desses segmentos representa a utilização atual do disco rígido pelos arquivos correspondentes.
- Além dos itens acima, o tamanho pré-compactado do conjunto de arquivos pode ser encontrado nos metadados de arquivo correspondentes.
- Depois que os trabalhos de PCM são concluídos, os snapshots de PCM subjacentes expiram para remoção posterior.
Como funcionam os trabalhos de PCM?
Os trabalhos de PCM são enviados por um usuário (ou por um agendamento) e adicionados a uma fila de trabalho de PCM. Dependendo da carga de trabalho do sistema, os trabalhos de PCM podem ser selecionados da fila e iniciados imediatamente ou podem ser adiados por algum tempo.
Veja a seguir exemplos de por que os trabalhos de PCM podem ser adiados:
- A limpeza do nível ativo está em execução no sistema - os trabalhos de PCM e limpeza do nível ativo não podem ser executados em paralelo. Como resultado, os trabalhos de PCM enfileirados enquanto a limpeza do nível ativo está em execução são adiados até que a limpeza do nível ativo seja concluída.
- Já existem alguns trabalhos de PCM em execução em MTrees subjacentes — o PCM usa snapshots de mtree e há limites rígidos de quantos snapshots de PCM um determinado usuário pode criar em um determinado momento em um único mtree. Se esses limites forem excedidos por um novo trabalho de PCM, o trabalho será adiado até a conclusão do trabalho existente.
É possível controlar os recursos utilizados pelo PCM em um sistema?
O PCM usa um mecanismo de limitação semelhante ao usado pela limpeza de nível ativo, ou seja, o acelerador do PCM pode ser definido de 0 (não agressivo) a 100 (agressivo). Obviamente, quanto maior a aceleração, mais recursos são usados pelo PCM e mais impacto os trabalhos de PCM podem ter sobre outras cargas de trabalho no sistema.
Por padrão, a aceleração do PCM está definida como 20, ou seja:
sysadmin@dd9500# compression physical-capacity-measurement throttle show Throttle is set to 20 percent (default).
O acelerador do PCM pode ser modificado da seguinte forma, com a alteração para aceleração ocorrendo imediatamente (ou seja, nenhuma reinicialização do DDFS é necessária para que o PCM pegue a nova configuração do acelerador):
sysadmin@dd9500# compression physical-capacity-measurement throttle set 50 Throttle set to 50 percent.
O que são conjuntos de caminhos?
Os trabalhos de PCM podem ser executados de duas maneiras, ou seja:
- Em relação a um "conjunto de caminhos" predefinido (ou seja, conjunto de diretórios especificado pelo usuário)
- Contra uma única mtree
Antes que os trabalhos possam ser executados em um determinado conjunto de caminhos, o conjunto de caminhos deve ser criado ou definido da seguinte maneira:
sysadmin@dd9500# compression physical-capacity-measurement pathset create jfall paths /data/col1/jf1,/data/col1/jf2 Pathset "jfall" created.Diretórios específicos podem ser adicionados ou removidos de um conjunto de caminhos existente da seguinte maneira:
sysadmin@dd9500# compression physical-capacity-measurement pathset del jfall paths /data/col1/jf2 Path(s) deleted from pathset "jfall". sysadmin@dd9500# compression physical-capacity-measurement pathset add jfall paths /data/col1/jf2 Path(s) added to pathset "jfall".
Todos os conjuntos de caminhos que foram criados são exibidos da seguinte maneira:
sysadmin@dd9500# compression physical-capacity-measurement pathset show list Pathset Number of paths Measurement-retention (days) --------------- --------------- ---------------------------- jf1 1 180 jf2 1 180 jfall 2 180 phys-gandhi3 1 180 phys-gandhi5-fc 1 180 phys-gandhi5 1 180 phys2-gandhi3 2 180 --------------- --------------- ---------------------------- 7 pathset(s) found.
Para visualizar caminhos específicos definidos em um conjunto de caminhos, o pathset show detailed O comando é usado:
sysadmin@dd9500# compression physical-capacity-measurement pathset show detailed jfall Pathset: jfall Number of paths: 2 Measurement-retention: 180 day(s) Paths: /data/col1/jf1 /data/col1/jf2 sysadmin@dd9500#
Para excluir um caminho, defina o pathset destroy O comando pode ser usado:
sysadmin@dd9500# compression physical-capacity-measurement pathset destroy jfall
Nota: Isso remove todo o histórico do conjunto de caminhos especificado.
Como um trabalho de PCM é iniciado?
Um novo trabalho de PCM é enviado para a fila de trabalho de PCM usando o sample start Ou seja:
sysadmin@dd9500# compression physical-capacity-measurement sample start pathsets jfall Measurement task(s) submitted and will begin as soon as resources are available.
No exemplo acima, um conjunto de caminhos predefinido foi usado. Para enviar um trabalho de PCM em relação a um único mtree, o mtree é especificado, ou seja:
sysadmin@dd9500# compression physical-capacity-measurement sample start mtrees /data/col1/backup Measurement task(s) submitted and will begin as soon as resources are available.
Por padrão, os trabalhos de PCM são enviados com prioridade "normal". Também é possível especificar uma prioridade de urgência:
sysadmin@dd9500# compression physical-capacity-measurement sample start pathsets jf1 priority urgent Measurement task(s) submitted and will begin as soon as resources are available.
Trabalhos com prioridade de 'urgente' são enfileirados à frente daqueles com prioridade de 'normal' (o que significa que eles são selecionados e trabalhados de preferência a quaisquer trabalhos enviados de prioridade 'normal').
Uma lista de trabalhos enviados ou em execução é exibida usando o sample show current , por exemplo:
sysadmin@dd9500# compression physical-capacity-measurement sample show current Task ID Type Name User State Creation Time Measurement Time Start Time Priority Percent (Submitted Time) Done ----------- ---- ----- -------- --------- ------------------- ------------------- ---------- -------- -------- 47244640259 PS jf2 sysadmin Scheduled 2015/08/23 12:24:12 2015/08/23 12:24:12 -- Urgent 0 47244640258 PS jf1 sysadmin Scheduled 2015/08/23 12:24:09 2015/08/23 12:24:09 -- Urgent 0 47244640257 PS jfall sysadmin Scheduled 2015/08/23 12:23:06 2015/08/23 12:23:06 -- Normal 0 ----------- ---- ----- -------- --------- ------------------- ------------------- ---------- -------- -------- sysadmin@dd9500#
Os trabalhos de PCM podem ser agendados?
Sim — se um trabalho de PCM específico precisar ser executado regularmente, ele será agendado para ser executado automaticamente conforme necessário. Por exemplo:
sysadmin@dd9500# compression physical-capacity-measurement schedule create jf_sched pathsets jfall,jf1,jf2 time 1400 Schedule "jf_sched" created.
Nota: Os agendamentos são criados para serem executados diariamente, em dias específicos da semana ou em determinados dias de cada mês.
Um agendamento existente é modificado usando o schedule modify comando:
sysadmin@dd9500# compression physical-capacity-measurement schedule modify jf_sched priority urgent time 1700 day Wed,Fri Schedule "jf_sched" modified.
Além disso, um agendamento existente pode ter conjuntos de caminhos adicionados ou removidos da seguinte maneira:
sysadmin@dd9500# compression physical-capacity-measurement schedule del jf_sched pathsets jf2 Schedule "jf_sched" modified. sysadmin@dd9500# compression physical-capacity-measurement schedule add jf_sched pathsets jf2 Schedule "jf_sched" modified.
Nota: Um agendamento não pode conter apenas conjuntos de caminhos OU MTrees (ou seja, os dois não podem ser misturados):
sysadmin@dd9500# compression physical-capacity-measurement schedule create jf_sched2 mtrees /data/col1/backup time 1400 Schedule "jf_sched2" created. sysadmin@dd9500# compression physical-capacity-measurement schedule add jf_sched2 pathsets jfall **** Failed to add: this schedule is only for mtrees.
Para visualizar detalhes dos agendamentos existentes, o schedule show all é usado, por exemplo:
sysadmin@dd9500# compression physical-capacity-measurement schedule show all Name: jf_sched Status: enabled Priority: urgent Frequency: weekly on Wed, Fri Time: 17:00 Pathset(s): jfall jf1 jf2 Name: jf_sched2 Status: enabled Priority: normal Frequency: daily Time: 14:00 MTree(s): /data/col1/backup
Os agendamentos existentes podem ser desativados ou ativados imediatamente, ou seja:
sysadmin@dd9500# compression physical-capacity-measurement schedule disable jf_sched2 Schedule "jf_sched2" disabled. sysadmin@dd9500# compression physical-capacity-measurement schedule enable jf_sched2 Schedule "jf_sched2" enabled.
Um agendamento também pode ser destruído:
sysadmin@dd9500# compression physical-capacity-measurement schedule destroy jf_sched2 Schedule "jf_sched2" destroyed.
Nota: Isso NÃO remove o histórico dos mtrees/conjuntos de caminhos correspondentes (significa que novos trabalhos de PCM não são agendados automaticamente).
Como os trabalhos agendados são iniciados?
Quando um agendamento de PCM é adicionado e habilitado, isso faz com que uma entrada correspondente seja adicionada ao /etc/crontabIsto é:
# # collection.1.crontab.pcr.jf_sched.0 # 00 17 * * Wed,Fri root /ddr/bin/ddsh -a compression physical-capacity-measurement sample start force priority urgent objects-from-schedule jf_sched
Nota: O trabalho cron é removido do
/etc/crontab Se o agendamento estiver desativado ou destruído.
Posso parar de executar um trabalho de PCM?
Sim — A execução de trabalhos de PCM pode ser anulada usando o ID da tarefa ou os nomes do conjunto de caminhos/mtrees. Por exemplo, vemos que temos dois trabalhos de PCM em fila:
SE@dd9500## compression physical-capacity-measurement sample show current Task ID Type Name User State Creation Time Measurement Time Start Time Priority Percent (Submitted Time) Done ------------ ---- ----- -------- --------- ------------------- ------------------- ---------- -------- -------- 124554051585 PS jfall sysadmin Scheduled 2015/08/30 16:00:48 2015/08/30 16:00:48 -- Normal 0 124554051586 PS jfall sysadmin Scheduled 2015/08/30 16:01:55 2015/08/30 16:01:55 -- Normal 0 ------------ ---- ----- -------- --------- ------------------- ------------------- ---------- -------- --------
Esses trabalhos podem ser abortados usando o ID da tarefa (para interromper um único trabalho):
SE@dd9500## compression physical-capacity-measurement sample stop task-id 124554051585 ** This will abort any submitted or running compression physical-capacity-measurement sampling tasks. Do you want to proceed? (yes|no) [no]: yes 1 task(s) aborted.
Restando-nos um único trabalho em execução:
SE@dd9500## compression physical-capacity-measurement sample show current Task ID Type Name User State Creation Time Measurement Time Start Time Priority Percent (Submitted Time) Done ------------ ---- ----- -------- --------- ------------------- ------------------- ---------- -------- -------- 124554051586 PS jfall sysadmin Scheduled 2015/08/30 16:01:55 2015/08/30 16:01:55 -- Normal 0 ------------ ---- ----- -------- --------- ------------------- ------------------- ---------- -------- --------
Ou nome do conjunto de caminhos:
SE@dd9500## compression physical-capacity-measurement sample stop pathsets jfall ** This will abort any submitted or running compression physical-capacity-measurement sampling tasks. Do you want to proceed? (yes|no) [no]: yes 1 task(s) aborted.
Deixando-nos sem empregos:
SE@dd9500## compression physical-capacity-measurement sample show current No measurement tasks found.
Como os detalhes dos trabalhos concluídos podem ser exibidos?
Os detalhes dos trabalhos concluídos são visualizados com o sample show history hostname. Por exemplo, para mostrar detalhes de um único conjunto de caminhos:
SE@dd9500## compression physical-capacity-measurement sample show history pathset jfall Pathset: jfall Measurement Time Logical Used Physical Used Global-Comp Local-Comp Total-Comp (Pre-Comp) (Post-Comp) Factor Factor Factor (GiB) (GiB) (Reduction %) ------------------- ------------ ------------- ----------- ---------- -------------- 2015/08/23 12:23:06 7.0 4.2 1.70x 0.98x 1.67x (40.24%) 2015/08/23 13:04:20 10.0 6.2 1.63x 0.98x 1.61x (37.84%) 2015/08/26 14:00:01 10.0 6.2 1.63x 0.98x 1.61x (37.84%) 2015/08/27 14:00:01 10.0 6.2 1.63x 0.98x 1.61x (37.84%) 2015/08/28 14:00:02 10.0 6.2 1.63x 0.98x 1.61x (37.84%) 2015/08/29 14:00:02 10.0 6.2 1.63x 0.98x 1.61x (37.84%) 2015/08/30 14:00:01 10.0 6.2 1.63x 0.98x 1.61x (37.84%) ------------------- ------------ ------------- ----------- ---------- -------------- Total number of measurements retrieved = 7.
O parâmetro detailed-history também mostra as horas de início e término de cada trabalho:
SE@dd9500## compression physical-capacity-measurement sample show detailed-history pathset jfall Pathset: jfall Measurement Time Logical Used Physical Used Global-Comp Local-Comp Total-Comp Task ID Task Start Time Task End Time (Pre-Comp) (Post-Comp) Factor Factor Factor (GiB) (GiB) (Reduction %) ------------------- ------------ ------------- ----------- ---------- -------------- ------------ ------------------- ------------------- 2015/08/23 12:23:06 7.0 4.2 1.70x 0.98x 1.67x (40.24%) 47244640257 2015/08/23 12:25:19 2015/08/23 12:25:23 2015/08/23 13:04:20 10.0 6.2 1.63x 0.98x 1.61x (37.84%) 51539607553 2015/08/23 13:05:45 2015/08/23 13:05:48 2015/08/26 14:00:01 10.0 6.2 1.63x 0.98x 1.61x (37.84%) 77309411329 2015/08/26 14:02:50 2015/08/26 14:02:50 2015/08/27 14:00:01 10.0 6.2 1.63x 0.98x 1.61x (37.84%) 85899345921 2015/08/27 14:03:06 2015/08/27 14:03:06 2015/08/28 14:00:02 10.0 6.2 1.63x 0.98x 1.61x (37.84%) 94489280513 2015/08/28 14:02:50 2015/08/28 14:02:51 2015/08/29 14:00:02 10.0 6.2 1.63x 0.98x 1.61x (37.84%) 103079215105 2015/08/29 14:01:40 2015/08/29 14:01:41 2015/08/30 14:00:01 10.0 6.2 1.63x 0.98x 1.61x (37.84%) 115964116993 2015/08/30 14:04:12 2015/08/30 14:04:12 ------------------- ------------ ------------- ----------- ---------- -------------- ------------ ------------------- ------------------- Total number of measurements retrieved = 7.
Nota: Qualquer comando pode ser modificado para recuperar resultados apenas durante um período específico:
SE@dd9500## compression physical-capacity-measurement sample show history pathset jfall last 2days Pathset: jfall Measurement Time Logical Used Physical Used Global-Comp Local-Comp Total-Comp (Pre-Comp) (Post-Comp) Factor Factor Factor (GiB) (GiB) (Reduction %) ------------------- ------------ ------------- ----------- ---------- -------------- 2015/08/29 14:00:02 10.0 6.2 1.63x 0.98x 1.61x (37.84%) 2015/08/30 14:00:01 10.0 6.2 1.63x 0.98x 1.61x (37.84%) ------------------- ------------ ------------- ----------- ---------- -------------- Total number of measurements retrieved = 2.
Ou entre datas ou horários específicos:
SE@dd9500## compression physical-capacity-measurement sample show history pathset jfall start 08231010 end 08231400 Pathset: jfall Measurement Time Logical Used Physical Used Global-Comp Local-Comp Total-Comp (Pre-Comp) (Post-Comp) Factor Factor Factor (GiB) (GiB) (Reduction %) ------------------- ------------ ------------- ----------- ---------- -------------- 2015/08/23 12:23:06 7.0 4.2 1.70x 0.98x 1.67x (40.24%) 2015/08/23 13:04:20 10.0 6.2 1.63x 0.98x 1.61x (37.84%) ------------------- ------------ ------------- ----------- ---------- -------------- Total number of measurements retrieved = 2.
Por quanto tempo um histórico específico é mantido para um conjunto de caminhos/mtree específico?
Por padrão, os resultados de cada conjunto de caminhos PCM são mantidos por 180 dias. Isso pode ser alterado por modificação do conjunto de caminhos correspondente:
SE@dd9500## compression physical-capacity-measurement pathset modify jfall measurement-retention 14 Measurement-retention changed to 14 day(s).
O histórico da PCM é mantido no banco de dados histórico do sistema. Como resultado, se o banco de dados histórico for perdido ou danificado, os detalhes de todo o histórico do PCM também serão perdidos.
Há alguma ressalva a ser observada ao usar o PCM?
Os trabalhos de PCM são suspensos se o sistema tiver menos de 10% de espaço disponível.
Os trabalhos de PCM são suspensos enquanto o ciclo de limpeza está em execução.
Como mencionado anteriormente, a PCM é uma ferramenta usada para calcular a utilização física por um conjunto específico de diretórios/mtrees. Ao calcular resultados para um conjunto de caminhos específico ou conjunto de MTrees, a PCM conta apenas o tamanho de cada segmento exclusivo de dados usado pelo conjunto de caminhos ou conjunto de MTrees uma vez.
Como resultado, se a eliminação de duplicação de arquivos em relação aos mesmos dados estiver em vários trabalhos de PCM diferentes, cada um dos segmentos que compõem os arquivos poderá ser contado várias vezes (uma vez para cada trabalho de PCM). Isso significa que, embora os resultados de cada trabalho de PCM individual sejam precisos, os resultados de vários trabalhos de PCM não podem ser somados para fornecer utilização física precisa para a soma de conjuntos de caminhos/mtrees nos trabalhos.
Devido à maneira como os trabalhos de PCM são organizados, o caminho definido ou o espaço pós-compactação do MTree usado no disco:
- Os trabalhos de PCM não contabilizam dados inativos (espaço em disco usado por arquivos excluídos, cujo espaço no disco pode não ter sido recuperado ainda com a execução da GC).
- O PCM não contabiliza nenhum dado bloqueado em snapshots criados para o MTree ou os conjuntos de caminhos que estão sendo medidos.
Por exemplo, eu tenho uma MTree chamada /data/col1/jf1 no qual crio três arquivos de 1Gb, ou seja:
!!!! dd9500 YOUR DATA IS IN DANGER !!!! # for i in 1 2 3 ; do
> dd if=/dev/urandom of=/data/col1/jf1/${i} bs=1024k count=1024
> done
Em seguida, copio esses arquivos para uma segunda mtree (/data/col1/jf2):
!!!! dd9500 YOUR DATA IS IN DANGER !!!! # cp /data/col1/jf1/1 /data/col1/jf2/4 !!!! dd9500 YOUR DATA IS IN DANGER !!!! # cp /data/col1/jf1/2 /data/col1/jf2/5 !!!! dd9500 YOUR DATA IS IN DANGER !!!! # cp /data/col1/jf1/3 /data/col1/jf2/6
Finalmente, eu crio um novo arquivo de 1Gb em /data/col1/jf2:
!!!! dd9500 YOUR DATA IS IN DANGER !!!! # dd if=/dev/urandom of=/data/col1/jf2/7 bs=1024k count=1024 1024+0 records in 1024+0 records out
Se a compactação local de dados for desconsiderada e apenas a eliminação de duplicação for considerada, ficará claro que cada mtree usou a seguinte quantidade de espaço físico quando os arquivos foram gravados:
/data/col1/jf1: 3 Gb
/data/col1/jf2: 1 Gb (para o novo arquivo — os arquivos copiados teriam sido desduplicados em relação aos dados existentes, portanto, teriam consumido o mínimo de espaço físico).
Como resultado, a soma da utilização do espaço físico por /data/col1/jf1 e /data/col1/jf2 deve ter cerca de 4 Gb.
Três conjuntos de caminhos PCM são criados:
JF1 contendo /data/col1/JF1 JF2
contendo /data/col1/JF2
JFALL contendo data/col1/JF1 e /data/col1/JF2
Os trabalhos de PCM são executados e fornecem o resultado da seguinte maneira:
Pathset: jf1 Measurement Time Logical Used Physical Used Global-Comp Local-Comp Total-Comp (Pre-Comp) (Post-Comp) Factor Factor Factor (GiB) (GiB) (Reduction %) ------------------- ------------ ------------- ----------- ---------- -------------- 2015/08/23 12:24:09 3.0 3.2 0.96x 0.98x 0.94x (-6.21%) ------------------- ------------ ------------- ----------- ---------- -------------- Pathset: jf2 Measurement Time Logical Used Physical Used Global-Comp Local-Comp Total-Comp (Pre-Comp) (Post-Comp) Factor Factor Factor (GiB) (GiB) (Reduction %) ------------------- ------------ ------------- ----------- ---------- -------------- 2015/08/23 12:24:12 4.0 4.2 0.98x 0.98x 0.96x (-4.14%) ------------------- ------------ ------------- ----------- ---------- --------------
Esses valores estão corretos, pois cada trabalho de PCM está analisando apenas os dados físicos referenciados pelos arquivos em seu conjunto de caminhos correspondente. Isso significa que os dados dos arquivos que foram copiados são contados duas vezes (uma vez para cada trabalho de PCM).
Pode parecer razoável que para obter a utilização física total pelo /data/col1/jf1 e /data/col1/jf2 MTrees, podemos somar os valores de 'physical used' das saídas acima.
Para obter um valor preciso para a utilização física total de /data/col1/jf1 e /data/col1/jf2, é necessário executar um único trabalho de PCM abrangendo esses dois MTrees (ou seja, use jfall). Isso garante que os segmentos duplicados sejam contados apenas uma vez, e não duas vezes, como no exemplo acima, ou seja:
Pathset: jfall Measurement Time Logical Used Physical Used Global-Comp Local-Comp Total-Comp (Pre-Comp) (Post-Comp) Factor Factor Factor (GiB) (GiB) (Reduction %) ------------------- ------------ ------------- ----------- ---------- -------------- 2015/08/23 12:23:06 7.0 4.2 1.70x 0.98x 1.67x (40.24%) ------------------- ------------ ------------- ----------- ---------- --------------
Em resumo, a saída de vários trabalhos de PCM não pode ser somada para fornecer utilização física precisa para um conjunto de pathsets/mtrees. Em vez disso, um único conjunto de caminhos de PCM deve ser definido abrangendo todos os mtrees/diretórios necessários, pois isso garante que os dados duplicados sejam contados apenas uma vez. Se isso não for feito e um trabalho de PCM separado for executado para cada MTree em um sistema, por exemplo, os resultados somados é totalmente possível que a capacidade física total usada exceda a capacidade bruta do sistema.
Os trabalhos de PCM só podem ser enviados pelo DDSH ou uma interface do usuário também pode ser usada?
Neste documento, a interface de linha de comando do Data Domain (DDSH) é usada para configurar, enviar e analisar trabalhos de PCM.