Часто задаваемые вопросы об измерении физической емкости DDOS или создании отчетов о физической емкости

Summary: Часто задаваемые вопросы об измерении физической емкости (PCM) и отчетности о физической емкости (PCR) операционной системы Data Domain (DD OS).

This article applies to This article does not apply to This article is not tied to any specific product. Not all product versions are identified in this article.

Instructions

В версии 5.7 операционной системы Data Domain (DD OS) представлена новая функция, известная как измерение физической емкости (PCM) или отчетность о физической емкости (PCR).

В этой статье описываются распространенные сценарии использования и вопросы, связанные с этой функцией. В данном документе термины PCM и PCR взаимозаменяемы.

Что такое измерение физической емкости (PCM)?
PCM — это новая функция, поддерживаемая в DD OS 5.7 и более поздних версиях, которая позволяет точно рассчитывать использование жесткого диска деревом каталогов, коллекцией деревьев каталогов, mtree или коллекцией MTree.

Чем это отличается от функций в предыдущих выпусках DDOS?
Когда файл принимается на DDR, мы записываем различные статистические данные о файле. Одной из таких статистических данных является «байт post-lc», или физический объем пространства, занимаемого файлом при записи в систему. Мы можем просмотреть байты post-lc для дерева файла или каталога, используя команду filesys show compression команда - например:

sysadmin@dd9500# filesys show compression /data/col1/jf1
Total files: 4;  bytes/storage_used: 1.3
       Original Bytes:        4,309,378,324
  Globally Compressed:        3,242,487,836
   Locally Compressed:        3,293,594,658
            Meta-data:           13,897,112

Это означает, что вышеуказанное дерево каталогов содержит четыре файла, которые при приеме использовали в общей сложности 3 293 594 658 байт (3,07 Гбайт) физического пространства.
 

Примечание.: Эти статистические данные создаются во время приема и по истечении этого времени не обновляются. Однако из-за характера дедупликации по мере получения или удаления дополнительных файлов и выполнения очистки изменяется способ дедупликации данных на диске и, соответственно, способ дедупликации каждого файла (а также объем данных, которым он «владеет»). Из-за этого приведенные выше статистические данные со временем устаревают, а иногда и при рабочих нагрузках могут становиться неточными.

PCM — это попытка избежать противоречивых результатов, вызванных устареванием приведенной выше статистики. Поскольку PCM может генерировать отчеты об использовании жестких дисков в определенный момент времени, вышеуказанные ограничения больше не применяются, и результаты гарантированно будут более точными.

Существуют ли какие-либо известные факты или настройки, в которых результаты, рассчитанные PCM, не являются оптимально точными?
PCM выполняет выборку для вычисления дискового пространства, используемого файлами в наборе путей. Это означает, что некоторые файлы могут быть исключены из перечисления для уникальных сегментов, так как по соображениям производительности файлы меньшего размера не учитываются. Минимальный размер отдельных файлов в наборах путей, которые задания PCM считают для перечисления (и, следовательно, тех, которые учитывают используемое дисковое пространство), зависит от среднего размера сегмента файловой системы:
  • Если средний размер сегмента равен 4 КБ, то файлы размером 4 МБ и меньше игнорируются PCM
  • Если средний размер сегмента равен 8 КБ, то файлы размером 8 МБ и меньше игнорируются PCM
  • Если средний размер сегмента равен 12 КБ, то файлы размером 12 МБ и меньше игнорируются PCM

Реальные данные клиентов показывают, что средний размер сегмента колеблется в районе 9 Кбайт для наиболее распространенных сценариев использования, поэтому приблизительное число файлов, не учитываемых при расчете PCM используемого дискового пространства, будет меньше 9 Мбайт.

Требуются ли какие-либо дополнительные лицензии для PCM?
Нет - PCM не является лицензируемой функцией, поэтому для использования PCM не требуются дополнительные лицензии.

Поддерживается ли PCM на всех платформах?
Нет — PCM поддерживается на всех аппаратных устройствах и устройствах Virtual Data Domain (DDVE), за исключением DDVE Active Tier on Object Storage (ATOS).

PCM измеряет и перечисляет только файлы на активном уровне: Файлы, находящиеся в облачных единицах (или, в случае устаревших файлов, хранящихся в архиваторах), не учитываются при расчете размера для заданий PCM.

Существуют ли какие-либо другие предварительные условия, необходимые для использования PCM?
По умолчанию PCM отключен в DDOS 5.7. Перед использованием его необходимо включить и инициализировать кэш, как показано ниже:

sysadmin@dd9500# compression physical-capacity-measurement enable and-initialize
physical-capacity-measurement enabled. Initialization started.

Примечание.: Кэш PCM используется для ускорения будущих заданий PCM, и инициализация кэша может занять значительное время. Несмотря на это, задания PCM могут начать ставиться в очередь во время инициализации кэша PCM.

Как PCM рассчитывает общее использование?
PCM использует моментальные снимки mtree для определения физического использования группы файлов. В результате, когда запускается задание PCM, происходит следующее:
  • Моментальный снимок mtree создается для базового MTree.
Примечание.: Этот моментальный снимок называется pcr_snap_*, то есть:
sysadmin@dd9500# snapshot list mtree /data/col1/jf2
Snapshot Information for MTree: /data/col1/jf2
----------------------------------------------
Name                                Pre-Comp (GiB)   Create Date         Retain Until        Status
---------------------------------   --------------   -----------------   -----------------   -------
pcr_snap_1440284055_1440360259_19              6.0   Aug 23 2015 13:04   Dec 31 1969 16:00   expired
---------------------------------   --------------   -----------------   -----------------   -------
  • PCM находит файлы из моментального снимка, которые должны быть в задании PCM (то есть в указанных путях или MTree).
  • PCM проходит по дереву сегментов этих файлов, чтобы, по сути, создать список уникальных отпечатков сегментов, на которые ссылаются все файлы.
  • Затем PCM находит соответствующие сегменты на диске (в наборе контейнеров) и вычисляет сумму размеров этих сегментов.
  • Сумма размеров этих сегментов представляет текущую занятость жесткого диска соответствующими файлами.
  • В дополнение к вышесказанному, предварительно сжатый размер набора файлов можно найти из соответствующих метаданных файла.
  • После завершения заданий PCM срок действия базовых моментальных снимков PCM истекает для последующего удаления.


Как работают задания PCM?
Задания PCM отправляются пользователем (или по расписанию) и добавляются в рабочую очередь PCM. В зависимости от системной рабочей нагрузки задания PCM могут быть выбраны из очереди и запущены немедленно или отложены на некоторое время.

Ниже приведены примеры причин, по которым задания PCM могут быть отложены:

  • Очистка активного уровня выполняется в системе — задания PCM и очистка активного уровня не могут выполняться параллельно. В результате задания PCM, находящиеся в очереди во время выполнения очистки активного уровня, откладываются до завершения очистки активного уровня.
  • Уже есть некоторые задания PCM, выполняемые с базовыми MTree - PCM использует снимки mtree, и существуют строгие ограничения на количество снимков PCM, которые данный пользователь может создать в данный момент времени для одного mtree. Если эти ограничения будут превышены новым заданием PCM, оно будет отложено до завершения существующего задания.


Можно ли контролировать ресурсы, используемые PCM в системе?
PCM использует механизм регулирования, аналогичный тому, который используется в Active Tier Clean, то есть для регулирования PCM можно установить значение от 0 (не агрессивный) до 100 (агрессивный). Очевидно, что чем выше ограничение, тем больше ресурсов использует PCM и тем большее влияние задания PCM могут оказать на другие рабочие нагрузки в системе.

По умолчанию дроссельная заслонка PCM установлена на 20, то есть:

sysadmin@dd9500# compression physical-capacity-measurement throttle show
Throttle is set to 20 percent (default).

Регулирование PCM можно изменить следующим образом, при этом изменение на регулирование происходит немедленно (то есть PCM не требуется перезапуск DDFS, чтобы принять новую настройку дроссельной заслонки):

sysadmin@dd9500# compression physical-capacity-measurement throttle set 50
Throttle set to 50 percent.


Что такое наборы путей?
Задания PCM можно выполнять двумя способами, а именно:

  • По предопределенному «набору путей» (т. е. указанному пользователем набору каталогов)
  • Против одного mtree

Перед выполнением заданий для заданного набора путей этот набор путей должен быть создан или определен следующим образом:

sysadmin@dd9500# compression physical-capacity-measurement pathset create jfall paths /data/col1/jf1,/data/col1/jf2
Pathset "jfall" created.
Определенные каталоги можно добавлять в существующий набор путей или удалять из него следующим образом:
sysadmin@dd9500# compression physical-capacity-measurement pathset del jfall paths /data/col1/jf2
Path(s) deleted from pathset "jfall".
sysadmin@dd9500# compression physical-capacity-measurement pathset add jfall paths /data/col1/jf2
Path(s) added to pathset "jfall".

Все созданные наборы путей отображаются следующим образом:

sysadmin@dd9500# compression physical-capacity-measurement pathset show list
Pathset           Number of paths   Measurement-retention (days)
---------------   ---------------   ----------------------------
jf1                             1                            180
jf2                             1                            180
jfall                           2                            180
phys-gandhi3                    1                            180
phys-gandhi5-fc                 1                            180
phys-gandhi5                    1                            180
phys2-gandhi3                   2                            180
---------------   ---------------   ----------------------------
7 pathset(s) found.

Для просмотра конкретных путей, определенных в наборе путей, команда pathset show detailed Используется команда:

sysadmin@dd9500# compression physical-capacity-measurement pathset show detailed jfall
Pathset: jfall
    Number of paths: 2
    Measurement-retention: 180 day(s)
    Paths:
        /data/col1/jf1
        /data/col1/jf2
sysadmin@dd9500#

Чтобы удалить путь, задайте параметр pathset destroy Можно использовать:

sysadmin@dd9500# compression physical-capacity-measurement pathset destroy jfall

Примечание.: При этом удаляется вся история для данного набора путей.
 
Примечание.: Для выполнения нерегламентированных заданий для одного MTree не требуется определенный набор путей.


С чего начинается задание PCM?
Новое задание PCM отправляется в рабочую очередь PCM с помощью команды sample start команда, то есть:

sysadmin@dd9500# compression physical-capacity-measurement sample start pathsets jfall
Measurement task(s) submitted and will begin as soon as resources are available.

В приведенном выше примере использовался предопределенный набор путей. Чтобы отправить задание PCM для одного mtree, необходимо указать mtree, то есть:

sysadmin@dd9500# compression physical-capacity-measurement sample start mtrees /data/col1/backup
Measurement task(s) submitted and will begin as soon as resources are available.

По умолчанию задания PCM отправляются с приоритетом «normal». Также можно указать приоритет срочности:

sysadmin@dd9500# compression physical-capacity-measurement sample start pathsets jf1 priority urgent
Measurement task(s) submitted and will begin as soon as resources are available.

Задания с приоритетом «срочные» ставятся в очередь перед задачами с приоритетом «нормальный» (это означает, что они забираются и обрабатываются в приоритете перед любыми отправленными заданиями с приоритетом «нормальный»).

Список отправленных или выполняющихся заданий отображается с помощью команды sample show current команду, например:

sysadmin@dd9500# compression physical-capacity-measurement sample show current
Task ID       Type   Name    User       State       Creation Time         Measurement Time      Start Time   Priority   Percent
                                                                          (Submitted Time)                              Done
-----------   ----   -----   --------   ---------   -------------------   -------------------   ----------   --------   --------
47244640259   PS     jf2     sysadmin   Scheduled   2015/08/23 12:24:12   2015/08/23 12:24:12   --           Urgent     0
47244640258   PS     jf1     sysadmin   Scheduled   2015/08/23 12:24:09   2015/08/23 12:24:09   --           Urgent     0
47244640257   PS     jfall   sysadmin   Scheduled   2015/08/23 12:23:06   2015/08/23 12:23:06   --           Normal     0
-----------   ----   -----   --------   ---------   -------------------   -------------------   ----------   --------   --------
sysadmin@dd9500#


Можно ли запланировать задания PCM?
Да — если определенное задание PCM должно выполняться регулярно, то планируется его автоматическое выполнение в соответствии с требованиями. Пример.

sysadmin@dd9500# compression physical-capacity-measurement schedule create jf_sched pathsets jfall,jf1,jf2 time 1400
Schedule "jf_sched" created.

Примечание.: Расписания создаются для ежедневного выполнения в определенные дни недели или определенные дни каждого месяца.

Существующее расписание изменяется с помощью команды schedule modify команду:

sysadmin@dd9500# compression physical-capacity-measurement schedule modify jf_sched priority urgent time 1700 day Wed,Fri
Schedule "jf_sched" modified.

Кроме того, в существующее расписание можно добавлять или удалять наборы путей следующим образом:

sysadmin@dd9500# compression physical-capacity-measurement schedule del jf_sched pathsets jf2
Schedule "jf_sched" modified.
sysadmin@dd9500# compression physical-capacity-measurement schedule add jf_sched pathsets jf2
Schedule "jf_sched" modified.

Примечание.: Спецификация не может содержать только наборы путей ИЛИ MTree (т. е. их нельзя смешивать):
sysadmin@dd9500# compression physical-capacity-measurement schedule create jf_sched2 mtrees /data/col1/backup time 1400
Schedule "jf_sched2" created.
sysadmin@dd9500# compression physical-capacity-measurement schedule add jf_sched2 pathsets jfall
**** Failed to add: this schedule is only for mtrees.

Для просмотра сведений о существующих расписаниях schedule show all используется, например:

sysadmin@dd9500# compression physical-capacity-measurement schedule show all
Name:      jf_sched
Status:    enabled
Priority:  urgent
Frequency: weekly on Wed, Fri
Time:      17:00
Pathset(s):
    jfall
    jf1
    jf2


Name:      jf_sched2
Status:    enabled
Priority:  normal
Frequency: daily
Time:      14:00
MTree(s):
    /data/col1/backup

Существующие расписания можно отключить или включить немедленно, то есть:

sysadmin@dd9500# compression physical-capacity-measurement schedule disable jf_sched2
Schedule "jf_sched2" disabled.
sysadmin@dd9500# compression physical-capacity-measurement schedule enable jf_sched2
Schedule "jf_sched2" enabled.

Расписание также может быть уничтожено:

sysadmin@dd9500# compression physical-capacity-measurement schedule destroy jf_sched2
Schedule "jf_sched2" destroyed.

Примечание.: При этом НЕ удаляется журнал для соответствующих mtree/pathsets (это означает, что новые задания PCM не планируются автоматически).


Как запускаются запланированные задания?
При добавлении и включении расписания PCM соответствующая запись добавляется в /etc/crontabТо есть:

#
# collection.1.crontab.pcr.jf_sched.0
#
00 17 * * Wed,Fri  root /ddr/bin/ddsh -a compression physical-capacity-measurement sample start force priority urgent objects-from-schedule jf_sched

Примечание.: Задание cron удалено из /etc/crontab Если расписание отключено или уничтожено.


Можно ли остановить выполнение задания PCM?
Да - Выполнение заданий PCM может быть прервано с помощью идентификатора задачи или имени набора путей/mtree. Например, мы видим, что в очереди находятся два задания PCM:

SE@dd9500## compression physical-capacity-measurement sample show current
Task ID        Type   Name    User       State       Creation Time         Measurement Time      Start Time   Priority   Percent
                                                                           (Submitted Time)                              Done
------------   ----   -----   --------   ---------   -------------------   -------------------   ----------   --------   --------
124554051585   PS     jfall   sysadmin   Scheduled   2015/08/30 16:00:48   2015/08/30 16:00:48   --           Normal     0
124554051586   PS     jfall   sysadmin   Scheduled   2015/08/30 16:01:55   2015/08/30 16:01:55   --           Normal     0
------------   ----   -----   --------   ---------   -------------------   -------------------   ----------   --------   --------

Эти задания можно прервать с помощью task-id (для остановки одного задания):

SE@dd9500## compression physical-capacity-measurement sample stop task-id 124554051585
**   This will abort any submitted or running compression physical-capacity-measurement sampling tasks.
        Do you want to proceed? (yes|no) [no]: yes
1 task(s) aborted.

Оставляя нам одно работающее задание:

SE@dd9500## compression physical-capacity-measurement sample show current
Task ID        Type   Name    User       State       Creation Time         Measurement Time      Start Time   Priority   Percent
                                                                           (Submitted Time)                              Done
------------   ----   -----   --------   ---------   -------------------   -------------------   ----------   --------   --------
124554051586   PS     jfall   sysadmin   Scheduled   2015/08/30 16:01:55   2015/08/30 16:01:55   --           Normal     0
------------   ----   -----   --------   ---------   -------------------   -------------------   ----------   --------   --------

Или имя набора путей:

SE@dd9500## compression physical-capacity-measurement sample stop pathsets jfall
**   This will abort any submitted or running compression physical-capacity-measurement sampling tasks.
        Do you want to proceed? (yes|no) [no]: yes
1 task(s) aborted.

Оставшись без работы:

SE@dd9500## compression physical-capacity-measurement sample show current
No measurement tasks found.


Как отобразить сведения о выполненных заданиях?
Подробные сведения о выполненных заданиях можно просмотреть с помощью значка sample show history . Например, чтобы отобразить сведения об одном наборе путей, выполните следующие действия.

SE@dd9500## compression physical-capacity-measurement sample show history pathset jfall
Pathset: jfall
Measurement Time      Logical Used   Physical Used   Global-Comp   Local-Comp       Total-Comp
                        (Pre-Comp)     (Post-Comp)        Factor       Factor           Factor
                             (GiB)           (GiB)                               (Reduction %)
-------------------   ------------   -------------   -----------   ----------   --------------
2015/08/23 12:23:06            7.0             4.2         1.70x        0.98x   1.67x (40.24%)
2015/08/23 13:04:20           10.0             6.2         1.63x        0.98x   1.61x (37.84%)
2015/08/26 14:00:01           10.0             6.2         1.63x        0.98x   1.61x (37.84%)
2015/08/27 14:00:01           10.0             6.2         1.63x        0.98x   1.61x (37.84%)
2015/08/28 14:00:02           10.0             6.2         1.63x        0.98x   1.61x (37.84%)
2015/08/29 14:00:02           10.0             6.2         1.63x        0.98x   1.61x (37.84%)
2015/08/30 14:00:01           10.0             6.2         1.63x        0.98x   1.61x (37.84%)
-------------------   ------------   -------------   -----------   ----------   --------------
Total number of measurements retrieved = 7.

Параметр подробной истории также показывает время начала и окончания каждого задания:

SE@dd9500## compression physical-capacity-measurement sample show detailed-history pathset jfall
Pathset: jfall
Measurement Time      Logical Used   Physical Used   Global-Comp   Local-Comp       Total-Comp   Task ID        Task Start Time       Task End Time
                        (Pre-Comp)     (Post-Comp)        Factor       Factor           Factor
                             (GiB)           (GiB)                               (Reduction %)
-------------------   ------------   -------------   -----------   ----------   --------------   ------------   -------------------   -------------------
2015/08/23 12:23:06            7.0             4.2         1.70x        0.98x   1.67x (40.24%)   47244640257    2015/08/23 12:25:19   2015/08/23 12:25:23
2015/08/23 13:04:20           10.0             6.2         1.63x        0.98x   1.61x (37.84%)   51539607553    2015/08/23 13:05:45   2015/08/23 13:05:48
2015/08/26 14:00:01           10.0             6.2         1.63x        0.98x   1.61x (37.84%)   77309411329    2015/08/26 14:02:50   2015/08/26 14:02:50
2015/08/27 14:00:01           10.0             6.2         1.63x        0.98x   1.61x (37.84%)   85899345921    2015/08/27 14:03:06   2015/08/27 14:03:06
2015/08/28 14:00:02           10.0             6.2         1.63x        0.98x   1.61x (37.84%)   94489280513    2015/08/28 14:02:50   2015/08/28 14:02:51
2015/08/29 14:00:02           10.0             6.2         1.63x        0.98x   1.61x (37.84%)   103079215105   2015/08/29 14:01:40   2015/08/29 14:01:41
2015/08/30 14:00:01           10.0             6.2         1.63x        0.98x   1.61x (37.84%)   115964116993   2015/08/30 14:04:12   2015/08/30 14:04:12
-------------------   ------------   -------------   -----------   ----------   --------------   ------------   -------------------   -------------------
Total number of measurements retrieved = 7.

Примечание.: Любую команду можно изменить, чтобы получать результаты только за определенный период времени:
SE@dd9500## compression physical-capacity-measurement sample show history pathset jfall last 2days
Pathset: jfall
Measurement Time      Logical Used   Physical Used   Global-Comp   Local-Comp       Total-Comp
                        (Pre-Comp)     (Post-Comp)        Factor       Factor           Factor
                             (GiB)           (GiB)                               (Reduction %)
-------------------   ------------   -------------   -----------   ----------   --------------
2015/08/29 14:00:02           10.0             6.2         1.63x        0.98x   1.61x (37.84%)
2015/08/30 14:00:01           10.0             6.2         1.63x        0.98x   1.61x (37.84%)
-------------------   ------------   -------------   -----------   ----------   --------------
Total number of measurements retrieved = 2.

Или между конкретными датами или временем:

SE@dd9500## compression physical-capacity-measurement sample show history pathset jfall start 08231010 end 08231400
Pathset: jfall
Measurement Time      Logical Used   Physical Used   Global-Comp   Local-Comp       Total-Comp
                        (Pre-Comp)     (Post-Comp)        Factor       Factor           Factor
                             (GiB)           (GiB)                               (Reduction %)
-------------------   ------------   -------------   -----------   ----------   --------------
2015/08/23 12:23:06            7.0             4.2         1.70x        0.98x   1.67x (40.24%)
2015/08/23 13:04:20           10.0             6.2         1.63x        0.98x   1.61x (37.84%)
-------------------   ------------   -------------   -----------   ----------   --------------
Total number of measurements retrieved = 2.


Как долго хранится определенная история для определенного набора путей/MTree?
По умолчанию результаты каждого набора путей PCM хранятся в течение 180 дней. Это можно изменить, изменив соответствующий набор путей:

SE@dd9500## compression physical-capacity-measurement pathset modify jfall measurement-retention 14
Measurement-retention changed to 14 day(s).

История PCM хранится в системной базе данных. В результате, если историческая база данных будет утеряна или повреждена, детали всей истории PCM также будут утеряны.

Есть ли какие-либо предостережения, о которых следует знать при использовании PCM?
Задания PCM приостанавливаются, если в системе доступно менее 10% пространства.
Задания PCM приостанавливаются на время выполнения цикла очистки.

Как указывалось ранее, PCM — это инструмент, используемый для расчета физического использования определенным набором каталогов/mtree. При вычислении результатов для определенного набора путей или набора MTree PCM подсчитывает размер каждого уникального сегмента данных, используемого набором путей или набором MTree только один раз.
 

Примечание.: Из-за характера дедупликации могут существовать другие файлы вне наборов путей/MTree, для которых выполняется задание, и удаление дубликатов с этими же данными также может быть отменено.

В результате, если файлы дедупликации одних и тех же данных находятся в нескольких разных заданиях PCM, каждый из сегментов, составляющих файлы, может быть учтен несколько раз (по одному разу каждым заданием PCM). Это означает, что, несмотря на то, что результаты каждого отдельного задания PCM являются точными, результаты нескольких заданий PCM не могут быть суммированы для точного физического использования суммы наборов путей/mtree в заданиях.

Из-за способа комбинирования заданий PCM набор путей или пространство MTree, используемое после сжатия на диске:

  • Задания PCM не учитывают «мертвые» данные (дисковое пространство, используемое удаленными файлами, которое на диске, возможно, еще не было освобождено при запуске GC).
  • PCM не учитывает какие-либо данные, заблокированные в моментальных снимках, созданных для MTree или измеряемых наборов путей.

Например, у меня есть mtree с именем /data/col1/jf1 в котором я создаю три файла по 1 Гб, то есть:

!!!! dd9500 YOUR DATA IS IN DANGER !!!! # for i in 1 2 3 ; do
> dd if=/dev/urandom of=/data/col1/jf1/${i} bs=1024k count=1024
> done

Затем я копирую эти файлы во второе mtree (/data/col1/jf2):

!!!! dd9500 YOUR DATA IS IN DANGER !!!! # cp /data/col1/jf1/1 /data/col1/jf2/4
!!!! dd9500 YOUR DATA IS IN DANGER !!!! # cp /data/col1/jf1/2 /data/col1/jf2/5
!!!! dd9500 YOUR DATA IS IN DANGER !!!! # cp /data/col1/jf1/3 /data/col1/jf2/6

Наконец, я создаю новый файл размером 1 Гб в /data/col1/jf2:

!!!! dd9500 YOUR DATA IS IN DANGER !!!! # dd if=/dev/urandom of=/data/col1/jf2/7 bs=1024k count=1024
1024+0 records in
1024+0 records out

Если пренебречь локальным сжатием данных и рассмотреть только дедупликацию, становится ясно, что каждое mtree при записи файлов использовало следующий объем физического пространства:

/data/col1/jf1: 3 Гбит/
с/дата/колонка 1/jf2: 1 Гбайт (для нового файла — скопированные файлы будут дедуплицированы относительно существующих данных, поэтому будут занимать минимум физического пространства).

В результате сумма использованного физического пространства на /data/col1/jf1 и /data/col1/jf2 должен быть около 4 Гбит/с.

Создаются три набора путей PCM:

jf1, содержащий /data/col1/jf1 jf2
, содержащий /data/col1/jf2
, jfall, содержащий данные/col1/jf1 и /data/col1/jf2

Выполняются задания PCM, которые выводят выходные данные следующим образом:

Pathset: jf1
Measurement Time      Logical Used   Physical Used   Global-Comp   Local-Comp       Total-Comp
                        (Pre-Comp)     (Post-Comp)        Factor       Factor           Factor
                             (GiB)           (GiB)                               (Reduction %)
-------------------   ------------   -------------   -----------   ----------   --------------
2015/08/23 12:24:09            3.0             3.2         0.96x        0.98x   0.94x (-6.21%)
-------------------   ------------   -------------   -----------   ----------   --------------


Pathset: jf2
Measurement Time      Logical Used   Physical Used   Global-Comp   Local-Comp       Total-Comp
                        (Pre-Comp)     (Post-Comp)        Factor       Factor           Factor
                             (GiB)           (GiB)                               (Reduction %)
-------------------   ------------   -------------   -----------   ----------   --------------
2015/08/23 12:24:12            4.0             4.2         0.98x        0.98x   0.96x (-4.14%)
-------------------   ------------   -------------   -----------   ----------   --------------

Эти значения верны, так как каждое задание PCM рассматривает только физические данные, на которые ссылаются файлы в соответствующем наборе путей. Это означает, что данные для файлов, которые были скопированы, подсчитываются дважды (один раз каждым заданием PCM).

Может показаться разумным, что для того, чтобы получить общее физическое использование /data/col1/jf1 и /data/col1/jf2 MTree, мы можем суммировать значения 'physical used' из приведенных выше выходных данных.
 

Примечание.: Это дает 7,4 ГБ, что явно неверно (выше было подсчитано, что из-за дедупликации общее использование составит около 4 ГБ).
 

Чтобы получить точное значение общего физического использования /data/col1/jf1 и /data/col1/jf2, необходимо запустить одно задание PCM, охватывающее оба этих MTree (т.е. использовать jfall). Это гарантирует, что дублирующиеся сегменты учитываются только один раз, а не дважды, как в примере выше, то есть:

Pathset: jfall
Measurement Time      Logical Used   Physical Used   Global-Comp   Local-Comp       Total-Comp
                        (Pre-Comp)     (Post-Comp)        Factor       Factor           Factor
                             (GiB)           (GiB)                               (Reduction %)
-------------------   ------------   -------------   -----------   ----------   --------------
2015/08/23 12:23:06            7.0             4.2         1.70x        0.98x   1.67x (40.24%)
-------------------   ------------   -------------   -----------   ----------   --------------

Таким образом, выходные данные нескольких заданий PCM не могут быть суммированы для точного физического использования набора наборов путей/mtree. Вместо этого должен быть определен один набор путей PCM, охватывающий все необходимые mtree/каталоги, так как это гарантирует, что дублирующиеся данные будут учтены только один раз. Если, например, этого не сделать и для каждого mtree в системе будет выполнено отдельное задание PCM, то при суммировании результатов вполне возможно, что общая используемая физическая емкость превысит необработанную емкость системы.

Могут ли задания PCM отправляться только DDSH командной строки или можно использовать пользовательский интерфейс?
В этом документе интерфейс командной строки Data Domain (DDSH) используется для настройки, отправки и проверки заданий PCM.
 

Примечание.: PCM также может использоваться в пользовательском интерфейсе Data Domain Enterprise Manager или System Manager.
 
Примечание.: Интерфейс DDSH не может содержать не более 256 символов в любой команде. В результате, если задания PCM должны быть настроены по пути с длинным именем каталога, может быть полезно (или даже обязательно) использовать один из доступных пользовательских интерфейсов.

Affected Products

Data Domain, DD OS

Products

Data Domain
Article Properties
Article Number: 000058798
Article Type: How To
Last Modified: 05 Dec 2024
Version:  6
Find answers to your questions from other Dell users
Support Services
Check if your device is covered by Support Services.