Data Domain. Часто задаваемые вопросы о сжатии

Summary: В этой статье приведены ответы на наиболее часто задаваемые вопросы о сжатии. Домены Data Domain не зависят от типа данных. Data Domain использует алгоритмы сжатия, которые создают резервные копии только уникальных данных — дублирующиеся шаблоны или несколько резервных копий сохраняются только один раз. ...

This article applies to This article does not apply to This article is not tied to any specific product. Not all product versions are identified in this article.
Check out other resources

Instructions

Содержание

|
 
Типичная частота сжатия составляет 20:1 в течение многих недель ежедневного и инкрементного резервного копирования. Тип данных влияет на степень сжатия — сжатые файлы изображений, базы данных и сжатые архивы (например, файлы .zip) сжимаются плохо.
 

Используется ли одно и то же дисковое пространство для инкрементного и полного резервного копирования?

В идеале это верно. На практике полное резервное копирование занимает немного больше места, чем инкрементное, по следующим причинам. Эти причины также объясняют, почему полное резервное копирование после отсутствия изменений в данных по-прежнему потребляет положительный объем пространства.
  • Метаданные занимают около 0,5% логического размера резервной копии. Предположим, что:
    • Логический размер полного файла составляет 100 Гбайт
    • Логический размер инкремента составляет 2 Гбайт
    • Инкрементное сжатие до 1 Гбайт
    • ... то полный занимает не менее 1.5 ГБ
  • Модуль сжатия DD перезаписывает некоторые дублирующиеся сегменты данных для повышения производительности. Чем хуже расположения данных изменений, тем больше дубликатов записывается. Затем дубликаты удаляются сборщиком мусора (GC) файловой системы. В некоторых случаях около 2% логического размера перезаписывается как дубликат. При таком уровне дубликатов полный объем может занять 1 Гбайт (сжатые) + 0,5 Гбайт (метаданные) + 2 Гбайт (дубликаты) = 3,5 Гбайт. Объемом записанных дубликатов можно управлять при помощи системного параметра, но обычно мы пропускаем его настройку в поле.
  • Сегментация данных может немного отличаться в разных резервных копиях в зависимости от порядка отправки данных клиентом NFS. Этот порядок не является детерминированным. В целом алгоритм сегментации допускает сдвиги и переупорядочивание. Тем не менее, он также создает некоторые «вынужденные» сегменты, которые склонны к сдвигам и переупорядочиванию. Как правило, около 0,2% сегментов являются принудительными, поэтому можно ожидать гораздо большего использования пространства.
 

Зачем делать 'filesys show space' и 'filesys show compression' показать разные цифры?

  • 'filesys show space' обеспечивает степень сжатия, основанную на логическом размере хранимых данных и дисковом пространстве, занятом на момент выполнения команды.
  • 'filesys show compression' обеспечивает коэффициент сжатия на основе того, как был сжат каждый файл во время его создания.
  • 'filesys show compression' используется в основном для поддержки и отладки. При наличии операций удаления файлов 'filesys show compression' завышает степень сжатия.
 
Например, предположим, что:
  • Первая полная резервная копия получает 2-кратное сжатие
  • Последующее полное резервное копирование без каких-либо изменений данных сжимается в 200 раз
  • Первая полная резервная копия удаляется
Выходные данные 'filesys show space' покажет степень сжатия 2x, в то время как 'filesys show compression' будет показывать коэффициент сжатия 200x, потому что единственный файл, который существует сейчас, имел коэффициент сжатия 200x при его создании.
 
В приведенном выше примере после второго резервного копирования 'filesys show space' покажет кумулятивный коэффициент около 4x. Кумулятивный коэффициент асимптотически улучшится в направлении 200x, если продолжить работу с большим количеством резервных копий без удаления.
 
Есть и другие незначительные отличия. Метод 'filesys show compression' команда:
  • Не учитывает потери на уровне контейнера, что еще больше завышает степень сжатия
  • Не учитывает устранение дубликатов с помощью глобального сжатия, что приводит к недооценке коэффициента сжатия
  • Может предоставлять информацию по файлам или каталогам, в то время как 'filesys show space' ограничено всей системой
  • Предоставляет разбивку между глобальным и локальным сжатием, в то время как 'filesys show space' не
 

Почему 'filesys show compression last 24 hours' не соответствуют ожиданиям от VTL?

Для виртуальной ленточной библиотеки выходные данные таких команд, как 'filesys show compression last 24 hours' часто не соответствует ожиданиям, основанным на других источниках, таких как 'system show performance'.
 
Проблема возникает из-за особенности в 'filesys show compression'. В целом, он показывает кумулятивную статистику в выбранных файлах. Спецификатор «последние 24 часа» выбирает файлы, которые были обновлены за последние 24 часа. Статистика по-прежнему накапливается с момента создания или последнего усечения файла до нулевого размера. Таким образом, если файл был добавлен в течение последних 24 часов, 'filesys show compression last 24 hours' показывает его совокупную статистику до последних 24 часов.
 
Файлы резервного копирования в средах, отличных от виртуальной ленточной библиотеки, записываются только один раз, поэтому разница между обновляемыми и созданными файлами невелика. При использовании виртуальной ленточной библиотеки резервные копии можно добавлять к существующим ленточным файлам. Например, рассмотрим ленту емкостью 100 Гбайт, которая заполнена до 50 Гбайт. Если за последние 24 часа на эту ленту было добавлено 10 Гбайт данных, то «filesys show compression last 24 hours' покажет "Исходные байты" файла, записанные на 60 ГБ.
 

Как рассчитывается совокупный коэффициент сжатия?

Отдельные коэффициенты сжатия не складываются линейно.
 
Предположим, что сжатие в первом полном резервном копировании составляет 2x, а во втором полном резервном копировании — 20x. Кумулятивное сжатие не (2 + 20) / 2 = 11xНо 2 / (1/2 + 1/20) = 3.64x.
 
Как правило, более низкие коэффициенты сжатия оказывают большее влияние на совокупный коэффициент сжатия, чем более высокие.
 
Предположим, что ith Резервная копия имеет логический размер si и степень сжатия ci. Тогда кумулятивная степень сжатия для k Резервные копии можно рассчитать следующим образом: 
C = (total logical size)/(total space used)
total logical size = s1 + s2 + .. + sk
total space used = s1/c1 + s2/c2 + ... + sk/ck
 
Часто логические размеры примерно одинаковы. В этом случае приведенный выше расчет упрощает выполнение следующих задач:
C = k / (1/c1 + 1/c2 + ... + 1/ck)
 
Например, если:
  • Первая полная резервная копия получает 3-кратное сжатие
  • Каждый последующий полный получает 30-кратное сжатие
  • Срок хранения составляет 30 дней

Пользователь видит кумулятивное сжатие 30 / (1/3 + 29/30)или 23x.

 

Как работает сжатие Data Domain?

На этот вопрос подробно отвечает отдельная статья: Понимание сжатия Data Domain
 

Поддерживает ли Data Domain мультиплексирование?

Мультиплексирование данных из приложения резервного копирования приводит к очень низкой глобальной дедупликации. Подробнее см. в статье: Data Domain. Мультиплексирование в ПО для резервного копирования
 

Почему при репликации каталогов 1 к 1 реплика показывает лучшее глобальное сжатие?

Как правило, это происходит из-за различий в уровне повторяющихся сегментов, записанных в системе:
  • Данные, хранящиеся в источнике, были дедуплицированы один раз — по сравнению с предыдущими данными, хранящимися в источнике.
  • Данные, переданные по сети, были дедуплицированы один раз - по сравнению с данными, хранящимися в реплике.
  • Данные, хранящиеся в реплике, дедуплицировались дважды: один раз при передаче данных по проводной сети и еще раз при записи полученных данных в реплику.
Поскольку в процессе дедупликации некоторые дубликаты сохраняются, данные, дедуплицированные несколько раз, имеют меньше дубликатов. Данные, хранящиеся в исходной системе и передаваемые по проводной сети, дедуплицируются один раз, поэтому они примерно одинаковы, при условии, что данные, хранящиеся в исходной системе, и реплика одинаковы. Данные, хранящиеся в реплике, дедуплицируются дважды, поэтому они сжаты лучше.
 
При очистке файловой системы удаляется большая часть дубликатов. Таким образом, после выполнения очистки исходной системы и реплики объем хранящихся в них данных должен быть примерно одинаковым.
 

Как меняется сжатие при использовании lz, gzfastи gz Настройки локального сжатия?

Используйте следующую команду, чтобы изменить алгоритм локального сжатия, используемый в Data Domain:
filesys option set compression {none | lz | gzfast | gz}
 
Примечание. Перед изменением типа локального сжатия необходимо завершить работу файловой системы. Затем ее можно перезапустить сразу после установки параметра сжатия.
 
В общем случае порядок сжатия следующий:
lz < gzfast < gz
 
Введите Ожидаемое комп. Нагрузка на ЦП
нет 1x 0х
Lz В 2 раза 1x
ГЗФАСТ В 2,5 раза В 2 раза
Gz В 3 раза 5x
 
Приблизительная разница:
  • lz to gzfast обеспечивает ~15% лучшее сжатие и потребляет в 2 раза больше ресурсов ЦП
  • lz to gz обеспечивает ~30% лучшее сжатие и потребляет в 5 раз больше ресурсов ЦП
  • gzfast to gz дает на ~10-15% лучшее сжатие
Обратите внимание, что изменение локального сжатия сначала влияет на новые данные, записанные в Data Domain, после внесения изменений. Старые данные сохраняют прежний формат сжатия до следующего цикла очистки. Следующий цикл очистки копирует все старые данные в новый формат сжатия. Это приводит к тому, что очистка выполняется намного дольше и потребляет больше ресурсов ЦП.
 
Если система уже занята низким уровнем ресурсов ЦП, особенно если резервное копирование и репликация выполняются одновременно, это может замедлить резервное копирование и. Заказчик может выразить явное желание зарезервировать время для выполнения этого преобразования.

Additional Information

Ссылки на знания:

Affected Products

Data Domain

Products

Data Domain
Article Properties
Article Number: 000022100
Article Type: How To
Last Modified: 24 Apr 2026
Version:  12
Find answers to your questions from other Dell users
Support Services
Check if your device is covered by Support Services.