Data Domain. Использование пространства в коллекции данных превысило пороговое значение.

ddboost@dd# alerts show current
Id      Post Time                  Severity   Class        Object          Message
-----   ------------------------   --------   ----------   -------------   ----------------------------------------------------------------------------
p0-69   Fri Jun  2 20:36:00 2017   CRITICAL   Filesystem   FilesysType=2   EVT-SPACE-00004: Space usage in Data Collection has exceeded 100% threshold.
-----   ------------------------   --------   ----------   -------------   ----------------------------------------------------------------------------
There is 1 active alert.
ddboost@dd# df -kh
 
Active Tier:
Resource           Size GiB    Used GiB   Avail GiB   Use%   Cleanable GiB*
----------------   --------   ---------   ---------   ----   --------------
/data: pre-comp           -   1678028.9           -      -                -
/data: post-comp   165663.3    165663.3         0.0   100%          28605.6
/ddvar                 47.2        10.5        34.3    23%                -
/ddvar/core           984.3       368.6       565.7    39%                -
----------------   --------   ---------   ---------   ----   --------------

• Срок действия резервных копий не истекает, и DD содержит много старых файлов.
• DD содержит огромное количество небольших файлов.
• DD является источником репликации коллекции.
• Снимки MTree содержат данные.
• Из-за задержки репликации данные не удаляются во время очистки.
• Данные поступили в DD на максимальном уровне.

Для устранения проблемы выполните описанные ниже действия.

1. Посмотрите, есть ли большое пространство, доступное для очистки. Если да, запустите очистку вручную, чтобы освободить место.

2. Срок действия резервных копий не истекает. DD содержит много старых файлов.

• Проверьте текущую политику хранения, заданную в ПО для резервного копирования.
• В разделе распределение файлов можно просмотреть последние журналы Autosupport.

Распределение файлов

-----------------
59,343 files in 243 directories

                          Count                         Space
               -----------------------------   --------------------------
         Age         Files       %    cumul%        GiB       %    cumul%
   ---------   -----------   -----   -------   --------   -----   -------
       1 day         1,486     2.5       2.5     6447.1     0.9       0.9
      1 week         7,477    12.6      15.1    74390.0    10.1      11.0
     2 weeks        12,183    20.5      35.6    94039.1    12.8      23.7
     1 month        13,050    22.0      57.6   134241.0    18.2      41.9
    2 months         3,432     5.8      63.4   111922.9    15.2      57.1
    3 months         2,417     4.1      67.5    51673.8     7.0      64.1
    6 months         2,562     4.3      71.8   154479.7    21.0      85.1
      1 year         2,806     4.7      76.5    35099.5     4.8      89.8
    > 1 year        13,930    23.5     100.0    74979.7    10.2     100.0
   ---------   -----------   -----   -------   --------   -----   -------

Если в DD обнаружены файлы, срок действия которых превышает установленный в текущей политике хранения, обратитесь к программному обеспечению для резервного копирования, так как срок действия этих файлов не истекает в соответствии с политикой.

• Если политика была недавно изменена, в нее могут входить файлы, которые были приняты с использованием старой политики хранения. Завершите срок действия старых резервных копий вручную из ПО для резервного копирования.
• Если политика хранения и распределение файлов соответствуют ожиданиям, перейдите далее.

3. DD содержит огромное количество небольших файлов.

Файловая система Data Domain предназначена для получения данных сегментами размером от 4 до 12 Кбайт для дедупликации этих сегментов. Файлы размером менее 12 КБ могут занимать больше места в DD, чем в обычной системе хранения. Если размер файлов не более 10 КБ, это может повлиять на использование хранилища.

Проверьте это в журналах автоматической поддержки DD. Гистограмма небольших файлов находится в разделе «File Distribution»:

                          Count                         Space
               -----------------------------   --------------------------
        Size         Files       %    cumul%        GiB       %    cumul%
   ---------   -----------   -----   -------   --------   -----   -------
       1 KiB             8     0.0       0.0        0.0     0.0       0.0
      10 KiB        32,792    25.1      25.1        0.2     0.0       0.0
     100 KiB        32,774    25.1      50.2        2.0     0.0       0.0
     500 KiB        10,607     8.1      58.3        2.3     0.0       0.0
       1 MiB         1,653     1.3      59.6        1.2     0.0       0.0
       5 MiB         8,036     6.2      65.7       17.5     0.0       0.0
      10 MiB         2,377     1.8      67.6       15.6     0.0       0.0
      50 MiB         6,680     5.1      72.7      152.1     0.0       0.0
     100 MiB         1,153     0.9      73.5       72.1     0.0       0.0
     500 MiB           517     0.4      73.9      120.5     0.0       0.0
       1 GiB           322     0.2      74.2      233.4     0.0       0.0
       5 GiB         1,432     1.1      75.3     3767.4     0.2       0.2
      10 GiB           581     0.4      75.7     4416.6     0.2       0.4
      50 GiB        23,715    18.2      93.9   606656.4    28.3      28.7
     100 GiB         3,999     3.1      96.9   272684.4    12.7      41.4
     500 GiB         3,456     2.6      99.6   982062.1    45.8      87.2
   > 500 GiB           536     0.4     100.0   268000.0    12.5      99.7
   ---------   -----------   -----   -------   --------   -----   -------

Если это является причиной, Dell Technologies рекомендует настроить процедуру резервного копирования, чтобы небольшие файлы вводились редко. Измените методологию резервного копирования, чтобы включить все небольшие файлы в один большой архив (например, файл .tar или .gz), прежде чем записывать их в DD.

4. Снимки MTree содержат данные.

• Проверьте наличие старых непросроченных или просроченных снимков, в которых хранятся данные. Для всех MTree выполните команду:

# snapshot list mtree /data/col1/<Mtree_name>

• Если найдены старые снимки, которые по-прежнему присутствуют и содержат данные, проверьте, можно ли завершить срок их действия. Если да, завершите срок действия снимков.
• Если имеются какие-либо моментальные снимки REPL-MTREE-RESYNC-RESERVE*, это означает, что репликация прервана и выполнена повторная синхронизация. 
  • Срок действия этих снимков не истекает в ходе обычного процесса репликации
  •  Срок их действия должен истекать вручную, когда они больше не нужны, в противном случае срок хранения составляет один год.

# snapshot expire <snapshot_name> mtree /data/col1/<Mtree_name>

• Запустите и остановите очистку, чтобы удалить эти просроченные снимки:

# filesys clean start

# filesys clean stop

• Убедитесь, что моментальные снимки удалены для MTree, для которых истек срок действия моментальных снимков:

# snapshot list mtree /data/col1/<Mtree_name>

• Если снимок все еще существует, следуйте инструкциям в статье Data Domain. Невозможно удалить моментальный снимок, заблокированный контекстом репликации

5. Большая задержка репликации приводит к тому, что данные не удаляются во время очистки.

• Проверьте, настроена ли репликация в DD, выполнив команду:

# replication show config

• Проверьте, есть ли в DD оповещение о задержке репликации или времени синхронизации как времени, выполнив команду:

# alerts show current

• Проверьте, есть ли в выходных данных команды емкость, которую можно очистить:

# df

• Если наблюдается значительная задержка репликации, разорвите сопряжение и начните очистку, чтобы освободить пространство в DD. По завершении выполните повторную синхронизацию репликации.
• См. Data Domain. Отключение и повторная синхронизация репликации каталога, чтобы отключить и повторно синхронизировать репликацию каталогов.

6. Данные были приняты в DD на максимальном уровне.

Если все перечисленные выше причины не возникают, то пространство в DD заполнено на максимальную емкость, и пользователю необходимо добавить в DD дополнительные ресурсы хранения.

Для получения дополнительной информации см. следующее видео.