Домен даних: Використання простору у зборі даних перевищило поріг

ddboost@dd# alerts show current
Id      Post Time                  Severity   Class        Object          Message
-----   ------------------------   --------   ----------   -------------   ----------------------------------------------------------------------------
p0-69   Fri Jun  2 20:36:00 2017   CRITICAL   Filesystem   FilesysType=2   EVT-SPACE-00004: Space usage in Data Collection has exceeded 100% threshold.
-----   ------------------------   --------   ----------   -------------   ----------------------------------------------------------------------------
There is 1 active alert.
ddboost@dd# df -kh
 
Active Tier:
Resource           Size GiB    Used GiB   Avail GiB   Use%   Cleanable GiB*
----------------   --------   ---------   ---------   ----   --------------
/data: pre-comp           -   1678028.9           -      -                -
/data: post-comp   165663.3    165663.3         0.0   100%          28605.6
/ddvar                 47.2        10.5        34.3    23%                -
/ddvar/core           984.3       368.6       565.7    39%                -
----------------   --------   ---------   ---------   ----   --------------

• Резервні копії не прострочені, а DD містить багато старих файлів.
• DD містить величезну кількість невеликих файлів.
• DD є джерелом реплікації колекцій.
• Mtree Snapshots зберігають дані.
• Затримка реплікації призводить до того, що дані не видаляються під час очищення.
• Дані поглинаються в DD на максимальному рівні.

Дотримуйтесь наведених нижче кроків для усунення проблеми.

1. Подивіться, чи є велика кількість придатного для очищення. Якщо так, почніть ручне очищення, щоб відновити місце.

2. Резервні копії не прострочені. DD містить багато старих файлів.

• Перевірте поточну політику збереження в програмному забезпеченні резервного копіювання.
• Перевірте в розділі «Розповсюдження файлів» для останніх логів автопідтримки.

Розподіл файлів

-----------------
59,343 files in 243 directories

                          Count                         Space
               -----------------------------   --------------------------
         Age         Files       %    cumul%        GiB       %    cumul%
   ---------   -----------   -----   -------   --------   -----   -------
       1 day         1,486     2.5       2.5     6447.1     0.9       0.9
      1 week         7,477    12.6      15.1    74390.0    10.1      11.0
     2 weeks        12,183    20.5      35.6    94039.1    12.8      23.7
     1 month        13,050    22.0      57.6   134241.0    18.2      41.9
    2 months         3,432     5.8      63.4   111922.9    15.2      57.1
    3 months         2,417     4.1      67.5    51673.8     7.0      64.1
    6 months         2,562     4.3      71.8   154479.7    21.0      85.1
      1 year         2,806     4.7      76.5    35099.5     4.8      89.8
    > 1 year        13,930    23.5     100.0    74979.7    10.2     100.0
   ---------   -----------   -----   -------   --------   -----   -------

Якщо файли, старші за тривалість, встановлену в поточній політиці збереження, знаходяться в DD, перевірте у програмному забезпеченні резервного копіювання, оскільки файли не закінчуються відповідно до політики.

• Якщо політику нещодавно змінили, тоді файли, які були отримані за старою політикою збереження, можуть бути присутні. Завантажте старі резервні копії вручну з програмного забезпечення резервного копіювання.
• Якщо політика збереження та розподіл файлів відповідають очікуванням, тоді рухайтеся далі.

3. DD містить величезну кількість невеликих файлів.

Data Domain File System розроблена для сегментації вхідних даних на сегменти від 4 КБ до 12 КБ для дедуплікації цих сегментів. Файли розміром менше 12 КБ можуть займати більше місця на DD, ніж на звичайному сховищі. Якщо багато файлів розміром 10 КБ або менше, це може вплинути на використання сховища.

Перевірте це в логах автопідтримки DD. Гістограма малих файлів наведена у розділі File Distribution:

                          Count                         Space
               -----------------------------   --------------------------
        Size         Files       %    cumul%        GiB       %    cumul%
   ---------   -----------   -----   -------   --------   -----   -------
       1 KiB             8     0.0       0.0        0.0     0.0       0.0
      10 KiB        32,792    25.1      25.1        0.2     0.0       0.0
     100 KiB        32,774    25.1      50.2        2.0     0.0       0.0
     500 KiB        10,607     8.1      58.3        2.3     0.0       0.0
       1 MiB         1,653     1.3      59.6        1.2     0.0       0.0
       5 MiB         8,036     6.2      65.7       17.5     0.0       0.0
      10 MiB         2,377     1.8      67.6       15.6     0.0       0.0
      50 MiB         6,680     5.1      72.7      152.1     0.0       0.0
     100 MiB         1,153     0.9      73.5       72.1     0.0       0.0
     500 MiB           517     0.4      73.9      120.5     0.0       0.0
       1 GiB           322     0.2      74.2      233.4     0.0       0.0
       5 GiB         1,432     1.1      75.3     3767.4     0.2       0.2
      10 GiB           581     0.4      75.7     4416.6     0.2       0.4
      50 GiB        23,715    18.2      93.9   606656.4    28.3      28.7
     100 GiB         3,999     3.1      96.9   272684.4    12.7      41.4
     500 GiB         3,456     2.6      99.6   982062.1    45.8      87.2
   > 500 GiB           536     0.4     100.0   268000.0    12.5      99.7
   ---------   -----------   -----   -------   --------   -----   -------

Якщо це причина, то Dell Technologies рекомендує налаштувати процедуру резервного копіювання так, щоб дрібні файли рідко потрапляли. Змініть методологію резервного копіювання, щоб включити всі малі файли в один більший архів (наприклад, .tar або .gz файл) перед записом їх у DD.

4. Mtree Snapshots зберігають дані.

• Перевірте, чи є старі непрострочені або прострочені знімки, що зберігають дані. Для всіх Mtree виконайте команду:

# snapshot list mtree /data/col1/<Mtree_name>

• Якщо знайдуться старі знімки, які досі зберігаються і зберігають дані, перевірте, чи можна їх прострочити. Якщо так, термін дії знімків закінчується.
• Якщо існують якісь знімки REPL-MTREE-RESYNC-RESERVE*, реплікація розрив і повторна синхронізація вже виконані. 
  • Ці знімки не закінчуються при звичайному процесі реплікації
  •  Вони мають бути виконані ручно, коли вони більше не потрібні, інакше термін збереження становить один рік.

# snapshot expire <snapshot_name> mtree /data/col1/<Mtree_name>

• Починайте і припиніть очищення, щоб видалити ці прострочені знімки:

# filesys clean start

# filesys clean stop

• Перевірте, чи видалені знімки для Mtree, для яких знімки були прострочені:

# snapshot list mtree /data/col1/<Mtree_name>

• Якщо знімок все ще присутній, дотримуйтесь Домену даних: Неможливо видалити знімок, заблокований контекстом реплікації

5. Велика затримка реплікації призводить до того, що дані не видаляються під час очищення.

• Перевірте, чи є налаштована реплікація в DD, виконавши команду:

# replication show config

• Перевірте, чи є сповіщення про затримку реплікації або синхронізацію за час у DD, виконавши команду:

# alerts show current

• Перевірте, чи є якийсь очищувальний розмір у вихідному виконанні команди:

# df

• Якщо є велика затримка реплікації, розірви пару і починай очищення, щоб зайняти простір у DD. Після завершення синхронізуйте реплікацію знову.
• Домен референсних даних — розрив і повторна синхронізація реплікації каталогу для розриву та повторної синхронізації реплікації каталогу.

6. Дані були введені в DD на максимальному рівні.

Якщо всі вищезазначені причини тут не відбуваються, тоді простір у DD заповнений на максимальній ємності, і користувач повинен додати більше пам'яті в DD.

Для отримання додаткової інформації зверніться до цього відео: