Data Domain: O uso de espaço na coleta de dados ultrapassou o limite

ddboost@prdctdd50# alerts show current
Id      Post Time                  Severity   Class        Object          Message
-----   ------------------------   --------   ----------   -------------   ----------------------------------------------------------------------------
p0-69   Fri Jun  2 20:36:00 2017   CRITICAL   Filesystem   FilesysType=2   EVT-SPACE-00004: Space usage in Data Collection has exceeded 100% threshold.
-----   ------------------------   --------   ----------   -------------   ----------------------------------------------------------------------------
There is 1 active alert.
ddboost@prdctdd50# df -kh
 
Active Tier:
Resource           Size GiB    Used GiB   Avail GiB   Use%   Cleanable GiB*
----------------   --------   ---------   ---------   ----   --------------
/data: pre-comp           -   1678028.9           -      -                -
/data: post-comp   165663.3    165663.3         0.0   100%          28605.6
/ddvar                 47.2        10.5        34.3    23%                -
/ddvar/core           984.3       368.6       565.7    39%                -
----------------   --------   ---------   ---------   ----   --------------

• Os backups não estão expirando, e o DD contém muitos arquivos antigos.
• O DD contém muitos arquivos pequenos.
• O DD é uma origem da replicação de conjuntos.
• Os snapshots de Mtree estão retendo dados.
• Um grande atraso de replicação faz com que os dados não sejam removidos durante a limpeza.
• O usuário incluiu dados no DD em nível máximo.

Siga as etapas abaixo para resolver o problema.

1. Veja se há muito volume que pode ser removido. Se houver, inicie uma limpeza manual para recuperar o espaço.

2. Os backups não estão expirando. O DD contém muitos arquivos antigos.

• Verifique a política atual de retenção definida no software de backup.
• Consulte os logs autosupport mais recentes na seção Distribuição de arquivos.

Distribuição de arquivos

-----------------
59,343 files in 243 directories

                          Count                         Space
               -----------------------------   --------------------------
         Age         Files       %    cumul%        GiB       %    cumul%
   ---------   -----------   -----   -------   --------   -----   -------
       1 day         1,486     2.5       2.5     6447.1     0.9       0.9
      1 week         7,477    12.6      15.1    74390.0    10.1      11.0
     2 weeks        12,183    20.5      35.6    94039.1    12.8      23.7
     1 month        13,050    22.0      57.6   134241.0    18.2      41.9
    2 months         3,432     5.8      63.4   111922.9    15.2      57.1
    3 months         2,417     4.1      67.5    51673.8     7.0      64.1
    6 months         2,562     4.3      71.8   154479.7    21.0      85.1
      1 year         2,806     4.7      76.5    35099.5     4.8      89.8
    > 1 year        13,930    23.5     100.0    74979.7    10.2     100.0
   ---------   -----------   -----   -------   --------   -----   -------

• Se a política foi alterada recentemente, pode ser que existam arquivos que foram incluídos com a política antiga de retenção. Expire os backups antigos manualmente no software de backup.
• Se a política de retenção e a distribuição de arquivos estiverem de acordo com o esperado, prossiga.

3. O DD contém muitos arquivos pequenos.

O Data Domain File System foi projetado para segmentar a ingestão de dados em segmentos de 4 KB a 12 KB a fim de desduplicar esses segmentos. Os arquivos com menos de 12 KB podem acabar ocupando mais espaço no DD do que ocupariam no armazenamento normal. Se houver muitos arquivos de 10 KB ou menos, isso poderá afetar o uso do armazenamento.

Verifique isso nos logs autosupport do DD. O histograma de arquivos pequenos segue esta distribuição de arquivos:

                          Count                         Space
               -----------------------------   --------------------------
        Size         Files       %    cumul%        GiB       %    cumul%
   ---------   -----------   -----   -------   --------   -----   -------
       1 KiB             8     0.0       0.0        0.0     0.0       0.0
      10 KiB        32,792    25.1      25.1        0.2     0.0       0.0
     100 KiB        32,774    25.1      50.2        2.0     0.0       0.0
     500 KiB        10,607     8.1      58.3        2.3     0.0       0.0
       1 MiB         1,653     1.3      59.6        1.2     0.0       0.0
       5 MiB         8,036     6.2      65.7       17.5     0.0       0.0
      10 MiB         2,377     1.8      67.6       15.6     0.0       0.0
      50 MiB         6,680     5.1      72.7      152.1     0.0       0.0
     100 MiB         1,153     0.9      73.5       72.1     0.0       0.0
     500 MiB           517     0.4      73.9      120.5     0.0       0.0
       1 GiB           322     0.2      74.2      233.4     0.0       0.0
       5 GiB         1,432     1.1      75.3     3767.4     0.2       0.2
      10 GiB           581     0.4      75.7     4416.6     0.2       0.4
      50 GiB        23,715    18.2      93.9   606656.4    28.3      28.7
     100 GiB         3,999     3.1      96.9   272684.4    12.7      41.4
     500 GiB         3,456     2.6      99.6   982062.1    45.8      87.2
   > 500 GiB           536     0.4     100.0   268000.0    12.5      99.7
   ---------   -----------   -----   -------   --------   -----   -------

Se esse for o motivo, a Dell Technologies recomenda configurar o procedimento de backup para que os arquivos pequenos sejam incluídos raramente. Altere a metodologia de backup para incluir todos os arquivos pequenos em um só arquivo maior (como um arquivo .tar ou .gz) antes de gravá-los no DD.

4. Os snapshots de Mtree estão retendo dados.

• Verifique se há algum snapshot antigo não expirado ou expirado que esteja retendo dados. Para todos os Mtrees, execute o comando:

# snapshot list mtree /data/col1/<Mtree_name>

• Se ainda forem encontrados snapshots antigos e que estejam retendo dados, verifique se é possível expirá-los. Em caso afirmativo, expire os snapshots.

# snapshot expire <snapshot_name> mtree /data/col1/<Mtree_name>

• Inicie e interrompa a limpeza para remover esses snapshots expirados:

# filesys clean start
# filesys clean stop

• Verifique se os snapshots foram removidos para os MTrees cujos snapshots foram expirados:

# snapshot list mtree /data/col1/<Mtree_name>

• Se o snapshot ainda estiver lá, siga o artigo Data Domain: MTree_replication Snapshot not getting deleted.

5. Um grande atraso de replicação faz com que os dados não sejam removidos durante a limpeza.

• Verifique se há alguma replicação configurada no DD executando o comando:

# replication show config

• Verifique se há um alerta para atraso de replicação ou horário de sincronização no DD executando o comando:

# alerts show current

• Verifique se há algum volume removível no resultado do comando:

# df

• Se houver um grande atraso de replicação, divida o par e inicie a limpeza para recuperar o espaço no DD. Quando terminar, sincronize a replicação novamente.
• Consulte Data Domain - Break and Resync Directory Replication para interromper e ressincronizar a replicação do diretório.

6. O usuário incluiu dados no DD em nível máximo.

Se nenhuma das causas estiver ocorrendo, isso significará que o espaço do DD está cheio em sua capacidade máxima e o usuário deverá adicionar mais armazenamento ao DD.

Para obter mais informações, assista a este vídeo: