Data Domain. Невозможно удалить моментальный снимок, заблокированный контекстом репликации

Summary: Найден моментальный снимок, созданный много лет назад и сохранившийся, несмотря на истекший срок его действия. Невозможно удалить, так как он мягко заблокирован

This article applies to This article does not apply to This article is not tied to any specific product. Not all product versions are identified in this article.
Check out other resources

Symptoms

- Снимок, созданный много лет назад, все еще сохраняется, хотя и помечен как уже истекший:

ddboost@dd02# snapshot list mtree /data/col1/avamar-1493130520
Snapshot Information for MTree: /data/col1/avamar-1493130520
----------------------------------------------
Name                Pre-Comp (GiB)   Create Date         Retain Until        Status
-----------------   --------------   -----------------   -----------------   -------
cp.20250309131143         213612.6   Mar  9 2025 07:13   Mar 10 2025 07:39   expired
cp.20250309133359         214727.3   Mar  9 2025 07:34   Mar 10 2025 07:41   expired
cp.20250310131141         207612.0   Mar 10 2025 07:13
cp.20250310133957         208726.9   Mar 10 2025 07:40
cp.20230919134341         403018.8   Sep 19 2023 07:44   Sep 20 2023 07:34   expired 
-----------------   --------------   -----------------   -----------------   -------

- Снимок отображается как программно заблокированный в файле журнала ddfs.info
ПРИМЕЧАНИЕ: Самый простой способ захвата этого файла — использовать scp для его копирования из Data Domain (DD) на другой компьютер Linux. Убедитесь, что у вас под рукой есть учетные данные для входа для использования этого синтаксиса:

admin@anylinuxmachine:~/>: scp dd_username@dd_hostname:/ddr/var/log/debug/ddfs.info .

 

admin@anylinuxmachine:~/>: grep "cp.20230919134341" ddfs.info
03/11 05:54:20.569 (tid 0x7fb71d0e6f10): rmsnapshot: mid=1583172823 s_name=cp.20230919134341.
03/11 05:54:20.569 (tid 0x7fb71d0e6f10): _dm_rmsnapshot: snapshot 'cp.20230919134341' is softlocked.

- В оповещении Data Domain отображалось одно оповещение, связанное с одним контекстом репликации, не синхронизировано:

ddboost@dd02# alerts show current
Id      Post Time                Severity Class       Object             Message															
------- ------------------------ -------- ----------- ------------------ ----------------------------------------------------------------
p0-924  Tue Nov 28 09:35:07 2023 CRITICAL Network     Interface Index=11 EVT-NETM-00001: Network interface connectivity is down on ethMc.
m0-1971 Mon Mar 10 06:56:36 2025 WARNING  Replication context=1          EVT-REPL-00006: Sync-as-of time is more than 13109 hours ago.
------- ------------------------ -------- ----------- ------------------ ----------------------------------------------------------------
There are 2 active alerts.

- Перечислив контексты репликации в источнике репликации Data Domain, можно получить подробные сведения об этом контексте #1.
- Контекст репликации #1 должен содержать ссылки на mtree, в котором содержится моментальный снимок с мягкой блокировкой.

avamar@dd02# replication show config
CTX Source                                                 	   Destination                                               	 Connection                        
																															 Host and Port                     
--- ---------------------------------------------------------- ------------------------------------------------------------- ------------------------------------- 
1   mtree://dd02.yourdomain.com.br/data/col1/avamar-1493130520 mtree://ddvault.yourdomain.com.br/data/col1/avamar-1493130520 ddvault.yourdomain.com.br   (default) 
2   mtree://dd02.yourdomain.com.br/data/col1/SysDR_ppmsv01     mtree://ddvault02.vault/data/col1/SysDR_ppmsv01               ddvault02.vault         	 (default) 
3   mtree://dd02.yourdomain.com.br/data/col1/SysDR_ppmsv01     mtree://ddvault02.vault/data/col1/SysDR_ppmsv01repl           ddvault02.vault         	 (default) 
4   mtree://dd02.yourdomain.com.br/data/col1/SysDR_ppmsv02     mtree://dd03.yourdomain.com.br/data/col1/SysDR-R_ppmsv02      dd03.yourdomain.com.br      (default) 
5   mtree://dd02.yourdomain.com.br/data/col1/MtreeVault        mtree://ddvault02.vault/data/col1/Mtreevaultdest          	 ddvault02.vault         	 (default) 
6   mtree://dd02.yourdomain.com.br/data/col1/avamar-1493130520 mtree://ddvault02.vault/data/col1/avamar-1493130520dest   	 ddvault02.vault         	 (default) 
7   mtree://dd02.yourdomain.com.br/data/col1/CritMtreeVault    mtree://ddvault02.vault/data/col1/CritMtreeVaultDest      	 ddvault02.vault         	 (default) 
8   mtree://dd02.yourdomain.com.br/data/col1/SysDR_ppmsv01     mtree://ddvault02.vault/data/col1/SysDR_ppmsv01dest       	 ddvault02.vault         	 (default) 
--- ---------------------------------------------------------- --------------------------------------------------------- 	 ------------------------------------- 
DD System default Max-repl-streams per context: 32

 

ПРИМЕЧАНИЕ. Во время поиска и устранения неисправностей диагностированного хоста назначения с именем ddvault.yourdomain.com.br больше не существует. Она была выключена и удалена.

Cause

- Старый, но больше не используемый контекст репликации, ссылающийся на mtree, в котором находится моментальный снимок, в исходном Data Domain, удерживал эту мягкую блокировку.
- Data Domain был удален/удален из среды, но контекст репликации, ссылающийся на удаленный Data Domain, не был удален, поэтому он остался позади. 

Resolution

- Нам нужно будет прервать (это процесс удаления этого контекста репликации) из исходного Data Domain репликации.
- Войдите в Data Domain и перечислите конфигурацию репликации, чтобы просмотреть и подтвердить контекст, который нужно разорвать/удалить (в данном примере, контекст #1):

ddboost@dd02# replication show config
CTX Source                                                 	   Destination                                               	 Connection                       
																															 Host and Port                    
--- ---------------------------------------------------------- ------------------------------------------------------------- -------------------------------------
1   mtree://dd02.yourdomain.com.br/data/col1/avamar-1493130520 mtree://ddvault.yourdomain.com.br/data/col1/avamar-1493130520 ddvault.yourdomain.com.br   (default)
2   mtree://dd02.yourdomain.com.br/data/col1/SysDR_ppmsv01     mtree://ddvault02.vault/data/col1/SysDR_ppmsv01           	 ddvault02.vault         	 (default)
3   mtree://dd02.yourdomain.com.br/data/col1/SysDR_ppmsv01     mtree://ddvault02.vault/data/col1/SysDR_ppmsv01repl       	 ddvault02.vault         	 (default)
4   mtree://dd02.yourdomain.com.br/data/col1/SysDR_ppmsv02     mtree://dd03.yourdomain.com.br/data/col1/SysDR-R_ppmsv02      dd03.yourdomain.com.br      (default)
5   mtree://dd02.yourdomain.com.br/data/col1/MtreeVault        mtree://ddvault02.vault/data/col1/Mtreevaultdest          	 ddvault02.vault         	 (default)
6   mtree://dd02.yourdomain.com.br/data/col1/avamar-1493130520 mtree://ddvault02.vault/data/col1/avamar-1493130520dest   	 ddvault02.vault         	 (default)
7   mtree://dd02.yourdomain.com.br/data/col1/CritMtreeVault    mtree://ddvault02.vault/data/col1/CritMtreeVaultDest      	 ddvault02.vault         	 (default)
8   mtree://dd02.yourdomain.com.br/data/col1/SysDR_ppmsv01     mtree://ddvault02.vault/data/col1/SysDR_ppmsv01dest       	 ddvault02.vault         	 (default)
--- ---------------------------------------------------------- ------------------------------------------------------------- -------------------------------------
DD System default Max-repl-streams per context: 32

- Выполните команду, чтобы прервать этот контекст репликации:

ddboost@dd02# replication break rctx://1
The 'replication break' command irrevocably turns off logical
replication from this mtree.  To reconfigure the mtree
for replication, the destination mtree must not exist,
or, alternatively, 'replication resync' must be used.
        Are you sure? (yes|no) [no]: yes
ok, proceeding.
ddboost@dd02#
ПРИМЕЧАНИЕ. Сообщение, отображаемое во время выполнения прерывания, применяется исключительно к удаляемому контексту репликации. Это НЕ влияет на остальные контексты репликации.


- Снова выведите список конфигураций репликации, чтобы убедиться, что контекст репликации #1 исчез:

ddboost@dd02# replication show config
CTX Source                                                 	   Destination                                             	Connection                    
																													    Host and Port                 
--- ---------------------------------------------------------- -------------------------------------------------------- ----------------------------------
2   mtree://dd02.yourdomain.com.br/data/col1/SysDR_ppmsv01     mtree://ddvault02.vault/data/col1/SysDR_ppmsv01         	ddvault02.vault      	 (default)
3   mtree://dd02.yourdomain.com.br/data/col1/SysDR_ppmsv01     mtree://ddvault02.vault/data/col1/SysDR_ppmsv01repl     	ddvault02.vault      	 (default)
4   mtree://dd02.yourdomain.com.br/data/col1/SysDR_ppmsv02     mtree://dd03.yourdomain.com.br/data/col1/SysDR-R_ppmsv02 dd03.yourdomain.com.br   (default)
5   mtree://dd02.yourdomain.com.br/data/col1/MtreeVault        mtree://ddvault02.vault/data/col1/Mtreevaultdest        	ddvault02.vault      	 (default)
6   mtree://dd02.yourdomain.com.br/data/col1/avamar-1493130520 mtree://ddvault02.vault/data/col1/avamar-1493130520dest 	ddvault02.vault      	 (default)
7   mtree://dd02.yourdomain.com.br/data/col1/CritMtreeVault    mtree://ddvault02.vault/data/col1/CritMtreeVaultDest    	ddvault02.vault      	 (default)
8   mtree://dd02.yourdomain.com.br/data/col1/SysDR_ppmsv01     mtree://ddvault02.vault/data/col1/SysDR_ppmsv01dest     	ddvault02.vault      	 (default)
--- ---------------------------------------------------------- -------------------------------------------------------- ----------------------------------
DD System default Max-repl-streams per context: 32

- Убедитесь, что после удаления контекста репликации #1 этот старый снимок автоматически помечается как непросроченный:

ddboost@dd02# snapshot list mtree /data/col1/avamar-1493130520
Snapshot Information for MTree: /data/col1/avamar-1493130520
----------------------------------------------
Name              Pre-Comp (GiB) Create Date        Retain Until      Status
----------------- -------------- -----------------  ----------------- -------
cp.20250317130903       214805.7 Mar 17 2025 07:10  Mar 18 2025 07:32 expired
cp.20250317132705       215924.2 Mar 17 2025 07:28  Mar 18 2025 07:33 expired
cp.20250318131055       215418.1 Mar 18 2025 07:12
cp.20250318133213       216537.6 Mar 18 2025 07:33
cp.20230919134341       403018.8 Sep 19 2023 07:44  Apr  8 2025 13:25			
----------------- -------------- -----------------  ----------------- -------

- Снова пометить этот снимок как просроченный:

ddboost@dd02# snapshot expire cp.20230919134341 mtree /data/col1/avamar-1493130520
Snapshot "cp.20230919134341" for mtree "/data/col1/avamar-1493130520" will be retained until Mar 18 2025 13:30.

ddboost@dd02# snapshot list mtree /data/col1/avamar-1493130520
Snapshot Information for MTree: /data/col1/avamar-1493130520
----------------------------------------------
Name              Pre-Comp (GiB) Create Date       Retain Until      Status
----------------- -------------- ----------------- ----------------- -------
cp.20250318131055       215418.1 Mar 18 2025 07:12
cp.20250318133213       216537.6 Mar 18 2025 07:33
cp.20230919134341       403018.8 Sep 19 2023 07:44 Mar 18 2025 13:30 expired 
----------------- -------------- ----------------- ----------------- -------

- При поиске этого снимка в обновленной копии ddfs.info фиксируется момент, когда программная блокировка снимается:

admin@anylinuxmachine:~/>: grep cp.20230919134341 ddfs.info
03/18 13:25:16.663 (tid 0x7fb7969b2b40): updatesnapshot: mid=1583172823 m_name=avamar-1493130520 sid=35512 name=cp.20230919134341 retention is changed from 1741692419 to 1744140316 err :0
03/18 13:25:16.666 (tid 0x7fb7969b2b40): mrepl_snap_deref deref name=cp.20230919134341 (1583172823:35512) 1 -> 0
03/18 13:25:16.669 (tid 0x7fb7969b2b40): repl ctx 1: mrepl_protect_new_base deref'ing base cp.20230919134341 Not Referenced, USER
03/18 13:25:18.680 (tid 0x7fb7969b2b40): repl ctx: mrepl_snap_ref_cleanup Unsoftlocking snapshot name=cp.20230919134341 (1583172823:35512) 
03/18 13:30:41.710 (tid 0x7fb7969b2b40): updatesnapshot: mid=1583172823 m_name=avamar-1493130520 sid=35512 name=cp.20230919134341 retention is changed from 1744140316 to 1742326241 err :0
03/18 13:30:41.710 (tid 0x7fb7969b2b40): FM fms_snapshot_update:1933 - Updated "cp.20230919134341", mtree "/data/col1/avamar-1493130520" 1742326241
03/18 13:32:50.061 (tid 0x7fb79ba174e0): rmsnapshot: mid=1583172823 s_name=cp.20230919134341.
03/18 13:32:50.076 (tid 0x7fb79ba174e0): rmsnapshot: done, mid=1583172823 m_name=avamar-1493130520 sid=35512 s_name=cp.20230919134341 retention=1742326241 ch=<dm_mtree:40000010000,1,0,400,6,0,e98eb815,440357a6,18045d05,d3463134,cadda83,9dfa4504:> cpg_id=1 cp_uuid=cf984be60de2e768:887b264e6a0bd7d6.
admin@anylinuxmachine:~/>:

- Начните новую очистку файловой системы

ddboost@dd02# fi clean start
Cleaning started.  Use 'filesys clean watch' to monitor progress.

ddboost@dd02# fi clean status
Cleaning started at 2025/03/18 13:32:49: phase 1 of 6 (pre-merge)
  0.0% complete, 25616 GiB free; time: phase  0:00:14, total  0:00:14

- Убедитесь, что старый снимок исчез, даже если очистка все еще выполняется.
- Проблема решена:

ddboost@dd02# snapshot list mtree /data/col1/avamar-1493130520
Snapshot Information for MTree: /data/col1/avamar-1493130520
----------------------------------------------
Name              Pre-Comp (GiB) Create Date       Retain Until      Status
----------------- -------------- ----------------- ----------------- ------
cp.20250318131055       215418.1 Mar 18 2025 07:12
cp.20250318133213       216537.6 Mar 18 2025 07:33
----------------- -------------- ----------------- ----------------- ------

Affected Products

Data Domain Boost – File System
Article Properties
Article Number: 000296945
Article Type: Solution
Last Modified: 24 Mar 2025
Version:  1
Find answers to your questions from other Dell users
Support Services
Check if your device is covered by Support Services.