Avamar: Skräpinsamling MSG_ERR_DDR_ERROR efter att klienten har dragits tillbaka på Avamar-källan IB/RLCE
Summary: Skräpinsamlingen misslyckas på Avamar-målet efter 8 dagar om /MC_RETIRED saknas i replikeringspolicyn eller kvarhållningslåsperioden för tillbakadragna klienter.
Symptoms
Det här beteendet visas i följande konfiguration och scenario:
- Avamar-källa med oföränderliga säkerhetskopior aktiverade (IB)
- Avamar-mål med oföränderliga säkerhetskopior aktiverade (IB)
- Data Domain-källa med RLCE (Retention-Lock Compliance Mode aktiverat)
- Data Domain-mål med RLCE (Retention-Lock Compliance Mode aktiverat)
Replikeringsprincipkonfigurationen omfattar inte domänen /MC_RETIRED.
admin@av-target:~/usr/local/avamar/var/ddrmaintlogs$ view ddrmaint.log
...
2024-09-29T06:14:35.625021-07:00 av-target ddrmaint.bin[4202]: Error: gc-finish::process_all_backups: Failed to delete empty client dir 'cur/51e83a682d09d64199cf00469262db1b07f5ef04' on ddr, client '/MC_DELETED/prod-fs-20240921_190514', rename to 'cur/DELETED/1727740800/51e83a682d09d64199cf00469262db1b07f5ef04_E0F1E861F424A74A6A31B8B4963A4CB036ACC77D', ddr result code: 5034, desc: the user has insufficient privilege
2024-09-29T06:14:35.625126-07:00 av-target ddrmaint.bin[4202]: Warning: gc-finish::process_all_cids - Failed to process backups in client dir '51e83a682d09d64199cf00469262db1b07f5ef04' for client '/MC_DELETED/prod-fs-20240921_190514'
admin@av-target:~/usr/local/avamar/var/ddrmaintlogs$
I Avamar-källservern finns en klient med följande information:
CID: 51e83a682d09d64199cf00469262db1b07f5ef04
Client hostname: /clients/Windows/prod-fs
Den 21 september drogs den här klienten tillbaka. Klienten har flyttats till /MC_RETIRED/prod-fs2024.09.21.01.23.45.
Samma dag lades den här klienten till igen genom att skapa ett nytt klient-ID (CID) och använda samma klientvärdnamn:
CID: 4140cb8f428aa413154139b186fdcaafa19eb04e
Client hostname: /clients/Windows/prod-fs
Replikeringsprincipen innehåller inte /MC_RETIRED och replikeringen har inträffat.
På Avamar-mål (av-target) visar /usr/local/avamar/var/ddrmaintlogs/ddrmaint.log ddrmaint move-backup befallning:
admin@av-target:~/usr/local/avamar/var/ddrmaintlogs$ view ddrmaint.log
....
2024-09-21T12:05:22.483376-07:00 av-target ddrmaint.bin[14757]: Info: move-backup cmdline: '/usr/local/avamar/bin/ddrmaint.bin --flagfile=/usr/local/avamar/etc/usersettings.cfg --server=av-target --vardir=/usr/local/avamar/var --bindir=/usr/local/avamar/bin --id=root --password=**************** --vardir=/usr/local/avamar/var --bindir=/usr/local/avamar/bin --sysdir=/usr/local/avamar/etc move-backup --source-client=51e83a682d09d64199cf00469262db1b07f5ef04 --target-client=4140cb8f428aa413154139b186fdcaafa19eb04e --backups=0x1db0aed1ab804ea:2 --dpnid=1234567890'
2024-09-21T12:05:23.604561-07:00 av-target ddrmaint.bin[14757]: Info: RL: As the DD is in Compliance Enabled mode move-backup::movebackups will be copy-backup with no retention on ddr index(2) from cur/51e83a682d09d64199cf00469262db1b07f5ef04/1DB0AED1AB804EA to cur/4140cb8f428aa413154139b186fdcaafa19eb04e/1DB0AED1AB804EA
2024-09-21T12:05:24.610402-07:00 av-target ddrmaint.bin[14757]: Info: move-backup Successfully copied (for move) client backup cur/51e83a682d09d64199cf00469262db1b07f5ef04/1DB0AED1AB804EA:2 to cur/4140cb8f428aa413154139b186fdcaafa19eb04e/1DB0AED1AB804EA:2.
...
admin@av-target:~/usr/local/avamar/var/ddrmaintlogs$
Efter 6 dagar (27 september) till och med 29 september kommer det meddelanden om att säkerhetskopiorna av gamla CID inte längre finns på GSAN:
admin@av-target:~/usr/local/avamar/var/ddrmaintlogs$ view ddrmaint.log
...
2024-09-27T06:21:50.895312-07:00 av-target ddrmaint.bin[8923]: Info: gc-finish::process_all_backups: Backup '1DB0A201463FE64' not on gsan, deleted on ddr, client dir '51e83a682d09d64199cf00469262db1b07f5ef04', client '/MC_DELETED/prod-fs-20240921_190514'
2024-09-27T06:21:50.910186-07:00 av-target ddrmaint.bin[8923]: Info: gc-finish::process_all_backups: Backup '1DB0A22594F1476' not on gsan, deleted on ddr, client dir '51e83a682d09d64199cf00469262db1b07f5ef04', client '/MC_DELETED/prod-fs-20240921_190514'
2024-09-28T06:19:59.618801-07:00 av-target ddrmaint.bin[27334]: Info: gc-finish::process_all_backups: Backup '1DB0AE8A240B1AA' not on gsan, deleted on ddr, client dir '51e83a682d09d64199cf00469262db1b07f5ef04', client '/MC_DELETED/prod-fs-20240921_190514'
2024-09-28T06:19:59.631409-07:00 av-target ddrmaint.bin[27334]: Info: gc-finish::process_all_backups: Backup '1DB0AED1AB804EA' not on gsan, deleted on ddr, client dir '51e83a682d09d64199cf00469262db1b07f5ef04', client '/MC_DELETED/prod-fs-20240921_190514'
...
admin@av-target:~/usr/local/avamar/var/ddrmaintlogs$
Efter 8 dagar visas felmeddelandet "Failed to delete empty client dir" visas:
Cause
Felproblemet med skräpinsamling (GC) uppstod när clientA_with_cid-1 drogs tillbaka och lades till på nytt som clientA_with_cid-2. Under replikeringen skapade replikatorn en ny sökväg för clientA_with_cid-2 på målet och kopierade gamla säkerhetskopior från clientA_with_cid-1 till clientA_with_cid-2. GC-processen försökte ta bort låsta filer, vilket orsakade fel eftersom kvarhållningslås förhindrar borttagning tills kvarhållningsperioden upphör att gälla.
Huvudproblemet uppstod när skräpinsamlingsprocessen (GC) vid målet inte kunde identifiera dessa överblivna säkerhetskopior under clientA_with_cid-1 katalogsökväg. GC-processen försökte ta bort låsta filer, vilket orsakade fel eftersom kvarhållningslås förhindrar borttagning tills kvarhållningsperioden upphör att gälla. Den här redundansen och oförmågan att ta bort den överblivna kopian orsakade GC-felet.
Resolution
Använd följande snabbkorrigering:
- 19.10.0.166: 338891
- 19.12.0.186: 338894