Avamar: Garbage Collection MSG_ERR_DDR_ERROR nadat de klant buiten gebruik is gesteld op Avamar source IB/RLCE

Dit gedrag is te zien in de volgende configuratie en scenario:

• Avamar-bron met ingeschakelde onveranderlijke back-ups (IB)
• Avamar-doel met ingeschakelde onveranderlijke back-ups (IB)
• Data Domain-bron met Retention-Lock Compliance Mode ingeschakeld (RLCE)
• Data Domain-doel met ingeschakelde Retention-Lock Compliance Mode (RLCE)

De replicatiebeleidsconfiguratie bevat niet het /MC_RETIRED-domein.

admin@av-target:~/usr/local/avamar/var/ddrmaintlogs$ view ddrmaint.log
...
2024-09-29T06:14:35.625021-07:00 av-target ddrmaint.bin[4202]: Error: gc-finish::process_all_backups: Failed to delete empty client dir 'cur/51e83a682d09d64199cf00469262db1b07f5ef04' on ddr, client '/MC_DELETED/prod-fs-20240921_190514', rename to 'cur/DELETED/1727740800/51e83a682d09d64199cf00469262db1b07f5ef04_E0F1E861F424A74A6A31B8B4963A4CB036ACC77D', ddr result code: 5034, desc: the user has insufficient privilege
2024-09-29T06:14:35.625126-07:00 av-target ddrmaint.bin[4202]: Warning: gc-finish::process_all_cids - Failed to process backups in client dir '51e83a682d09d64199cf00469262db1b07f5ef04' for client '/MC_DELETED/prod-fs-20240921_190514'
admin@av-target:~/usr/local/avamar/var/ddrmaintlogs$

De Avamar-bronserver bevat een client met de volgende informatie:

CID: 51e83a682d09d64199cf00469262db1b07f5ef04
Client hostname: /clients/Windows/prod-fs

Op 21 september is deze cliënt met pensioen gegaan. De client is verplaatst naar /MC_RETIRED/prod-fs2024.09.21.01.23.45.

Op dezelfde dag werd deze client opnieuw toegevoegd, waarbij een nieuwe client-ID (CID) werd gemaakt en dezelfde clienthostnaam werd gebruikt:

CID: 4140cb8f428aa413154139b186fdcaafa19eb04e
Client hostname: /clients/Windows/prod-fs

Het replicatiebeleid bevat geen /MC_RETIRED, en replicatie heeft plaatsgevonden.

Op Avamar target (av-target) wordt de /usr/local/avamar/var/ddrmaintlogs/ddrmaint.log weergegeven ddrmaint move-backup bevelen:

admin@av-target:~/usr/local/avamar/var/ddrmaintlogs$ view ddrmaint.log
....
2024-09-21T12:05:22.483376-07:00 av-target ddrmaint.bin[14757]: Info: move-backup cmdline: '/usr/local/avamar/bin/ddrmaint.bin --flagfile=/usr/local/avamar/etc/usersettings.cfg --server=av-target --vardir=/usr/local/avamar/var --bindir=/usr/local/avamar/bin --id=root --password=**************** --vardir=/usr/local/avamar/var --bindir=/usr/local/avamar/bin --sysdir=/usr/local/avamar/etc move-backup --source-client=51e83a682d09d64199cf00469262db1b07f5ef04 --target-client=4140cb8f428aa413154139b186fdcaafa19eb04e --backups=0x1db0aed1ab804ea:2 --dpnid=1234567890'
2024-09-21T12:05:23.604561-07:00 av-target ddrmaint.bin[14757]: Info: RL: As the DD is in Compliance Enabled mode move-backup::movebackups will be copy-backup with no retention on ddr index(2) from cur/51e83a682d09d64199cf00469262db1b07f5ef04/1DB0AED1AB804EA to cur/4140cb8f428aa413154139b186fdcaafa19eb04e/1DB0AED1AB804EA
2024-09-21T12:05:24.610402-07:00 av-target ddrmaint.bin[14757]: Info: move-backup Successfully copied (for move) client backup cur/51e83a682d09d64199cf00469262db1b07f5ef04/1DB0AED1AB804EA:2 to cur/4140cb8f428aa413154139b186fdcaafa19eb04e/1DB0AED1AB804EA:2.
...
admin@av-target:~/usr/local/avamar/var/ddrmaintlogs$

Na 6 dagen (27 september) tot 29 september zijn er berichten dat de back-ups van de oude CID niet meer bestaan op GSAN:

admin@av-target:~/usr/local/avamar/var/ddrmaintlogs$ view ddrmaint.log
...
2024-09-27T06:21:50.895312-07:00 av-target ddrmaint.bin[8923]: Info: gc-finish::process_all_backups: Backup '1DB0A201463FE64' not on gsan, deleted on ddr, client dir '51e83a682d09d64199cf00469262db1b07f5ef04', client '/MC_DELETED/prod-fs-20240921_190514'
2024-09-27T06:21:50.910186-07:00 av-target ddrmaint.bin[8923]: Info: gc-finish::process_all_backups: Backup '1DB0A22594F1476' not on gsan, deleted on ddr, client dir '51e83a682d09d64199cf00469262db1b07f5ef04', client '/MC_DELETED/prod-fs-20240921_190514'
2024-09-28T06:19:59.618801-07:00 av-target ddrmaint.bin[27334]: Info: gc-finish::process_all_backups: Backup '1DB0AE8A240B1AA' not on gsan, deleted on ddr, client dir '51e83a682d09d64199cf00469262db1b07f5ef04', client '/MC_DELETED/prod-fs-20240921_190514'
2024-09-28T06:19:59.631409-07:00 av-target ddrmaint.bin[27334]: Info: gc-finish::process_all_backups: Backup '1DB0AED1AB804EA' not on gsan, deleted on ddr, client dir '51e83a682d09d64199cf00469262db1b07f5ef04', client '/MC_DELETED/prod-fs-20240921_190514'
...
admin@av-target:~/usr/local/avamar/var/ddrmaintlogs$

Na 8 dagen verschijnt de foutmelding "Failed to delete empty client dir" verschijnt:

Het probleem met de fout in Garbage Collection (GC) ontstond toen clientA_with_cid-1 werd buiten gebruik gesteld en opnieuw toegevoegd als clientA_with_cid-2. Tijdens de replicatie heeft de replicator een nieuw pad gemaakt voor clientA_with_cid-2 op het doel en kopieerde oude back-ups van clientA_with_cid-1 Aan clientA_with_cid-2. Het GC-proces heeft geprobeerd vergrendelde bestanden te verwijderen, wat fouten heeft veroorzaakt omdat de retentievergrendeling voorkomt dat ze worden verwijderd totdat de retentieperiode is verstreken.

Het kernprobleem deed zich voor toen het Garbage Collection (GC)-proces bij het doel deze zwevende back-ups niet kon identificeren onder de clientA_with_cid-1 Mappad. Het GC-proces heeft geprobeerd vergrendelde bestanden te verwijderen, waardoor fouten zijn ontstaan omdat retentievergrendeling voorkomt dat bestanden worden verwijderd totdat de retentieperiode is verstreken. Deze redundantie en het onvermogen om de verweesde kopie te verwijderen veroorzaakten de GC-fout.

Pas de volgende hotfix toe:

• 19.10.0.166: 338891
• 19.12.0.186: 338894