Avamar. Сборка мусора MSG_ERR_DDR_ERROR после вывода клиента из исходного IB/RLCE Avamar
Summary: Сборка мусора завершается сбоем в целевом устройстве Avamar через 8 дней, если параметр /MC_RETIRED отсутствует в политике репликации или в периоде блокировки хранения для выведенных из эксплуатации клиентов. ...
Symptoms
Такое поведение наблюдается в следующей конфигурации и сценарии:
- Исходная система Avamar с включенными неизменяемыми резервными копиями (IB)
- Целевое устройство Avamar с включенными неизменяемыми резервными копиями (IB)
- Источник Data Domain с включенным режимом комплаенса для блокировки хранения (RLCE)
- Целевая система Data Domain с включенным режимом комплаенса для блокировки хранения (RLCE)
Конфигурация политики репликации не включает домен /MC_RETIRED.
admin@av-target:~/usr/local/avamar/var/ddrmaintlogs$ view ddrmaint.log
...
2024-09-29T06:14:35.625021-07:00 av-target ddrmaint.bin[4202]: Error: gc-finish::process_all_backups: Failed to delete empty client dir 'cur/51e83a682d09d64199cf00469262db1b07f5ef04' on ddr, client '/MC_DELETED/prod-fs-20240921_190514', rename to 'cur/DELETED/1727740800/51e83a682d09d64199cf00469262db1b07f5ef04_E0F1E861F424A74A6A31B8B4963A4CB036ACC77D', ddr result code: 5034, desc: the user has insufficient privilege
2024-09-29T06:14:35.625126-07:00 av-target ddrmaint.bin[4202]: Warning: gc-finish::process_all_cids - Failed to process backups in client dir '51e83a682d09d64199cf00469262db1b07f5ef04' for client '/MC_DELETED/prod-fs-20240921_190514'
admin@av-target:~/usr/local/avamar/var/ddrmaintlogs$
На исходном сервере Avamar имеется клиент со следующей информацией:
CID: 51e83a682d09d64199cf00469262db1b07f5ef04
Client hostname: /clients/Windows/prod-fs
21 сентября этот клиент был выведен из эксплуатации. Клиент был перемещен в /MC_RETIRED/prod-fs2024.09.21.01.23.45.
В тот же день этот клиент был повторно добавлен с созданием нового идентификатора клиента (CID) и использованием того же имени хоста клиента:
CID: 4140cb8f428aa413154139b186fdcaafa19eb04e
Client hostname: /clients/Windows/prod-fs
Политика репликации не содержит /MC_RETIRED, и репликация произошла.
В целевом устройстве Avamar (av-target) в /usr/local/avamar/var/ddrmaintlogs/ddrmaint.log отображается ddrmaint move-backup :
admin@av-target:~/usr/local/avamar/var/ddrmaintlogs$ view ddrmaint.log
....
2024-09-21T12:05:22.483376-07:00 av-target ddrmaint.bin[14757]: Info: move-backup cmdline: '/usr/local/avamar/bin/ddrmaint.bin --flagfile=/usr/local/avamar/etc/usersettings.cfg --server=av-target --vardir=/usr/local/avamar/var --bindir=/usr/local/avamar/bin --id=root --password=**************** --vardir=/usr/local/avamar/var --bindir=/usr/local/avamar/bin --sysdir=/usr/local/avamar/etc move-backup --source-client=51e83a682d09d64199cf00469262db1b07f5ef04 --target-client=4140cb8f428aa413154139b186fdcaafa19eb04e --backups=0x1db0aed1ab804ea:2 --dpnid=1234567890'
2024-09-21T12:05:23.604561-07:00 av-target ddrmaint.bin[14757]: Info: RL: As the DD is in Compliance Enabled mode move-backup::movebackups will be copy-backup with no retention on ddr index(2) from cur/51e83a682d09d64199cf00469262db1b07f5ef04/1DB0AED1AB804EA to cur/4140cb8f428aa413154139b186fdcaafa19eb04e/1DB0AED1AB804EA
2024-09-21T12:05:24.610402-07:00 av-target ddrmaint.bin[14757]: Info: move-backup Successfully copied (for move) client backup cur/51e83a682d09d64199cf00469262db1b07f5ef04/1DB0AED1AB804EA:2 to cur/4140cb8f428aa413154139b186fdcaafa19eb04e/1DB0AED1AB804EA:2.
...
admin@av-target:~/usr/local/avamar/var/ddrmaintlogs$
Через 6 дней (27 сентября) до 29 сентября появляются сообщения о том, что резервных копий старого CID больше не существует в GSAN:
admin@av-target:~/usr/local/avamar/var/ddrmaintlogs$ view ddrmaint.log
...
2024-09-27T06:21:50.895312-07:00 av-target ddrmaint.bin[8923]: Info: gc-finish::process_all_backups: Backup '1DB0A201463FE64' not on gsan, deleted on ddr, client dir '51e83a682d09d64199cf00469262db1b07f5ef04', client '/MC_DELETED/prod-fs-20240921_190514'
2024-09-27T06:21:50.910186-07:00 av-target ddrmaint.bin[8923]: Info: gc-finish::process_all_backups: Backup '1DB0A22594F1476' not on gsan, deleted on ddr, client dir '51e83a682d09d64199cf00469262db1b07f5ef04', client '/MC_DELETED/prod-fs-20240921_190514'
2024-09-28T06:19:59.618801-07:00 av-target ddrmaint.bin[27334]: Info: gc-finish::process_all_backups: Backup '1DB0AE8A240B1AA' not on gsan, deleted on ddr, client dir '51e83a682d09d64199cf00469262db1b07f5ef04', client '/MC_DELETED/prod-fs-20240921_190514'
2024-09-28T06:19:59.631409-07:00 av-target ddrmaint.bin[27334]: Info: gc-finish::process_all_backups: Backup '1DB0AED1AB804EA' not on gsan, deleted on ddr, client dir '51e83a682d09d64199cf00469262db1b07f5ef04', client '/MC_DELETED/prod-fs-20240921_190514'
...
admin@av-target:~/usr/local/avamar/var/ddrmaintlogs$
Через 8 дней появится сообщение об ошибке «Failed to delete empty client dir" появляется:
Cause
Проблема сбоя сборки памяти (GC) возникала, когда clientA_with_cid-1 был выведен из эксплуатации и вновь добавлен как clientA_with_cid-2. Во время репликации репликатор создал новый путь для clientA_with_cid-2 в целевой системе и скопировал старые резервные копии из clientA_with_cid-1 на clientA_with_cid-2. Процесс GC попытался удалить заблокированные файлы, что привело к ошибкам, поскольку блокировка хранения предотвращает удаление до истечения срока хранения.
Основная проблема возникала, когда процессу сборки мусора (GC) в целевой системе не удавалось идентифицировать эти потерянные резервные копии в clientA_with_cid-1 Путь к каталогу. Процесс GC попытался удалить заблокированные файлы, что привело к ошибкам, поскольку блокировка хранения предотвращает удаление до истечения срока хранения. Эта избыточность и невозможность удалить потерянную копию привели к сбою сборки мусора.
Resolution
Примените следующее оперативное исправление.
- 19.10.0.166: 338891
- 19.12.0.186: 338894