Сбой заданий Avamar с ошибкой «у пользователя недостаточно привилегий» из-за проблемы DD Boost 209416
Summary: Резервное копирование и восстановление завершаются сбоем с ошибкой «у пользователя недостаточно прав» на сервере Avamar с запущенной библиотекой DD Boost 3.4.0 из-за проблемы Data Domain #209416. Эта проблема может привести к блокировке пользователя DD Boost из-за сбоя проверки подлинности клиента в Data Domain для процесса резервного копирования или восстановления. ...
Symptoms
Ошибка «у пользователя недостаточно прав» является общей ошибкой. Поэтому дополнительные сведения о проблеме см. в ddrmaint.log.
В журнале резервного копирования или восстановления отображается следующая ошибка:
avtar Error <10512>: Problem logging into the DDR server index:1 avtar Error <10542>: Data Domain server "DD.X.X.com" open failed DDR result code: 5075, desc: the user has insufficient access rights avtar Error <10512>: Problem logging into the DDR server index:1Чтобы проверить версию подключаемого модуля ddboost в Avamar, выполните следующую команду:
strings /usr/local/avamar/lib/libDDBoost.so | grep "[0-9]\.[0-9]\.[0-9]\.[0-9]"
grep -i engine ddrmaint.log | tail -1Выполните поиск в журнале по IP-адресу или идентификатору клиента Avamar. В журнале DDFS (/ddr/var/log/debug/ddfs.info) в Data Domain отображаются следующие ошибки:
06/11 09:18:31.347 : WARNING: Failed to verify the password for user ddboost. Error is 7:Authentication failure 06/11 09:18:31.348 : nfs_rpc_svc_idx0 accepted 2e000001ba 201 from X.X.X.X:54896 06/11 09:18:31.354 : ost_decrypt_mnt_sec_request(): EVP_DecryptFinal_ex failed 06/11 09:18:31.354 : nfsproc3_ostmntsec_3_svc: connection failed permission (corrupted credentials) from host X.X.X.X - ost_decrypt_mnt_sec_request(): failed to finalize plain text (101077092, error:06065064:digital envelope routines:EVP_DecryptFinal_ex:bad decrypt)
В этом случае журнал avtar клиента во время резервного копирования показывает следующие ошибки:
2018-10-11 12:05:09 avtar Info <19155>: - Establishing a connection to the Data Domain system with certificate authentication (Connection mode: A:2 E:2). 2018-10-11 12:05:09 avtar Info <18120>: DDR trace is enabled. 2018-10-11 12:05:26 avtar Warning <18133>: Calling DDR_WRITE returned result code:(5075) the user has insufficient access rights message:DDRIO_Write::WriteToDDR: ddp_write failed [ 6148] [3492] Thu Oct 11 12:05:26 2018 ddp_write() failed Offset 0, BytesToWrite 16144, BytesWritten 0 Err: 5075-nfsproc3_ostmntsec_3 failed (nfs: Operation not permitted) [ 6148] [4932] Thu Oct 11 12:04:58 2018 ddp_access() failed, Path avamar-1537798766/STAGING/77e75ce4a380b20c7572c3053e8409520d37c852/BACKUP-914CF43D1553E172BA1E7177D890CA1C77xxxxxx, mode 0 Err: 5004-nfs lookup failed (nfs: No such file or directory) 2018-10-11 12:05:26 avtar Error <16709>: DDRInstance::Invoke - ddrmgr write failure result code: 5075И в журнале ddfs.info снова отображаются ошибки «поврежденные учетные данные» примерно во время резервного копирования:
10/11 12:05:10.544 (tid 0x7f7b90854xxx): nfsproc3_ostmntsec_3_svc: connection failed permission (corrupted credentials) from host 192.168.xxx.xx - ost_decrypt_mnt_sec_request(): failed to finalize plain text (101077092, error:06065064:digital envelope routines:EVP_DecryptFinal_ex:bad decrypt)
Cause
В Avamar Server 7.5.0 используется версия библиотеки DD Boost: 3.4.0.2, эта проблема существует в библиотеке DD Boost 3.4.0 и исправлена в 3.4.1.
В Avamar Server версии 7.5.1 есть версия библиотеки DD Boost: 3.4.1.1. встроенный в него.
Начиная с подключаемого модуля 3.4, Data Domain выполняет проверку подлинности с помощью предварительно общих ключей (PSK), сгенерированных паролем. Клиент генерирует PSK на основе предоставленного приложением пароля, шифрует некоторую аутентификационную информацию и отправляет ее в DDR. DDR пытается сгенерировать тот же PSK (так как он уже знает пароль для пользователя), расшифровать содержимое, отправленное клиентом, и проверить.
Если включена функция ifgroup DD Boost, Data Domain попадает в путь повторного подключения, который вызывает путь подключения PSK и полагается на crypt_hash паролей, хранящихся в структуре nfs_conn. Однако в подключаемом модуле DD Boost 3.4.0.2 Data Domain не генерирует пароль crypt_hash повторно во время повторного подключения. Ключ PSK на клиенте и DDR отличается, что приводит к сбою дешифрования.
Исправление доступно в библиотеке DD Boost 3.4.1.0-574461.
Resolution
Обновите Avamar Server и все клиенты, работающие под управлением версии 7.5.0, до версии 7.5.1-101 или более поздней.