Avamar：備份失敗，並發生無效權杖錯誤，因為 ddrmaint 服務中斷

觀察到備份故障指示燈。

當備份程序因 Data Domain Replicator （DDR） 權杖問題而失敗時，會記錄下列症狀。

• Avamar 記錄會報告無效權杖的使用方式和多個錯誤代碼。
• 備份失敗並遺失 ddr_files.xml 檔案中所定義。
• 致命的伺服器連接問題會阻止初始化。
• 命令執行以退出代碼 10008 結束，表示無法與伺服器建立連接。

  019-05-27 20:09:30 avtar Error <41439>: Using invalid token:5ba93c9db0cff93f52b521d7420e43f6eda2784f
  2019-05-27 20:09:30 avtar Error <10542>: Data Domain server "datadomain_123.com" open failed DDR result code: 4904, desc: Invalid API argument.
  2019-05-27 20:09:30 avtar Error <10509>: Problem logging into the DDR server:'', only GSAN communication was enabled.
  2019-05-27 20:09:30 avtar FATAL <17964>: Backup is incomplete because file "/ddr_files.xml" is missing
  2019-05-27 20:09:30 avtar Info <10642>: DDR errors caused the backup to not be posted, errors=0, fatals=0
  2019-05-27 20:09:30 avtar Info <12530>: Backup was not committed to the DDR.
  2019-05-27 20:09:30 avtar FATAL <8941>: Fatal server connection problem, aborting initialization. Verify correct server address and login credentials.
  2019-05-27 20:09:30 avtar Info <6149>: Error summary: 5 errors: 41439, 10542, 8941, 10509, 17964
  2019-05-27 20:09:30 avtar Info <8468>: Sending wrapup message to parent
  2019-05-27 20:09:31 avtar Info <5314>: Command failed (5 errors, exit code 10008: cannot establish connection with server (possible network or DNS failure))

• 搜尋 DDR_GET_AUTH_TOKEN 在 ddrmaint.log 不返回任何輸出。

  grep -i  DDR_GET_AUTH_TOKEN  /usr/local/avamar/var/ddrmaintlogs/ddrmaint.log*

• dpnctl 狀態顯示 ddrmaint-service 已關閉。 

  dpnctl status output showing ddrmaint-service down
  admin@avamar123:~/>: dpnctl status
  Identity added: /home/admin/.ssh/admin_key (/home/admin/.ssh/admin_key)
  dpnctl: INFO: Avamar server status: up
  dpnctl: INFO: MCS status: up.
  dpnctl: INFO: emt status: up.
  dpnctl: INFO: Backup scheduler status: up.
  dpnctl: INFO: Maintenance windows scheduler status: enabled.
  dpnctl: INFO: Unattended startup status: disabled.
  dpnctl: INFO: avinstaller status: up.
  dpnctl: INFO: ConnectEMC status: up.
  dpnctl: INFO: ddrmaint-service status: down.
  dpnctl: INFO: [see log file "/usr/local/avamar/var/log/dpnctl.log"]

備份操作失敗，因為 ddrmaint-service Avamar Server 未執行。當此服務中斷時，Avamar 用戶端無法取得有效的 DDR 驗證權杖，導致一連串的錯誤導致備份失敗。

關鍵影響因素

• 可使用 dpnctl 輸出指示 ddrmaint-service 已關閉。
• Data Domain 伺服器的驗證失敗，產生「無效權杖」錯誤。
• 所需的檔案 /ddr_files.xml 未生成，導致備份不完整。
• 後續的 DDR 錯誤會使備份無法發佈或認可。

相關日誌證據

2019-05-27 20:09:30 avtar Error <41439>: Using invalid token:5ba93c9db0cff93f52b521d7420e43f6eda2784f
2019-05-27 20:09:30 avtar Error <10542>: Data Domain server "datadomain_123.com" open failed DDR result code: 4904, desc: Invalid API argument.
2019-05-27 20:09:30 avtar Error <10509>: Problem logging into the DDR server:'', only GSAN communication was enabled.
2019-05-27 20:09:30 avtar FATAL <17964>: Backup is incomplete because file "/ddr_files.xml" is missing
2019-05-27 20:09:30 avtar FATAL <8941>: Fatal server connection problem, aborting initialization. Verify correct server address and login credentials.

服務狀態確認

admin@avamar123:~/> dpnctl status
dpnctl: INFO: Avamar server status: up
dpnctl: INFO: MCS status: up.
dpnctl: INFO: emt status: up.
dpnctl: INFO: Backup scheduler status: up.
dpnctl: INFO: Maintenance windows scheduler status: enabled.
dpnctl: INFO: Unattended startup status: disabled.
dpnctl: INFO: avinstaller status: up.
dpnctl: INFO: ConnectEMC status: up.
dpnctl: INFO: ddrmaint-service status: down.
dpnctl: INFO: [see log file "/usr/local/avamar/var/log/dpnctl.log"]

 重新啟動 DDR 維護服務。

循序漸進程序

1. 使用具有管理權限的帳戶登入 Avamar 伺服器。
2. 檢查目前狀態 ddrmaint-service 確認其已關閉。

   # Verify service status
   $ dpnctl status | grep ddrmaint-service
   ddrmaint-service status: down

3. 啟動服務。

   # Start the DDR maintenance service
   $ dpnctl start ddrmaint-service

4. 驗證服務是否正在運行。

   # Re‑check status to ensure it is up
   $ dpnctl status | grep ddrmaint-service
   ddrmaint-service status: up

5. 確認備份正在完成，沒有”invalid token“錯誤。
   1. 執行測試備份或等待下一個排定備份完成。
   2. 檢查 Avamar 記錄中是否沒有錯誤，例如： 41439 小 10542 小 10509 小 17964 ，或 8941 。

      # Example of a successful backup log snippet
      2024-01-30 02:15:12 avtar Info <10642>: Backup completed successfully.
      2024-01-30 02:15:12 avtar Info <12530>: Backup was committed to the DDR.

   3. 確認檔案 /ddr_files.xml 備份完成後就會顯示。