Сбой резервного копирования DPE vApp с ошибкой «vmwappimage Error <19591>» из-за проблем с балансировщиком нагрузки
Summary: Сбой резервного копирования DPE vApp с ошибкой «vmwappimage Error <19591>: httpPost: http_code: 500 sending to url 'https://localhost:8080/vcp-ba-vappplugin-ws/vapp» из-за проблем балансировщика нагрузки. Известно, что балансировщики нагрузки, такие как балансировщик нагрузки CloudFlare, вызывают ошибку «HTTP 524 Origin Time-out», которая приводит к сбою резервного копирования. ...
Symptoms
В журнале резервного копирования может отображаться следующее сообщение об ошибке:
2021-02-08 10:02:50 vmwappimage Info <19594>: httpPost: url https://localhost:8080/vcp-ba-vappplugin-ws/vapp 2021-02-08 10:03:22 vmwappimage Error <19591>: httpPost: http_code: 500 sending to url 'https://localhost:8080/vcp-ba-vappplugin-ws/vapp' 2021-02-08 10:03:22 vmwappimage Info <9772>: Starting graceful (staged) termination, Prep-for-backup message to ADS failed (wrap-up stage) 2021-02-08 10:03:22 vmwappimage Error <0000>: Prep-for-backup message to ADS failed 2021-02-08 10:03:22 vmwappimage Info <19594>: httpPost: url https://localhost:8080/vcp-ba-vappplugin-ws/vapp 2021-02-08 10:03:45 vmwappimage Error <19591>: httpPost: http_code: 500 sending to url 'https://localhost:8080/vcp-ba-vappplugin-ws/vapp' 2021-02-08 10:03:45 vmwappimage Error <17707>: Post backup-complete message to ADS failed. 2021-02-08 10:03:45 vmwappimage Info <16038>: Final summary, cancelled/aborted 0, snapview 0, exitcode 157: miscellaneous error
В vcdsdk.log на VPA в «/var/log/vcp/srv/vcdsdk.log» отображается следующая ошибка:
> 2021-02-12 11:58:37,368 [AMQP listener 9] INFO (RestUtil.java:329) - Response - <html> > <head><title>524 Origin Time-out</title></head> > <body bgcolor="white"> > <center><h1>524 Origin Time-out</h1></center> > <hr><center>cloudflare-nginx</center> > </body> > </html>
Действия по включению отладки Cloud API:
- Войдите в основной узел VCP.
- Редактирование файлов
/etc/vcp/srv/vcpsrv-log4j2.xml - Исходное содержимое:
<Logger name="com.vmware" level="info" additivity="true" />
Измените эту строку на следующую:
<Logger name="com.vmware" level="debug" additivity="true" /> - Перезапустите сервис bg и srv,
vcp-cli bg update -p <MASTER-PASSWORD> <BG-INSTANCE-NAME>
vcp-cli srv update -p <MASTER-PASSWORD> <SRV-CELL-INSTANCE-NAME>
При выполнении nslookup в полном доменном имени vCloud Director из VPA отображается несколько IP-адресов.
Заказчик подтверждает, что у него настроена подсистема балансировки нагрузки.
Cause
Шлюзы резервного копирования, пытающиеся подключиться к vCloud Director, используют балансировщик нагрузки CloudFlare. Запрос API завершается сбоем на балансировщике нагрузки CloudFlare, что приводит к проблеме.
Код возврата балансировщика нагрузки CloudFlare предоставляет следующее:
2021-02-12 11:58:37,368 [AMQP listener 9] INFO (RestUtil.java:329) - Response - <html> > <head><title>524 Origin Time-out</title></head> > <body bgcolor="white"> > <center><h1>524 Origin Time-out</h1></center> > <hr><center>cloudflare-nginx</center> > </body> > </html>
Resolution
-
Уточните у заказчика, настроен ли балансировщик нагрузки между компонентами VPA, такими как шлюзы резервного копирования и т. д., и vCloud Director.
-
Добавьте записи локального файла хоста для всех виртуальных машин контейнера Docker, чтобы вручную принудительно подключить компоненты DPE к vCloud Director с использованием частного IP-адреса в обход балансировщика нагрузки.
-
В версиях DPE ниже 19.4 записи файла хоста можно создавать на отдельных виртуальных машинах DPE, таких как SRV-Cell VM, Backup Gateway и т. д.
-
В DPE версии 19.4 и выше изменения необходимо внести в каждый контейнер Docker.
- Откройте сеанс SSH для виртуальной машины VPA.
- Выполните следующую команду, чтобы получить список контейнеров Docker:
docker ps - Выполните следующую команду, чтобы войти в контейнер Docker:
docker exec -it <first 2 digits of containerid> /bin/bash - Выполните следующую команду, чтобы обновить записи локального файла hosts:
echo "IP_ADDRESS FQDN SHORTNAME" >> /etc/hosts