Сбой модернизации PowerFlex с версии 3.x до версии 4.x: сбой резервного копирования базы данных из-за проблемы с ElasticSearch
Summary: В этой статье объясняется, как устранить сбой модернизации с 3.x до 4.x из-за сбоя резервного копирования и проблемы с ElasticSearch.
Symptoms
Модернизация PowerFlex с версии 3.x до версии 4.x завершается сбоем во время процедуры импорта. Запускается резервное копирование старой версии PowerFlex 3.8.3 и завершается сбоем.
2025-05-21 15:10:06,299 INFO [backup-1,tid=252] (BackupApplianceCallable.java:216): Executing the script: /opt/Dell/scripts/backup-elasticsearch.py
2025-05-21 15:10:16,779 DEBUG [backup-1,tid=252] (ExecuteSystemCommands.java:103): Last login: Wed May 21 15:10:01 CEST 2025 on cron
2025-05-21 15:10:16,780 ERROR [backup-1,tid=252] (ExecuteSystemCommands.java:127): Non-zero return code running OS command /usr/bin/sudo /opt/Dell/scripts/backup-elasticsearch.py: 3
2025-05-21 15:10:16,781 ERROR [backup-1,tid=252] (ExecuteSystemCommands.java:128): Console output running OS command: Last login: Wed May 21 15:10:01 CEST 2025 on cron
2025-05-21 15:10:16,781 ERROR [backup-1,tid=252] (BackupApplianceCallable.java:225): Error executing the script /opt/Dell/scripts/backup-elasticsearch.py: rc=3
2025-05-21 15:10:16,781 ERROR [backup-1,tid=252] (BackupApplianceCallable.java:246): Unable to backup the database. com.dell.asm.i18n2.exception.AsmCheckedException: The appliance cannot be backed because of an unknown exception.
2025-05-21 15:10:16,785 INFO [backup-1,tid=252] (BackupApplianceCallable.java:73): Executing the script /opt/Dell/scripts/backup-clean.sh
Журнал ASM Manager
Line 16272: 2025-05-21 11:32:50,308 DEBUG [backup-1,tid=245] (ExecuteSystemCommands.java:103): rm: cannot remove ‘/var/es-backup/indices’: Directory not empty
Line 16276: 2025-05-21 11:32:50,315 ERROR [backup-1,tid=245] (ExecuteSystemCommands.java:128): Console output running OS command: rm: cannot remove ‘/var/es-backup/indices’: Directory not emptyCleanup of /var/es-backup failed with RC=1Last login: Wed May 21 11:32:35 CEST 2025
Line 18203: 2025-05-21 12:02:54,161 DEBUG [backup-1,tid=245] (ExecuteSystemCommands.java:103): rm: cannot remove ‘/var/es-backup/indices’: Directory not empty
Line 18207: 2025-05-21 12:02:54,165 ERROR [backup-1,tid=245] (ExecuteSystemCommands.java:128): Console output running OS command: rm: cannot remove ‘/var/es-backup/indices’: Directory not emptyCleanup of /var/es-backup failed with RC=1Last login: Wed May 21 12:02:37 CEST 2025Cause
Проблема с данными ElasticSearch
Resolution
Команды выполняются в интерфейсе командной строки PowerFlex Manager с использованием учетной записи delladmin .
Шаг 1 = освободить место в базе данных эластичного поиска (максимальный размер должен быть 5 Гбайт)
-
curl 'localhost:9200/_cat/indices?v’
Если имеется много индексов SNMP-ловушек, можно удалить старые ловушки, если вас это устраивает:
-
curl -X DELETE localhost:9200/snmp-traps-YYYY.MM.DD (this deletes a specific date)
Или вы можете удалить их все с помощью следующей команды:
-
curl -X DELETE 'http://localhost:9200/syslog* [localhost]'
Шаг 2 = удалите журналы эластичного поиска.
-
sudo systemctl status Elasticsearch sudo systemctl stop Elasticsearch cd /var/log/elasticsearch (note: Do not delete vxfm-es-cluster.log) rm -rf *log.gz* rm -rf *gc.log* rm -rf *showlog.log* Systemctl start Elasticsearch sudo systemctl status Elasticsearch
Шаг 3 = Удалите ВСЕ данные в ElasticSearch:
*Предупреждение: Заказчик потеряет все исторические оповещения, метрики производительности из ресурсов и данные системного журнала.
-
curl -XDELETE localhost:9200/_all
Проверьте состояние и остановите службу rsyslog.
systemctl status rsyslog
systemctl stop rsyslog
Повторите попытку и запустите сервис syslog:
systemctl start rsyslog