PowerFlex: проверка размера и очистка данных Elasticsearch vxfm00513
Summary: Повреждение или блокировка данных ElasticSearch обычно происходит из-за того, что хранилище заполнено. /var — это место, где хранятся данные Elasticsearch.
Symptoms
1) Ошибка 500 на панели
оповещений 2) Страница оповещений не загружается... постоянно крутится.
3) В журналах может отображаться следующее (это означает, что не удалось обновить запись базы данных)
ERROR http://localhost:9200/snmp-traps-YYYY.MM.DD/<Serial>/_update
ERROR,HTTP error from ElasticSearch: 403 Client Error: Forbidden for url: http://localhost:9200/snmp-traps-2020.07.20/snmptraps/UgreanMBUFFdoaMHXN_S/_update
Cause
- Проблемы с пространством в PowerFlex Manager в /var
- База данных эластичного поиска становится слишком большой (например, расширена среда с большим количеством оповещений)
- Отладка, почему возникают проблемы с эластичным поиском:
- Проверьте журналы
- Проверьте место в /var
Resolution
* Примечание. После каждого указанного шага повторно запускайте инвентаризацию или повторное тестирование (отправьте тестовое оповещение). Если проблема не устранена, перейдите к следующему шагу.
Шаг 1 = освободите место в базе данных эластичного поиска
- Проверьте размер индексов эластичного поиска на диске:
-
curl 'localhost:9200/_cat/indices?v’ - Примечание. Максимальный размер, который он должен быть, — 5 Гбит/с
- При использовании PFxM 3.4.x или более ранней версии размер может увеличиться
- Рекомендуется выполнить обновление до PFxM 3.6.x
-
- **Индексы syslog можно безопасно удалить из базы данных Elastic Search.
- curl -X DELETE 'http://localhost:9200/syslog*'
- Оповещения о повторных тестовых попытках
- Если у заказчика большое количество индексов SNMP-ловушек, можно удалить старые ловушки, если заказчик не возражает:
-
curl -X DELETE localhost:9200/snmp-traps-YYYY.MM.DD (this deletes a specific date)
-
Шаг 2 = удалите журналы эластичного поиска.
- sudo systemctl status Elasticsearch
- sudo systemctl stop Elasticsearch
- cd /var/log/elasticsearch (примечание: Не удаляйте vxfm-es-cluster.log)
-
rm -rf *log.gz* rm -rf *gc.log* rm -rf *showlog.log*
-
- Systemctl start Elasticsearch
- sudo systemctl status Elasticsearch
Шаг 3 = Удалите ВСЕ данные в ElasticSearch:
*Предупреждение: Заказчик потеряет все исторические оповещения, метрики производительности из ресурсов и данные системного журнала. Перед выполнением этой команды убедитесь, что заказчик не возражает против потери этих данных.
curl -XDELETE localhost:9200/_all
Шаг 4 = наращивание файловой системы PowerFlex Manager = Как увеличить раздел на виртуальной машине с Logical Volume Manager (LVM)
Примечание. Увеличение размера устройства PFxM также и на виртуальной машине (изменение настроек, увеличение жесткого диска на добавленное дополнительное пространство)
Если проблема не устранена, обратитесь в службу поддержки.
Примечание: база данных эластичного поиска находится здесь ' не удаляйте ничего из этого каталога: /var/lib/elasticsearch/
Примечание: база данных эластичного поиска содержит оповещения и данные метрик для PowerFlex и некоторых системных журналов
Additional Information
Примечания.
- Версия PowerFlex Manager 3.7 имеет более крупную файловую систему.
- Начиная с PowerFlex Manager 3.6, порядок ведения журналов изменен с ежедневной на каждые 15 минут.
- Исправление было создано для ротации журналов каждые 15 минут для PowerFlex Manager 3.4 и 3.5 (исправлено в 3.6... Так что обновляйтесь!)
- Если индекс превышает приведенные ниже значения, он поворачивается (удаляет старые записи)
- Метрики (PowerFlex, узлы и коммутаторы Cisco 9k: 30 Гбайт (по 15 Гбайт)
- SNMP-ловушки: 5 Гбайт
- Системный журнал: 5 Гбайт