PowerFlex: como verificar o tamanho e limpar os dados do Elasticsearch vxfm00513
Summary: Dados do ElasticSearch corrompidos ou bloqueados geralmente ocorrem porque o armazenamento está cheio. /var é onde os dados do Elasticsearch são armazenados.
Symptoms
1) Erro 500 no painel
Alertas 2) A página Alertas não carrega... gira constantemente.
3) Os logs podem mostrar o seguinte (isso significa que não foi possível atualizar a entrada do banco de dados)
ERROR http://localhost:9200/snmp-traps-YYYY.MM.DD/<Serial>/_update
ERROR,HTTP error from ElasticSearch: 403 Client Error: Forbidden for url: http://localhost:9200/snmp-traps-2020.07.20/snmptraps/UgreanMBUFFdoaMHXN_S/_update
Cause
- Problemas de espaço no PowerFlex Manager em /var
- O banco de dados de pesquisa elástica está crescendo demais (por exemplo, ambiente maior com mais alertas)
- Depure por que a pesquisa elástica está tendo problemas:
- Verifique os logs
- Verificar espaço em /var
Resolution
*Nota: após cada etapa listada, execute novamente o inventário ou teste novamente os alertas (enviar alerta de teste). Se ainda houver um problema, avance para a próxima etapa.
Etapa 1 = liberar espaço no banco de dados de pesquisa elástica
- Verifique o tamanho dos índices de pesquisa elástica no disco:
-
curl 'localhost:9200/_cat/indices?v’ - Nota: O tamanho máximo que deve ser é 5G
- Se estiver executando o PFxM 3.4.x ou anterior, o tamanho poderá aumentar
- Recomende o upgrade para o PFxM 3.6.x
-
- **É seguro excluir índices syslog do banco de dados do Elastic Search
- curl -X DELETE 'http://localhost:9200/syslog*'
- Repetir alertas de teste
- Se um cliente tiver um grande número de índices de trap snmp, será possível excluir traps mais antigas se o cliente estiver de acordo:
-
curl -X DELETE localhost:9200/snmp-traps-YYYY.MM.DD (this deletes a specific date)
-
Etapa 2 = remover logs de pesquisa elástica.
- sudo systemctl status Elasticsearch
- sudo systemctl stop Elasticsearch
- cd /var/log/elasticsearch (nota: Não exclua vxfm-es-cluster.log)
-
rm -rf *log.gz* rm -rf *gc.log* rm -rf *showlog.log*
-
- Systemctl iniciar Elasticsearch
- sudo systemctl status Elasticsearch
Etapa 3 = Excluir TODOS os dados no ElasticSearch:
*Advertência: O cliente perderá todos os alertas históricos, as medições de desempenho dos recursos e os dados do syslog. Certifique-se de que o cliente esteja satisfeito com a perda desses dados antes de executar este comando.
curl -XDELETE localhost:9200/_all
Etapa 4 = aumentar o PowerFlex Manager Filesystem = como aumentar uma partição em uma VM que executa o LVM (Logical Volume Manager)
Nota: aumente também o equipamento PFxM na VM (edite as configurações, aumente o disco rígido pela quantidade de espaço extra adicionado)
Se ainda houver problemas, entre em contato com o suporte.
Nota: o banco de dados de pesquisa elástica vive aqui ' não exclua nada deste diretório: /var/lib/elasticsearch/
Nota: o banco de dados de pesquisa elástica contém alertas e dados de métrica para o PowerFlex e alguns syslog
Additional Information
Notas:
- A versão 3.7 do PowerFlex Manager tem um file system maior
- A partir do PowerFlex Manager 3.6, o rodízio de logs é alterado de rodízio todos os dias para a cada 15 minutos.
- O patch foi criado para fazer rodízio de logs a cada 15 minutos para o PowerFlex Manager 3.4 & 3.5 (corrigido no 3.6... então atualize!)
- Se o índice exceder os valores abaixo, ele girará (exclua entradas mais antigas)
- Métricas (PowerFlex, nós e switches Cisco 9k: 30 GB (15 GB cada)
- Traps SNMP: 5 GB
- Syslog: 5 GB