Rack PowerFlex: Problemas de espaço em /var/log quando o recurso de encaminhamento de syslog está ativado
Summary: Este artigo explica o problema no espaço /var/log devido à rotação de logs não estar acontecendo com frequência suficiente.
Symptoms
A configuração atual do logrotate gira o arquivo de mensagens uma vez por semana, mas nos casos em que o encaminhamento de syslog está habilitado no VxFlex Manager, pode não girar rápido o suficiente.
Fatos:
- O recurso de encaminhamento de syslog está ativado no VxFlex Manager.
- A partição /var/log está se enchendo rapidamente.
- Isso pode variar muito de sistema para sistema
- O syslog remoto é ativado em dispositivos no sistema de rack ou equipamento integrado do VxFlex e configurado para enviar eventos de syslog ao VxFlex Manager
Cause
O inventário de recursos apresenta falha para todos os recursos quando o file system /var/log está em 100%.
Observação: Os avisos ou alertas críticos listados abaixo podem não funcionar se o espaço estiver muito cheio para executar essas verificações ou se estiver enchendo muito rápido.
- A interface do usuário do VxFlex Manager mostra uma advertência se >75%:
A interface do usuário do VxFlex Manager mostra essencial se > 95%:
O df -h mostra que /var/log está com uma capacidade de uso muito alta e está crescendo rapidamente.
Resolution
Para corrigir o rodízio de logs em equipamentos VxFlex Manager com o encaminhamento de syslog ativado, você pode configurar o logrotate, compactar os logs existentes, alterar as configurações do rsyslog e reduzir os níveis de registro de depuração usando as seguintes etapas:
Etapa 1: ssh para o VxFlex Manager & become root user: sudo su -
Etapa 2: Edite as regras syslog logrotate do (vi editor) garantindo que o seguinte texto exista em /etc/logrotate.d/syslog
/var/log/cron /var/log/maillog /var/log/messages /var/log/secure /var/log/spooler { size 100M nodateext rotate 5 compress missingok copytruncate postrotate /bin/killall -s SIGHUP -r rsyslog endscript }
Etapa 3: Digite o seguinte comando para verificar se a nova configuração foi salva corretamente:
cat /etc/logrotate.d/syslog
Etapa 4: Dependendo da rapidez com que o espaço /var/log está sendo preenchido, escolha uma das seguintes opções:
Para ambientes que não enchem o /var/log diariamente, mas precisam de um rodízio mais rápido do que o semanal, altere o logrotate de semanal para diário usando o seguinte comando:
cp /etc/cron.weekly/logrotate /etc/cron.daily/
Para ambientes que estão enchendo /var/log mais rápido do que o rodízio diário pode acomodar, altere o logrotate de diário para hora usando o seguinte comando:
cp /etc/cron.daily/logrotate /etc/cron.hourly/
Etapa 5: Compacte os arquivos existentes e libere espaço executando o seguinte comando:
for log in `ls /var/log/messages-*`; do sudo gzip $log; done
Nota: Se o arquivo /var/log/messages estiver tão cheio que não é possível compactá-lo, use o seguinte comando para limpá-lo:
cat /dev/null > /var/log/messages
Etapa 6: Para verificar se a configuração logrotate está funcionando corretamente, execute o seguinte comando:
logrotate -f /etc/logrotate.d/syslog
Etapa 7: Para interromper o registro de eventos de syslog encaminhados no arquivo /var/log/messages no equipamento VxFlex Manager, faça o seguinte:
- Crie o arquivo conf em /etc/rsyslog.d/ usando este comando:
vi 21-stop-remote-host-syslog-logging.conf - Adicione a seguinte linha ao arquivo recém-criado acima:
if $fromhost-ip != '127.0.0.1' then ~ - Digite o seguinte arquivo para salvar o arquivo:
:wq! - Reinicie o serviço rsyslog:
systemctl restart rsyslog.service
Nota: 21 é o número de prioridade usado para rsyslog. Depois de reiniciar o rsyslog não salvará os syslogs remotos recebidos em /var/log/messages. Os syslogs locais do VxFlex Manager ainda serão salvos em /var/log/messages.
Observação: Mesmo que o encaminhamento de syslog não esteja habilitado no VxFlex Manager, os hosts podem ser apontados para o VxFlex Manager, que pode enviar spam para o arquivo /var/log/messages. Configure a etapa 7 se o arquivo de mensagens estiver sendo inundado, independentemente de o syslog do VxFlex Manager estar ativado ou não.
Passo 8: Altere o nível de log de depuração do logstash no equipamento VxFlex Manager executando as seguintes etapas:
- Edite o nível de registro usando o seguinte comando:
vi /etc/logstash/logstash.yml - Pesquise as configurações de depuração no arquivo
- Altere o nível de registro de info (padrão) para error
- Edite o seguinte arquivo: vi /etc/logstash/log4j2.properties
- Na configuração padrão há uma linha que começa com rootLogger.appenderRef.console comentar esta linha usando # como abaixo:
-
Reinicie o serviço logstash executando o seguinte: systemctl reiniciar logstash
Etapa 8: Reinicialize o equipamento VxFlex Manager se o file system /var/log estiver 100% cheio. Isso garante que todos os serviços iniciem o backup corretamente.
Nota: Envie um alerta de teste para garantir que o conector de alerta esteja funcionando corretamente depois de resolver problemas de espaço e reinicializar o equipamento.
Additional Information
- Uma correção para interromper o log de mensagens do syslog em /var/log/messages está sendo trabalhada para uma versão futura do VxFlex Manager.
- Isso é relevante para todas as versões do VxFlex Manager que tenham o recurso de encaminhamento de syslog até a versão 3.4.0.4271, inclusive.