Rack PowerFlex: Problemas de espaço em /var/log quando o recurso de encaminhamento de syslog está ativado

A configuração atual do logrotate gira o arquivo de mensagens uma vez por semana, mas nos casos em que o encaminhamento de syslog está habilitado no VxFlex Manager, pode não girar rápido o suficiente.

Fatos:

• O recurso de encaminhamento de syslog está ativado no VxFlex Manager.
• A partição /var/log está se enchendo rapidamente.
• Isso pode variar muito de sistema para sistema
• O syslog remoto é ativado em dispositivos no sistema de rack ou equipamento integrado do VxFlex e configurado para enviar eventos de syslog ao VxFlex Manager

O inventário de recursos apresenta falha para todos os recursos quando o file system /var/log está em 100%.
Observação: Os avisos ou alertas críticos listados abaixo podem não funcionar se o espaço estiver muito cheio para executar essas verificações ou se estiver enchendo muito rápido.

• A interface do usuário do VxFlex Manager mostra uma advertência se >75%:

 

A interface do usuário do VxFlex Manager mostra essencial se > 95%:
 

O df -h mostra que /var/log está com uma capacidade de uso muito alta e está crescendo rapidamente.
 

Para corrigir o rodízio de logs em equipamentos VxFlex Manager com o encaminhamento de syslog ativado, você pode configurar o logrotate, compactar os logs existentes, alterar as configurações do rsyslog e reduzir os níveis de registro de depuração usando as seguintes etapas: 

Etapa 1:  ssh para o VxFlex Manager & become root user: sudo su -

Etapa 2: Edite as regras syslog logrotate do (vi editor) garantindo que o seguinte texto exista em /etc/logrotate.d/syslog
 

/var/log/cron /var/log/maillog /var/log/messages /var/log/secure /var/log/spooler { size 100M nodateext rotate 5 compress missingok copytruncate postrotate /bin/killall -s SIGHUP -r rsyslog endscript }

Etapa 3:  Digite o seguinte comando para verificar se a nova configuração foi salva corretamente: 

cat /etc/logrotate.d/syslog

Etapa 4:  Dependendo da rapidez com que o espaço /var/log está sendo preenchido, escolha uma das seguintes opções:
Para ambientes que não enchem o /var/log diariamente, mas precisam de um rodízio mais rápido do que o semanal, altere o logrotate de semanal para diário usando o seguinte comando:

cp /etc/cron.weekly/logrotate /etc/cron.daily/

Para ambientes que estão enchendo /var/log mais rápido do que o rodízio diário pode acomodar, altere o logrotate de diário para hora usando o seguinte comando:

cp /etc/cron.daily/logrotate /etc/cron.hourly/

Etapa 5:  Compacte os arquivos existentes e libere espaço executando o seguinte comando:

for log in `ls /var/log/messages-*`; do sudo gzip $log; done

 
Nota:  Se o arquivo /var/log/messages estiver tão cheio que não é possível compactá-lo, use o seguinte comando para limpá-lo: 

cat /dev/null > /var/log/messages

Etapa 6:  Para verificar se a configuração logrotate está funcionando corretamente, execute o seguinte comando: 

logrotate -f /etc/logrotate.d/syslog

 
Etapa 7:  Para interromper o registro de eventos de syslog encaminhados no arquivo /var/log/messages no equipamento VxFlex Manager, faça o seguinte:

• Crie o arquivo conf em /etc/rsyslog.d/ usando este comando:  vi 21-stop-remote-host-syslog-logging.conf
• Adicione a seguinte linha ao arquivo recém-criado acima:  if $fromhost-ip != '127.0.0.1' then ~
• Digite o seguinte arquivo para salvar o arquivo:  :wq!
• Reinicie o serviço rsyslog:  systemctl restart rsyslog.service

Nota: 21 é o número de prioridade usado para rsyslog. Depois de reiniciar o rsyslog não salvará os syslogs remotos recebidos em /var/log/messages. Os syslogs locais do VxFlex Manager ainda serão salvos em /var/log/messages.

Observação: Mesmo que o encaminhamento de syslog não esteja habilitado no VxFlex Manager, os hosts podem ser apontados para o VxFlex Manager, que pode enviar spam para o arquivo /var/log/messages. Configure a etapa 7 se o arquivo de mensagens estiver sendo inundado, independentemente de o syslog do VxFlex Manager estar ativado ou não.

Passo 8:  Altere o nível de log de depuração do logstash no equipamento VxFlex Manager executando as seguintes etapas:

• Edite o nível de registro usando o seguinte comando: vi /etc/logstash/logstash.yml
• Pesquise as configurações de depuração no arquivo
• Altere o nível de registro de info (padrão) para error

• Edite o seguinte arquivo:  vi /etc/logstash/log4j2.properties
• Na configuração padrão há uma linha que começa com rootLogger.appenderRef.console comentar esta linha usando # como abaixo:

• Reinicie o serviço logstash executando o seguinte:  systemctl reiniciar logstash

Etapa 8:  Reinicialize o equipamento VxFlex Manager se o file system /var/log estiver 100% cheio. Isso garante que todos os serviços iniciem o backup corretamente.

Nota:  Envie um alerta de teste para garantir que o conector de alerta esteja funcionando corretamente depois de resolver problemas de espaço e reinicializar o equipamento.
 

• Uma correção para interromper o log de mensagens do syslog em /var/log/messages está sendo trabalhada para uma versão futura do VxFlex Manager.
• Isso é relevante para todas as versões do VxFlex Manager que tenham o recurso de encaminhamento de syslog até a versão 3.4.0.4271, inclusive.