Isilon. Оповещение о событии: Раздел var почти заполнен, идентификатор события: 100010001

Summary: В этой статье рассматривается способ очистки раздела Var, если он почти заполнен.

This article applies to This article does not apply to This article is not tied to any specific product. Not all product versions are identified in this article.
Check out other resources

Symptoms

Событие
: отправляется одно из следующих уведомлений о событии:

The /var partition is near capacity (95% used)

The /var partition is near capacity (85% used)

The /var partition is near capacity (75% used)

Подробные сведения
Когда раздел /var достигает 75%, 85% или 95% емкости, регистрируется событие и отправляется оповещение.

Cause

Папка /var содержит множество журналов, файлов диагностики, данных конфигурации и временных файлов для различных функций кластера. Со временем в папке /var могут накапливаться различные лишние файлы, что приводит к ее заполнению.

Тем /var/log/wtmp file и файлы ролловера /var/log/wtmp.0, /var/log/wtmp.1, например, увеличьте размер до более чем 10 МБ. Иногда они увеличиваются до 150 МБ. Переменная /var/log/wtmp file — это двоичный файл журнала, в который записываются данные входа и выхода. Файл менеджера журналов, /etc/newsyslog.conf, не архивируется так же, как другие файлы журнала, поэтому /var/log/wtmp Может увеличиваться и заполнять каталог /var.

Resolution

ПРИМЕЧАНИЕ. В связи с ответственностью служба поддержки Isilon рекомендует пользователю выполнять действия по перемещению или удалению данных заказчика. Если у пользователя возникнут вопросы, Dell поможет ответить на них, если это необходимо.

Ниже приведено содержимое раздела /var по умолчанию и краткое описание наиболее подходящих подкаталогов. Если не указано иное, содержимое и данные в /var и его подкаталогах не должны изменяться или удаляться.  
ps9500x3-2# cd /var
ps9500x3-2# ls
.snap           at              backups         db              ifs             lib             patch           spool
account         audit           cache           empty           journal         log             preserve        tmp
agentx          authpf          crash           games           journal-peer    mail            run             unbound
apache2         backup          cron            heimdal         krb5kdc         msgs            rwho            yp


 .snap          Snapshots. Do not touch.
 account        Account information. Do not touch.
 agentx         Empty but preserved for Agent Extensibility (AgentX) Protocol
 apache2        Apache Files. Do not touch.
 at             Variable data. Do not touch.
 audit          Audit Files. Do not touch.
 authpf         Authentication gateway. Do not touch.
 backup         System configuration backup files. Do not touch
 backups        Group configuration backups. Do not touch
 cache          System cache. Do not touch.
 crash          Crash files, older files can be deleted if needed
 cron           Cron jobs, do not touch
 db             Database files. Do not touch
 empty          Do not touch.
 games          Empty but preserved.
 heimdal        Kerberos 5 protocol. Do not touch.
 ifs            Do not touch unless directed by support
 journal        System Journal database
 journal-peer   System Journal-peer database
 krb5kdc        Kerberos KDC (Key Distribution Center)
 lib            Likewise database files. Do not touch
 log            Various System log files, can be cleared but zero's out the system logs.
 mail           Mail sub-system files.     
 msgs           Message logs
 patch          System patch database. Do not touch
 preserve       Do not touch
 run            Do not touch
 rwho           Do Not Touch
 spool          System Spool files.  Do not touch.
 tmp            Healthcheck items and vi recover. Do not touch.
 unbound        Do Not Touch
 yp             Do Not Touch

Следует сосредоточиться на двух каталогах: /var/crash и /var/logs, так как они могут увеличиваться и занимать большую часть дискового пространства в разделе /var.

Старые файлы аварий в /var/crash можно удалить, если они больше не нужны.

/var/logs можно обнулить и сбросить, если журналы становятся слишком большими. Имейте в виду, что после сброса журналов поиск и устранение неисправностей, а также изучение прошлых проблем становятся невозможными.

Проверьте выходные данные df для раздела /var . В зависимости от выходных данных выполните одну или несколько следующих задач:
 

ps9500x3-2# df
Filesystem            1K-blocks    Used     Avail Capacity  Mounted on
/dev/mirror/root0       1957292  871082    929628    48%    /
devfs                         1       1         0   100%    /dev
/dev/mirror/var0         978604   51394    848922     6%    /var
/dev/mirror/var-crash   2946284      10   2710572     0%    /var/crash
/dev/mirror/keystore      61228      46     56284     0%    /keystore
/dev/md0                  61166    2158     54116     4%    /tmp/ufp
/dev/md1.uzip            435751  406426     -5535   101%    /base
OneFS                 246327840 2362592 173903776     1%    /ifs
ps9500x3-2#
 


 

Ротация журналов:

Подробные инструкции по ротации журналов приведены в статье базы знаний 20315, Isilon: OneFS — как выполнить ротацию системных журналов для узла.
Команда для ротации журналов: 
newsyslog -f

Если раздел /var снова можно нормально использовать, просмотрите список недавно созданных журналов, чтобы определить, часто ли выполняется ротация определенного журнала. Ротация может решить проблему заполнения раздела путем сжатия или удаления больших журналов и старых журналов, тем самым автоматически сокращая использование разделов.
 

Проверьте процент свободных индексных дескрипторов:

Подключитесь по протоколу SSH к узлу, который сообщил об ошибке, и войдите в систему с помощью учетной записи root.
Выполните следующую команду: 
df -i |grep var |grep -v crash
Появляется вывод, аналогичный следующему: 
Filesystem            1K-blocks      Used       Avail Capacity iused       ifree %iused  Mounted on
/dev/mirror/var0          1013068   49160      882864      5%   1650      139276  100%   /var
Если значение %iused равно 90% или больше, уменьшите количество файлов в разделе /var одним из методов, описанных ниже.
 

Определите файлы, которые не принадлежат разделу /var.

ПРИМЕЧАНИЕ. Не перемещайте и не удаляйте файлы в каталоге /var/patch , так как они являются критическими для системы исправлений на узле.
  1. На узле, создавшем оповещение, выполните следующую команду, чтобы вывести список файлов в разделе /var , размер которых превышает 5 Мбайт:
find -x /var -type f -size +10000 -exec ls -lh {} \; | awk '{ print $9 ": " $5 }'
  1. В выходных данных найдите файлы, которые обычно не относятся к разделу /var . Например, файл установщика OneFS, сборы журналов или файл, созданный пользователем.
  2. Удалите эти файлы или переместите их в каталог /ifs. 


Вручную удалите файлы из раздела /var.

После определения лишних файлов команды, необходимые для очистки каталога /var , обычно включают команды «Создать каталог» (mkdir), «Копировать» (cp), «Переместить» (mv) и «Удалить» (rm). Прежде чем продолжить, пользователи должны ознакомиться с этими основными командами UNIX/Linux.

Всегда создавайте резервные копии файлов перед удалением или перемещением их из исходного расположения.

Создайте каталог для перемещения или копирования данных резервного копирования, где <dest> — каталог назначения. В этот каталог сначала следует скопировать резервные копии всех файлов, которые необходимо удалить. 

# mkdir /ifs/data/Isilon_Support/<dest>

Скопируйте, переместите или удалите файлы, если нужно.Чтобы

скопировать файл или каталог, выполните следующие действия.

# cp  <file>   /ifs/data/Isilon_Support/<dest>

Рекурсивное копирование каталога.

# cp  -R <directory>   /ifs/data/Isilon_Support/<dest>

Чтобы переместить файл или каталог, выполните следующие действия.

# mv <file>  /ifs/data/Isilon_Support/<dest>

# mv <directory>   /ifs/data/Isilon_Support/<dest>

Чтобы удалить файл, выполните следующие действия.

# rm <file>

 

Определите, удерживает ли процесс большой файл открытым.

Используйте команду fstat для вывода списка открытых файлов на узле или в каталоге, а также для вывода списка файлов, открытых процессом. Список открытых файлов может помочь вам отслеживать процессы, которые создают большие файлы. См. статью 21402, Isilon, как использовать команду fstat для вывода списка открытых файлов на узле. Как использовать команду fstat для вывода списка открытых файлов на узле.

Если ни одно из указанных выше действий не помогло устранить проблему, перейдите к следующему решению:


Ограничьте размер файла продолжения и сожмите его

  1. Установите соединение по протоколу SSH с узлом и войдите в систему с помощью учетной записи root.
  2. Выполните следующие команды для создания резервной копии файла /etc/newsyslog.conf:
cp /etc/newsyslog.conf /ifs/newsyslog.conf
cp /etc/newsyslog.conf /etc/newsyslog.bak
  1. Откройте файл /ifs/newsyslog.conf в текстовом редакторе.
  2. Найдите следующую строку:
/var/log/wtmp 644 3 * @01T05 B
  1. Измените строку на:
/var/log/wtmp 644 3 10000 @01T05 ZB
Эти изменения предписывают системе выполнить ролл файла /var/log/wtmp , когда он достигнет 10 МБ, и сжать файл с помощью gzip.
  1. Сохраните и закройте файл /ifs/newsyslog.conf .
  2. Чтобы скопировать обновленный файл на все узлы кластера, выполните следующую команду:
isi_for_array 'cp /ifs/newsyslog.conf /etc/newsyslog.conf'
  1. При необходимости файлы журналов меняются автоматически, используя задание cron на час и полчаса (/etc/crontab)
#minute hour    mday    month   wday    who     command
#
# rotate log files every half-hour, if necessary
0,30    *       *       *       *       root    newsyslog
Если другие журналы часто меняются или описанные выше действия не помогли устранить проблему, обратитесь за помощью в службу технической поддержки Dell.

Affected Products

Isilon

Products

Isilon, PowerScale OneFS
Article Properties
Article Number: 000169344
Article Type: Solution
Last Modified: 12 May 2025
Version:  18
Find answers to your questions from other Dell users
Support Services
Check if your device is covered by Support Services.