OneFS. Оповещение о событии: Используемая емкость узла в корневой файловой системе достигла 95% или более
Summary: На более старых узлах Isilon IQ серий X и NL максимальный размер корневого каталога (/) составляет 500 Мбайт, а используемая емкость отображается не менее 95%. Это происходит даже в том случае, если не установлены дополнительные пользовательские файлы или пакеты микропрограммы. Новые узлы имеют корневые каталоги размером 1 Гбайт и обычно показывают 49% используемой емкости. ...
Symptoms
Событие
Node reached 95% used capacity on the root file system.
-Или-
The root partition is near capacity.
Event ID: 100010003
Cause
Описание
Это событие указывает на то, что корневой раздел на одном или нескольких узлах почти полностью заполнен.
Это событие может произойти по нескольким причинам. Две наиболее распространенные причины:
- Пользователь переместил файл в неуказанный корневой каталог вместо каталога /ifs .
- Микропрограмма узла была обновлена, но пакет микропрограммы не был удален.
Resolution
Отклик
Устраните причину этого оповещения, используя одну или несколько из следующих процедур.
ВАЖНЫЙ!
Не удаляйте и не устанавливайте исправления программного обеспечения, пока корневой раздел заполнен или почти заполнен. Попытка установить/удалить исправление в то время, когда корневой раздел заполнен, может привести к сбою процесса установки или удаления исправлений. В случае сбоя процесса установки или удаления в кластере с полным корневым разделом это может помешать возврату к предыдущей конфигурации системы. В такой ситуации кластер может работать нестабильно или недоступно.
Дополнительные сведения о поддержании достаточного количества свободного места в кластере Isilon см. в руководстве по управлению емкостью кластера на сайте онлайн-поддержки Dell.
Фаза 1. Удалите файлы, которым не место в корневом каталоге (/).
- Просмотрите сообщения оповещения, чтобы определить затронутую файловую систему. В сообщении указаны кластер и узлы (по номеру узлов), создавшие оповещение. В сообщении также указано, что затронутая файловая система имеет одну из следующих принадлежностей: ifs, var, crash или root.
- На узле, создавшем оповещение, выполните следующую команду, чтобы вывести список всех файлов в корневом каталоге, размер которых превышает 5 Мбайт:
find -x / -type f -size +10000 -exec ls -lh {} \; | awk '{ print $9 ": " $5 }'
Появляется вывод, аналогичный следующему:
/boot/kernel.amd64/efs.ko: 10M /usr/libexec/cc1: 6.6M /usr/libexec/cc1plus: 7.2M /usr/libexec/cc1obj: 6.6M /usr/local/lib/libxerces-c-3.1.so: 5.6M /usr/local/lib/libxerces-c.so: 5.6M /usr/local/sbin/nmbd: 9.9M /usr/local/connectemc/connectemc: 15M /usr/local/aspera/sbin/asperacentral: 5.0M
В приведенном выше примере выходных данных перечислены файлы, которые обычно находятся в корневом каталоге. Эти файлы не следует удалять.
- В выходных данных найдите все файлы, которые обычно не принадлежат корневому каталогу. Например, файл установщика OneFS, сборщики журналов или файлы, созданные пользователем. (См. пример вывода на предыдущем шаге для файлов, которые относятся к корневому каталогу и не должны быть удалены.)
- Удалите эти файлы или переместите их в каталог /ifs. Если вы не знаете, какие файлы следует удалить, обратитесь за помощью в службу технической поддержки Isilon.
Выполните следующую команду, чтобы убедиться, что корневой каталог (/) находится ниже порогового значения оповещений:
isi_for_array -s 'df -h /'
Появляется вывод, аналогичный следующему:
Filesystem Size Used Avail Capacity Mounted on /dev/imdd0a 496M 445M 11M 94% /
- Удалите все существующие оповещения:
isi event bulk --resolved=true (OneFS 8.0 or newer) -or- isi events cancel all (OneFS 7.x or older)
- Если пространство не освобождается после удаления каких-либо больших файлов, найдите процесс, в котором файл все еще открыт. Этот процесс необходимо остановить, чтобы закрыть дескриптор файла, удерживающий пространство. См. статью 322712Как использовать команду fstat для вывода списка открытых файлов на узле.
- Если проблема не устранена, перейдите к этапу 2.
Фаза 2. Удалите пакеты микропрограммы узла Isilon.
Инструкции, прилагаемые к пакетам микропрограммы узла Isilon, содержат инструкции по удалению пакета микропрограммы после установки микропрограммы. Если этого шага не выполнить, это может привести к превышению емкости корневого каталога.
- Выполните следующую команду, чтобы убедиться, что в кластере установлен пакет микропрограммы:
isi upgrade patches list (OneFS 8.0 or newer) -or- isi pkg info (OneFS 7.x or older)
Появляется вывод, аналогичный следующему:
IsiFw_Package_v8.2: Isilon firmware packages contain firmware images that may be used to update certain devices in your cluster. To install this firmware package, use the 'isi pkg install <package-filename>' command. Note that the act of installing the package will not automatically update your devices. Once installed, please refer to 'isi firmware --help' or the firmware section in 'man isi' for more information.
- Удалите пакет обновления микропрограммы, где <package-filename> или <patch> — имя файла пакета микропрограммы:
isi upgrade patches uninstall --patch=<patch> (OneFS 8.0 or newer) -or- isi pkg delete <package-filename> (OneFS 7.x or older)
- Выполните следующую команду, чтобы убедиться, что корневой каталог находится ниже порогового значения оповещений:
isi_for_array -s 'df -h /'
Появляется вывод, аналогичный следующему:
mycluster-1: Filesystem Size Used Avail Capacity Mounted on mycluster-1: /dev/imdd0a 496M 445M 11M 97% / mycluster-2: Filesystem Size Used Avail Capacity Mounted on mycluster-2: /dev/imdd0a 496M 445M 12M 97% / mycluster-3: Filesystem Size Used Avail Capacity Mounted on mycluster-3: /dev/imdd0a 496M 445M 12M 97% /
- Удалите все существующие оповещения:
isi event bulk --resolved=true (OneFS 8.0 or newer) -or- isi events cancel all (OneFS 7.x or older)
- Если проблема не устранена, перейдите к этапу 3.
Фаза 3. Обратитесь в службу технической поддержки Isilon
Если не удается определить, почему корневой каталог (/) близок к емкости или превышает ее, выполните следующие действия:
- Соберите системные журналы, выполнив следующую команду:
isi_gather_info -s 'ls -lhat /' -s 'du -axh / | sort -rn' -s 'du -xhd1 /'
Журналы автоматически загружаются в службу технической поддержки Dell.
- Обратитесь в службу технической поддержки Dell за помощью в устранении неполадки.