Isilon: Ereignisbenachrichtigung: Die var-Partition hat fast ihre Kapazität erreicht, Ereignis-ID: 100010001

Ereignis
Eine der folgenden Ereignisbenachrichtigungen wird ausgegeben:

The /var partition is near capacity (95% used)

The /var partition is near capacity (85% used)

The /var partition is near capacity (75% used)

ps9500x3-2# cd /var
ps9500x3-2# ls
.snap           at              backups         db              ifs             lib             patch           spool
account         audit           cache           empty           journal         log             preserve        tmp
agentx          authpf          crash           games           journal-peer    mail            run             unbound
apache2         backup          cron            heimdal         krb5kdc         msgs            rwho            yp


 .snap          Snapshots. Do not touch.
 account        Account information. Do not touch.
 agentx         Empty but preserved for Agent Extensibility (AgentX) Protocol
 apache2        Apache Files. Do not touch.
 at             Variable data. Do not touch.
 audit          Audit Files. Do not touch.
 authpf         Authentication gateway. Do not touch.
 backup         System configuration backup files. Do not touch
 backups        Group configuration backups. Do not touch
 cache          System cache. Do not touch.
 crash          Crash files, older files can be deleted if needed
 cron           Cron jobs, do not touch
 db             Database files. Do not touch
 empty          Do not touch.
 games          Empty but preserved.
 heimdal        Kerberos 5 protocol. Do not touch.
 ifs            Do not touch unless directed by support
 journal        System Journal database
 journal-peer   System Journal-peer database
 krb5kdc        Kerberos KDC (Key Distribution Center)
 lib            Likewise database files. Do not touch
 log            Various System log files, can be cleared but zero's out the system logs.
 mail           Mail sub-system files.     
 msgs           Message logs
 patch          System patch database. Do not touch
 preserve       Do not touch
 run            Do not touch
 rwho           Do Not Touch
 spool          System Spool files.  Do not touch.
 tmp            Healthcheck items and vi recover. Do not touch.
 unbound        Do Not Touch
 yp             Do Not Touch

Die beiden Verzeichnisse, auf die Sie sich konzentrieren sollten, sind /var/crash und /var/logs , da diese wachsen können und den größten Teil des Speicherplatzes in der /var-Partition belegen.

Ältere Absturzdateien in /var/crash können entfernt werden, wenn sie nicht mehr benötigt werden.

/ var/logs kann auf Null gesetzt und zurückgesetzt werden, wenn Protokolle zu groß werden. Denken Sie daran, dass es nach dem Zurücksetzen der Protokolle nicht mehr möglich ist, Fehler zu beheben und vergangene Probleme zu untersuchen.

Überprüfen Sie die df-Ausgabe für die /var-Partition . Führen Sie je nach Ausgabe eine oder mehrere der folgenden Aufgaben durch:
 

ps9500x3-2# df
Filesystem            1K-blocks    Used     Avail Capacity  Mounted on
/dev/mirror/root0       1957292  871082    929628    48%    /
devfs                         1       1         0   100%    /dev
/dev/mirror/var0         978604   51394    848922     6%    /var
/dev/mirror/var-crash   2946284      10   2710572     0%    /var/crash
/dev/mirror/keystore      61228      46     56284     0%    /keystore
/dev/md0                  61166    2158     54116     4%    /tmp/ufp
/dev/md1.uzip            435751  406426     -5535   101%    /base
OneFS                 246327840 2362592 173903776     1%    /ifs
ps9500x3-2#

Rotieren von Protokollen:

newsyslog -f

Wenn die /var-Partition auf ein normales Nutzungs-Level zurückkehrt, überprüfen Sie die Liste der kürzlich geschriebenen Protokolle, um festzustellen, ob ein bestimmtes Protokoll häufig rotiert wird. Durch Rotation kann das Problem der vollen Partition gelöst werden, indem große und alte Protokolle komprimiert oder entfernt werden. Dadurch wird die Partitionsnutzung automatisch reduziert.
 

Überprüfen Sie den Prozentsatz der freien Inodes:

df -i |grep var |grep -v crash

Filesystem            1K-blocks      Used       Avail Capacity iused       ifree %iused  Mounted on
/dev/mirror/var0          1013068   49160      882864      5%   1650      139276  100%   /var

Identifizieren Sie die Dateien, die nicht in die /var-Partition gehören:

1. Führen Sie auf dem Node, der die Warnmeldung generiert hat, den folgenden Befehl aus, um Dateien in der /var-Partition aufzulisten, die größer als 5 MB sind:

find -x /var -type f -size +10000 -exec ls -lh {} \; | awk '{ print $9 ": " $5 }'

2. Suchen Sie in der Ausgabe nach Dateien, die normalerweise nicht in die /var-Partition gehören. Hierbei handelt es sich beispielsweise um eine OneFS-Installationsdatei, Protokollerfassungen oder eine vom Nutzer erstellte Datei.
3. Entfernen Sie die Dateien oder verschieben Sie sie in das Verzeichnis /ifs. 

Entfernen Sie manuell Dateien aus der /var-Partition:

Sobald die zusätzlichen Dateien identifiziert wurden, umfassen die Befehle, die zum Bereinigen des / var-Verzeichnisses erforderlich sind, in der Regel Verzeichnis erstellen (mkdir), Kopieren (cp), Verschieben (mv) und Entfernen (rm). Nutzer sollten mit diesen grundlegenden UNIX-/Linux-Befehlen vertraut sein, bevor sie fortfahren.

Erstellen Sie immer eine Sicherungskopie der Dateien, bevor Sie sie löschen oder von ihrem ursprünglichen Speicherort verschieben.

Erstellen Sie ein Verzeichnis, in das Backupdaten verschoben oder kopiert werden sollen, wobei <"Ziel> " das Zielverzeichnis ist. In dieses Verzeichnis sollten Sicherungskopien aller Dateien, die gelöscht werden sollen, zuerst kopiert werden. 

# mkdir /ifs/data/Isilon_Support/<dest>

Dateien nach Bedarf kopieren, verschieben oder löschen:

So kopieren Sie eine Datei oder ein Verzeichnis:

# cp  <file>   /ifs/data/Isilon_Support/<dest>

Kopieren Sie ein Verzeichnis rekursiv.

# cp  -R <directory>   /ifs/data/Isilon_Support/<dest>

So verschieben Sie eine Datei oder ein Verzeichnis:

# mv <file>  /ifs/data/Isilon_Support/<dest>

# mv <directory>   /ifs/data/Isilon_Support/<dest>

So entfernen/löschen Sie eine Datei:

# rm <file>

Stellen Sie fest, ob ein Prozess eine große Datei geöffnet hat.

Verwenden Sie den Befehl fstat , um die geöffneten Dateien auf einem Node oder in einem Verzeichnis aufzulisten oder um die Dateien aufzulisten, die ein Prozess geöffnet hat. Eine Liste der geöffneten Dateien kann Ihnen dabei helfen, die Prozesse zu überwachen, die große Dateien schreiben. Weitere Informationen zur Verwendung des Befehls fstat zum Auflisten der offenen Dateien auf einem Node finden Sie in Artikel 21402, Isilon: So verwenden Sie den Befehl fstat, um die geöffneten Dateien auf einem Node aufzulisten.

Wenn sich das Problem durch keine der oben genannten Aufgaben beheben lässt, fahren Sie mit der folgenden Lösung fort:

Begrenzen Sie die Rollover-Dateigröße und komprimieren Sie die Datei

1. Öffnen Sie eine SSH-Verbindung auf einem beliebigen Node im Cluster und melden Sie sich mit dem „root“-Konto an.
2. Führen Sie die folgenden Befehle aus, um ein Backup der Datei /etc/newsyslog.conf zu erstellen:

cp /etc/newsyslog.conf /ifs/newsyslog.conf
cp /etc/newsyslog.conf /etc/newsyslog.bak

3. Öffnen Sie die Datei /ifs/newsyslog.conf in einem Texteditor.
4. Suchen Sie nach der folgenden Zeile:

/var/log/wtmp 644 3 * @01T05 B

5. Ändern Sie die Zeile zu:

/var/log/wtmp 644 3 10000 @01T05 ZB

6. Speichern und schließen Sie die Datei /ifs/newsyslog.conf .
7. Führen Sie den folgenden Befehl aus, um die aktualisierte Datei auf alle Nodes im Cluster zu kopieren:

isi_for_array 'cp /ifs/newsyslog.conf /etc/newsyslog.conf'

8. Protokolldateien rotieren automatisch, falls erforderlich, mit einem Cronjob zur vollen und halben Stunde (/etc/crontab)

#minute hour    mday    month   wday    who     command
#
# rotate log files every half-hour, if necessary
0,30    *       *       *       *       root    newsyslog