Isilon: Powiadomienie o zdarzeniu: Partycja var jest bliska pojemności, identyfikator zdarzenia: 100010001
Summary: W tym artykule opisano sposób czyszczenia partycji Var w momencie prawie wykorzystanej pojemności.
Symptoms
Wyświetlane jest jedno
z następujących powiadomień o zdarzeniu:
The /var partition is near capacity (95% used) The /var partition is near capacity (85% used) The /var partition is near capacity (75% used)
Szczegóły
Gdy partycja /var osiągnie 75%, 85% lub 95% pojemności, zostanie zarejestrowane zdarzenie i wysłany alert.
Cause
Folder /var zawiera wiele dzienników, plików diagnostycznych, danych konfiguracyjnych i plików tymczasowych dla różnych funkcji klastra. Z biegiem czasu w folderze /var mogą gromadzić się różne dodatkowe pliki i powodować jego zapełnianie.
Ten /var/log/wtmp i pliki najazdu /var/log/wtmp.0, /var/log/wtmp.1, na przykład zwiększenie rozmiaru do ponad 10 MB. Czasami zwiększają się do 150 MB. Plik /var/log/wtmp file to binarny plik dziennika, który rejestruje dane logowania i wylogowywania. Plik menedżera dzienników, /etc/newsyslog.conf, nie archiwizuje w taki sam sposób, jak inne pliki dziennika, więc /var/log/wtmp może rosnąć i wypełniać katalog /var.
Resolution
Poniżej znajduje się domyślna zawartość partycji /var i krótki opis bardziej istotnych podkatalogów. O ile nie zaznaczono inaczej, zawartość i dane w katalogu /var i jego podkatalogach nie powinny być zmieniane ani usuwane.
ps9500x3-2# cd /var ps9500x3-2# ls .snap at backups db ifs lib patch spool account audit cache empty journal log preserve tmp agentx authpf crash games journal-peer mail run unbound apache2 backup cron heimdal krb5kdc msgs rwho yp .snap Snapshots. Do not touch. account Account information. Do not touch. agentx Empty but preserved for Agent Extensibility (AgentX) Protocol apache2 Apache Files. Do not touch. at Variable data. Do not touch. audit Audit Files. Do not touch. authpf Authentication gateway. Do not touch. backup System configuration backup files. Do not touch backups Group configuration backups. Do not touch cache System cache. Do not touch. crash Crash files, older files can be deleted if needed cron Cron jobs, do not touch db Database files. Do not touch empty Do not touch. games Empty but preserved. heimdal Kerberos 5 protocol. Do not touch. ifs Do not touch unless directed by support journal System Journal database journal-peer System Journal-peer database krb5kdc Kerberos KDC (Key Distribution Center) lib Likewise database files. Do not touch log Various System log files, can be cleared but zero's out the system logs. mail Mail sub-system files. msgs Message logs patch System patch database. Do not touch preserve Do not touch run Do not touch rwho Do Not Touch spool System Spool files. Do not touch. tmp Healthcheck items and vi recover. Do not touch. unbound Do Not Touch yp Do Not Touch
Dwa katalogi, na których należy się skupić, to /var/crash i /var/logs, ponieważ mogą one rosnąć i zajmować większość miejsca na dysku partycji /var.
Starsze pliki awarii w /var/crash można usunąć, jeśli nie są już potrzebne.
/var/logs można wyzerować i zresetować, jeśli dzienniki staną się zbyt duże. Należy pamiętać, że po zresetowaniu dzienników nie można już rozwiązywać wcześniejszych problemów.
Przejrzyj dane wyjściowe polecenia df dla partycji /var . W zależności od wyjścia należy wykonać co najmniej jedno z następujących zadań:
ps9500x3-2# df Filesystem 1K-blocks Used Avail Capacity Mounted on /dev/mirror/root0 1957292 871082 929628 48% / devfs 1 1 0 100% /dev /dev/mirror/var0 978604 51394 848922 6% /var /dev/mirror/var-crash 2946284 10 2710572 0% /var/crash /dev/mirror/keystore 61228 46 56284 0% /keystore /dev/md0 61166 2158 54116 4% /tmp/ufp /dev/md1.uzip 435751 406426 -5535 101% /base OneFS 246327840 2362592 173903776 1% /ifs ps9500x3-2#
Obracanie dzienników:
Szczegółowe instrukcje dotyczące obracania dzienników znajdują się w artykule bazy wiedzy 20315, Isilon: OneFS-Jak obrócić dzienniki systemowe dla węzła.Polecenie obracania dzienników:
newsyslog -f
Jeśli partycja /var wróci do normalnego poziomu użycia, należy sprawdzić listę ostatnio zapisanych dzienników w celu określenia, czy określony dziennik podlega częstej rotacji. Rotacja może rozwiązać problem wypełnienia partycji poprzez kompresję lub usunięcie dużych dzienników i starych dzienników, co automatycznie zmniejsza użycie partycji.
Sprawdź odsetek wolnych i-węzłów:
Otwórz połączenie SSH z węzłem, który zgłosił błąd, i zaloguj się przy użyciu konta "root".Uruchom następujące polecenie:
df -i |grep var |grep -v crashZostaną wyświetlone dane wyjściowe podobne do następujących:
Filesystem 1K-blocks Used Avail Capacity iused ifree %iused Mounted on /dev/mirror/var0 1013068 49160 882864 5% 1650 139276 100% /varJeśli wartość %iused wynosi 90% lub więcej, zmniejsz liczbę plików w partycji /var, korzystając z jednej z metod opisanych poniżej.
Określenie plików, które nie należą do partycji /var:
- W węźle, który wygenerował alert, uruchom następujące polecenie, aby wyświetlić listę plików na partycji /var , które są większe niż 5 MB:
find -x /var -type f -size +10000 -exec ls -lh {} \; | awk '{ print $9 ": " $5 }'
- W danych wyjściowych poszukaj plików, które zazwyczaj nie należą do partycji /var . Na przykład plik instalatora OneFS, zbiór dziennika lub plik utworzony przez użytkownika.
- Usuń pliki lub przenieś je do katalogu /ifs.
Usuń ręcznie pliki z partycji /var:
Po zidentyfikowaniu dodatkowych plików polecenia potrzebne do oczyszczenia katalogu /var zwykle obejmują polecenia Make Directory (mkdir), Copy (cp), Move (mv) i Remove (rm). Użytkownicy powinni najpierw zapoznać się z tymi podstawowymi poleceniami systemu UNIX/Linux.
Zawsze twórz kopię zapasową plików przed usunięciem lub przeniesieniem ich z pierwotnej lokalizacji.
Utwórz katalog, do którego chcesz przenieść lub skopiować dane kopii zapasowej, gdzie <dest> jest katalogiem docelowym. W tym katalogu należy najpierw skopiować kopie zapasowe wszystkich plików, które mają zostać usunięte.
# mkdir /ifs/data/Isilon_Support/<dest>
Kopiuj, przenieś lub usuń pliki zgodnie z potrzebami:
Aby skopiować plik lub katalog:
# cp <file> /ifs/data/Isilon_Support/<dest>
Rekursywnie kopiuj katalog.
# cp -R <directory> /ifs/data/Isilon_Support/<dest>
Aby przenieść plik lub katalog:
# mv <file> /ifs/data/Isilon_Support/<dest> # mv <directory> /ifs/data/Isilon_Support/<dest>
Aby usunąć/skasować plik:
# rm <file>
Określ, czy proces wstrzymuje otwarty duży plik.
Użyj polecenia fstat , aby wyświetlić listę otwartych plików w węźle lub katalogu lub wyświetlić listę plików otwartych przez proces. Lista plików otwartych może pomóc w monitorowaniu procesów, które zapisują duże pliki. Zobacz, jak użyć polecenia fstat do wyświetlenia listy otwartych plików w węźle, artykuł 21402, Isilon: Jak używać polecenia fstat do wyświetlania listy otwartych plików w węźle.
Jeśli żadne z powyższych zadań nie rozwiąże problemu, przejdź do następującego rozwiązania:
Ograniczenie rozmiaru pliku przepełnienia i skompresowanie pliku
- Otwórz połączenie SSH w węźle w klastrze i zaloguj się przy użyciu konta „root”.
- Uruchom następujące polecenia, aby utworzyć kopię zapasową piku /etc/newsyslog.conf:
cp /etc/newsyslog.conf /ifs/newsyslog.conf cp /etc/newsyslog.conf /etc/newsyslog.bak
- Otwórz plik /ifs/newsyslog.conf w edytorze tekstu.
- Znajdź następujący wiersz:
/var/log/wtmp 644 3 * @01T05 B
- Zmień wiersz na:
/var/log/wtmp 644 3 10000 @01T05 ZBZmiany te powodują, że system nawraca plik /var/log/wtmp po osiągnięciu 10 MB i kompresuje go za pomocą programu gzip.
- Zapisz i zamknij plik /ifs/newsyslog.conf .
- Uruchom następujące polecenie, aby skopiować zaktualizowany plik do wszystkich węzłów w klastrze:
isi_for_array 'cp /ifs/newsyslog.conf /etc/newsyslog.conf'
- Pliki dziennika obracają się automatycznie w razie potrzeby za pomocą zadania cron na półtorej godziny (/etc/crontab)
#minute hour mday month wday who command # # rotate log files every half-hour, if necessary 0,30 * * * * root newsyslogJeśli inne dzienniki często się zmieniają lub jeśli wykonanie powyższych czynności nie rozwiązało problemu, skontaktuj się z działem pomocy technicznej firmy Dell w celu uzyskania pomocy.