OneFS: Powiadomienie o zdarzeniu: Węzeł osiągnął co najmniej 95 procent wykorzystanej pojemności w głównym systemie plików
Summary: W starszych węzłach Isilon IQ serii X i NL katalog główny (/) ma maksymalny rozmiar 500 MB i wskazuje co najmniej 95% wykorzystanej pojemności. Dzieje się tak nawet wtedy, gdy nie zainstalowano żadnych dodatkowych plików użytkownika ani pakietów oprogramowania wewnętrznego. Nowsze węzły mają katalogi główne o rozmiarze 1 GB i zwykle pokazują 49% wykorzystanej pojemności. ...
Symptoms
Zdarzenie
Node reached 95% used capacity on the root file system.
-Lub-
The root partition is near capacity.
Event ID: 100010003
Cause
Szczegóły
Zdarzenie to wskazuje, że partycja główna w co najmniej jednym węźle zbliża się do zapełnienia pojemności.
Zdarzenie to może wystąpić z kilku powodów. Dwa najczęstsze powody to:
- Użytkownik przeniósł plik do nieokreślonego katalogu głównego zamiast do katalogu /ifs .
- Oprogramowanie wewnętrzne węzła zostało uaktualnione, ale pakiet oprogramowania wewnętrznego nie został usunięty.
Resolution
Odpowiedź
Rozwiąż przyczynę tego alertu, wykonując co najmniej jedną z poniższych procedur.
WAŻNY!
Nie usuwaj ani nie instaluj żadnych poprawek oprogramowania, gdy partycja główna jest zapełniona lub prawie zapełniona. Próba zainstalowania/usunięcia poprawki, gdy partycja główna jest pełna, może spowodować niepowodzenie procesu instalacji lub usuwania poprawki. Jeśli proces instalacji lub usuwania nie powiedzie się w klastrze z pełną partycją główną, może to uniemożliwić przywrócenie poprzedniej konfiguracji systemu. W takiej sytuacji może dojść do sytuacji, w której klaster będzie niestabilny lub niedostępny.
Więcej informacji na temat utrzymywania wystarczającej ilości wolnego miejsca w klastrze Isilon można znaleźć w podręczniku zarządzania pojemnością klastra w witrynie pomocy technicznej online firmy Dell.
Faza 1: Usuń pliki, które nie należą do katalogu głównego (/).
- Sprawdź komunikat ostrzegawczy, aby określić system plików, którego dotyczy problem. Komunikat identyfikuje klaster i węzły (według numeru węzła), które wygenerowały alert. Komunikat identyfikuje również system plików jako jeden z następujących: ifs, var, crash lub root.
- W węźle, który wygenerował alert, uruchom następujące polecenie, aby wyświetlić listę wszystkich plików w katalogu głównym, które są większe niż 5 MB:
find -x / -type f -size +10000 -exec ls -lh {} \; | awk '{ print $9 ": " $5 }'
Zostaną wyświetlone dane wyjściowe podobne do następujących:
/boot/kernel.amd64/efs.ko: 10M /usr/libexec/cc1: 6.6M /usr/libexec/cc1plus: 7.2M /usr/libexec/cc1obj: 6.6M /usr/local/lib/libxerces-c-3.1.so: 5.6M /usr/local/lib/libxerces-c.so: 5.6M /usr/local/sbin/nmbd: 9.9M /usr/local/connectemc/connectemc: 15M /usr/local/aspera/sbin/asperacentral: 5.0M
Powyższy przykładowy wynik zawiera listę plików, które zwykle znajdują się w katalogu głównym. Plików tych nie należy usuwać.
- W danych wyjściowych poszukaj plików, które zwykle nie należą do katalogu głównego. Na przykład plik instalatora OneFS, zbiory dzienników lub plik utworzony przez użytkownika. (Zobacz przykładowe dane wyjściowe w poprzednim kroku dla plików, które należą do katalogu głównego i nie powinny być usuwane).
- Usuń pliki lub przenieś je do katalogu /ifs. Jeśli nie masz pewności, jakie pliki usunąć, skontaktuj się z działem pomocy technicznej Isilon w celu uzyskania pomocy.
Uruchom następujące polecenie, aby sprawdzić, czy katalog główny (/) znajduje się poniżej progu alertu:
isi_for_array -s 'df -h /'
Zostaną wyświetlone dane wyjściowe podobne do następujących:
Filesystem Size Used Avail Capacity Mounted on /dev/imdd0a 496M 445M 11M 94% /
- Wyczyść wszystkie istniejące alerty:
isi event bulk --resolved=true (OneFS 8.0 or newer) -or- isi events cancel all (OneFS 7.x or older)
- Jeśli miejsce nie zostanie odzyskane po usunięciu dużych plików, poszukaj procesu, w którym plik jest nadal otwarty. Ten proces należy zatrzymać, aby zamknąć uchwyt pliku zawierający spację. Zobacz artykuł 322712Jak używać polecenia fstat do wyświetlania listy otwartych plików w węźle.
- Jeśli problem nie zostanie rozwiązany, przejdź do fazy 2.
Faza 2: Usuń pakiety oprogramowania wewnętrznego węzła Isilon.
Instrukcje dołączone do pakietów oprogramowania wewnętrznego węzła Isilon obejmują krok usuwania pakietu oprogramowania wewnętrznego po jego zainstalowaniu. Jeśli ten krok nie zostanie wykonany, może to spowodować przekroczenie pojemności katalogu głównego.
- Uruchom następujące polecenie, aby potwierdzić, że pakiet oprogramowania wewnętrznego jest zainstalowany w klastrze:
isi upgrade patches list (OneFS 8.0 or newer) -or- isi pkg info (OneFS 7.x or older)
Zostaną wyświetlone dane wyjściowe podobne do następujących:
IsiFw_Package_v8.2: Isilon firmware packages contain firmware images that may be used to update certain devices in your cluster. To install this firmware package, use the 'isi pkg install <package-filename>' command. Note that the act of installing the package will not automatically update your devices. Once installed, please refer to 'isi firmware --help' or the firmware section in 'man isi' for more information.
- Usuń pakiet aktualizacji oprogramowania wewnętrznego, gdzie <nazwa-pliku> pakietu <lub poprawka> jest nazwą pliku pakietu oprogramowania wewnętrznego:
isi upgrade patches uninstall --patch=<patch> (OneFS 8.0 or newer) -or- isi pkg delete <package-filename> (OneFS 7.x or older)
- Uruchom następujące polecenie, aby potwierdzić, że katalog główny znajduje się poniżej progu alertu:
isi_for_array -s 'df -h /'
Zostaną wyświetlone dane wyjściowe podobne do następujących:
mycluster-1: Filesystem Size Used Avail Capacity Mounted on mycluster-1: /dev/imdd0a 496M 445M 11M 97% / mycluster-2: Filesystem Size Used Avail Capacity Mounted on mycluster-2: /dev/imdd0a 496M 445M 12M 97% / mycluster-3: Filesystem Size Used Avail Capacity Mounted on mycluster-3: /dev/imdd0a 496M 445M 12M 97% /
- Wyczyść wszystkie istniejące alerty:
isi event bulk --resolved=true (OneFS 8.0 or newer) -or- isi events cancel all (OneFS 7.x or older)
- Jeśli problem nie zostanie rozwiązany, przejdź do Fazy 3.
Faza 3: Skontaktuj się z zespołem pomocy technicznej Isilon
Jeśli nie można ustalić, dlaczego katalog główny (/) znajduje się w pobliżu lub powyżej pojemności, wykonaj następujące czynności:
- Zbierz dzienniki systemowe, uruchamiając następujące polecenie:
isi_gather_info -s 'ls -lhat /' -s 'du -axh / | sort -rn' -s 'du -xhd1 /'
Dzienniki są automatycznie przesyłane do działu pomocy technicznej firmy Dell.
- Skontaktuj się z działem pomocy technicznej firmy Dell , aby uzyskać pomoc w rozwiązaniu problemu.