Kod zdarzenia Openshift: 1038CLST0008
Summary: I-węzły PersistentVolumeInodes zapełniają się.
Symptoms
Pakiet KubePersistentVolumeInodesFillingUp Alert jest wyzwalany, gdy w woluminie trwałym w jednej z systemowych przestrzeni nazw pozostało mniej niż 3% przydzielonych i-węzłów. Przestrzenie nazw systemu obejmują: default i te, które mają imiona zaczynające się od openshift- lub kube-.
Znaczne użycie i-węzłów przez składnik systemowy może uniemożliwić jego normalne działanie. Znaczne użycie i-węzłów może również prowadzić do częściowej lub pełnej awarii klastra.
Cause
Powody, dla których wolumin się zapełnia, mogą być różne. Ten artykuł bazy wiedzy nie obejmuje przyczyn specyficznych dla aplikacji, a jedynie środki zaradcze dla woluminów, które są prawidłowo wypełniane.
Jak zawsze należy zapoznać się z zalecanymi scenariuszami dla danej usługi.
Resolution
Diagnoza
Etykiety alertów zawierają nazwę PVC (persistent volume claim) skojarzonego z woluminem, w którym zaczyna brakować miejsca do magazynowania. Etykiety zawierają również przestrzeń nazw, w której znajduje się substancja PVC. Użyj tych informacji, aby wyświetlić wykres dostępnego magazynu w konsoli internetowej OpenShift (Obserwuj metryki → → Uruchamiaj zapytania).
Poniżej znajduje się przykładowe zapytanie dotyczące PVC skojarzonego z wystąpieniem rozwiązania Prometheus w przestrzeni nazw openshift-monitoring:
kubelet_volume_stats_inodes_used{
namespace="openshift-monitoring",
persistentvolumeclaim="prometheus-k8s-db-prometheus-k8s-0"
}
|
Stan woluminu można sprawdzić ręcznie, aby określić, który katalog zużywa dużą liczbę i-węzłów:
$ PVC_NAME='<PersistentVolumeClaim etykieta z alertu>' $ NAMESPACE='<etykieta przestrzeni nazw z alertu>' $ oc -n $NAMESPACE opisują pvc $PVC_NAZWA_ $ POD_NAME='<"Używane przez:" z powyższego wyniku>' $ oc -n $NAMESPACE rsh $POD_NAZWA_ $ cd /ścieżka/do/montowania-pvc $ ls -li . Statystyka $ |
Łagodzenia
Rozwiązanie tego problemu zależy od całkowitej liczby plików, katalogów i dowiązań symbolicznych. Nie można zwiększyć liczby i-węzłów w systemie plików po jego utworzeniu. Można jednak dostosować konfigurację składnika korzystającego z woluminu tak, aby tworzył on mniej plików, katalogów i dowiązań symbolicznych.
Wsparcie
Jeśli wszystkie powyższe czynności nie rozwiążą problemu, skontaktuj się z działem pomocy technicznej firmy Dell EMC w celu dokładniejszego zbadania problemu.