OpenShift 이벤트 코드: 1030노드0005

노드의 파일 시스템이 가득 차면 광범위한 부정적인 영향을 미칠 수 있습니다. 이 문제로 인해 해당 노드에 예약된 애플리케이션의 일부 또는 전부가 성능 저하에서 완전히 작동 불능 상태가 될 수 있습니다.

관련된 노드 및 파일 시스템에 따라 이 문제는 클러스터의 안정성에 심각한 위협이 될 수 있습니다.

NodeFilesystemAlmostOutOfSpace 알림은 NodeFilesystemSpaceFillingUp 알림과 비슷하지만 파일 시스템이 특정 시간 내에 가득 차게 될 것이라는 예측을 기반으로 하지 않고 간단한 정적 임계값을 사용합니다.

이 알림은 파일 시스템에 5%의 공간이 남아 있는 경우 경고 수준에서, 3%의 공간이 남아 있는 경우 위험 수준에서 트리거됩니다.

진단:
대시보드에서 파일 시스템 사용량의 최근 추세를 연구합니다. 경우에 따라 파일 시스템에서 주기적인 쓰기 및 정리 패턴으로 인해 선형 예측 알고리즘이 잘못된 경고를 트리거할 수 있습니다.

Linux 운영 체제 툴 및 유틸리티를 사용하여 파일 시스템에서 가장 많은 공간을 사용하는 디렉토리를 조사합니다. 프로세스가 자체적으로 정리되지 않고 많은 양의 공간을 사용하는 것과 같은 문제가 불규칙한 상태입니까? 아니면 문제가 유기적 성장과 관련이 있는 것 같습니까?

진단에 도움이 되도록 PromQL에서 다음 메트릭을 확인합니다(OCP 웹 콘솔에서 쿼리 실행: Observe → Metrics → Run queries):

node_filesystem_free_bytes

그런 다음 mountpoint 알림에 대한 레이블입니다.

완화 조치:

만일 mountpoint label이 /, /sysroot 또는 /var에서 사용하지 않는 이미지를 제거하여 문제를 해결합니다.

1. 노드 파일 시스템에 액세스하여 노드를 디버그합니다.
$ NODE_NAME=<instance label from alert>
$ oc -n default debug node/$NODE_NAME
$ chroot /host

2. 현수 이미지 제거:
$ podman images -q -f dangling=true | xargs --no-run-if-empty podman rmi

3. 사용하지 않는 이미지 제거:
$ podman 이미지 | grep -v -e registry.redhat.io -e "quay.io/openshift" -e registry.access.redhat.com -e docker-registry.usersys.redhat.com -e docker-registry.ops.rhcloud.com -e rhmap 명령 | xargs --no-run-if-empty podman rmi 2> / dev / null

4. 디버그 종료 :
$ exit
$ exit

지원:
위의 모든 단계를 수행해도 문제를 해결할 수 없는 경우 Dell EMC 기술 지원 부서에 문의하여 추가 조사를 받으십시오.