OpenShift 이벤트 코드: 1038노드0007

파일 시스템의 공간이 부족해지기 시작하면 일반적으로 시스템 성능이 점진적으로 저하됩니다.

파일 시스템이 꽉 차서 공간이 부족해지면 파일 시스템에 써야 하는 프로세스가 더 이상 이 작업을 수행할 수 없으므로 데이터가 손실되고 시스템이 불안정해질 수 있습니다.

이 NodeFilesystemSpaceFillingUp 다음 두 조건이 충족되면 알림이 트리거됩니다.

• 현재 파일 시스템 사용량이 특정 임계값을 초과합니다.
• 외삽 알고리즘은 파일 시스템이 일정 시간 내에 공간이 부족해질 것으로 예측합니다. 기간이 24시간 미만인 경우 Warning 경고. 시간이 4시간 미만인 경우 Critical 경고.

진단

• 대시보드에서 파일 시스템 사용의 최근 추세를 연구합니다. 경우에 따라 파일 시스템에서 주기적인 쓰기 및 정리 패턴으로 인해 선형 예측 알고리즘이 잘못된 경고를 트리거할 수 있습니다.

• Linux 운영 체제 툴 및 유틸리티를 사용하여 파일 시스템에서 가장 많은 공간을 사용하는 디렉토리를 조사합니다. 프로세스가 자체적으로 정리되지 않고 많은 양의 공간을 사용하는 것과 같은 문제가 불규칙한 상태입니까? 아니면 문제가 유기적 성장과 관련이 있는 것 같습니까?

진단에 도움이 되도록 PromQL에서 다음 메트릭을 확인합니다(OCP 웹 콘솔에서 쿼리 실행: Observe → Metrics → Run queries):

node_filesystem_free_bytes

그런 다음 mountpoint 알림에 대한 레이블입니다.

완화

만일 mountpoint label이 /, /sysroot 또는 /var에서 사용하지 않는 이미지를 제거하여 문제를 해결합니다.

1. 노드 파일 시스템을 액세스하여 노드를 디버깅합니다.

   $ NODE_NAME=<경고>의 인스턴스 레이블 $ oc -n 기본 디버그 노드/$NODE_NAME $ chroot /호스트

    

2. 댕글링 이미지 제거:

   $ podman 이미지 -q -f dangling=true | xargs --no-run-if-empty podman rmi

    

3. 사용하지 않는 이미지 제거:

   $ podman 이미지 | grep -v -e registry.redhat.io -e "quay.io/openshift" -e registry.access.redhat.com -e docker-registry.usersys.redhat.com -e docker-registry.ops.rhcloud.com -e rhmap | xargs --no-run-if-empty podman rmi 2> / dev / null

4. 디버그를 종료합니다.

   $ 종료 $ 종료

    

지원

위의 모든 단계를 수행해도 문제를 해결할 수 없는 경우 Dell EMC 기술 지원 부서에 문의하여 추가 조사를 받으십시오.