OpenShiftイベント コード: 1030ノード0005

ノードのファイル システムがいっぱいになると、広範囲に悪影響を及ぼす可能性があります。この問題により、そのノードにスケジュールされている一部またはすべてのアプリケーションで、パフォーマンスの低下から完全に動作不能まで、さまざまな問題が発生する可能性があります

関連するノードとファイル システムによっては、この問題がクラスターの安定性に重大な脅威をもたらす可能性があります。

NodeFilesystemAlmostOutOfSpaceアラートは、NodeFilesystemSpaceFillingUpアラートと似ていますが、一定の時間内にファイル システムがいっぱいになるという予測に基づくのではなく、単純な静的閾値を使用します

このアラートは、ファイル システムに残りのスペースが5%ある場合は警告レベル、残りのスペースが3%の場合は重大レベルになります。

診断:
ダッシュボードでファイル システムの使用状況の最近の傾向を調査します。ファイル システムでの書き込みとクリーンアップの定期的なパターンにより、線形予測アルゴリズムによって誤ったアラートがトリガーされることがあります

Linuxオペレーティング システムのツールとユーティリティーを使用して、ファイル システムで最も多くの領域を使用しているディレクトリーを調べます。問題は、プロセスがそれ自体のクリーンアップに失敗し、大量のスペースを使用しているなど、不規則な状態ですか? それとも、問題は有機的成長に関連しているように見えますか

診断に役立つように、PromQLで次のメトリックを監視します(OCP Webコンソールでクエリーを実行します。→メトリック→クエリの実行)を観察):

node_filesystem_free_bytes

次に、 mountpoint アラートのラベル。

緩和策：

ここで、 mountpoint label が /、 /sysroot または /varで、未使用の画像を削除して問題を解決します。

1.ノード ファイル システムにアクセスしてノードをデバッグします:
$ NODE_NAME=<instance label from alert>
$ oc -n default debug node/$NODE_NAME
$ chroot /host

2.ぶら下がっているイメージを削除します:
$ podman images -q -f dangling=true | xargs --no-run-if-empty podman rmi

3.使用されていないイメージを削除します:
$ podman images | grep -v -e registry.redhat.io -e "quay.io/openshift" -e registry.access.redhat.com -e docker-registry.usersys.redhat.com -edocker-registry.ops.rhcloud.com -e rhmap |xargs--no-run-if-empty podman rmi 2>/dev/null

4.exit debug:
$ exit
$ exit

サポート:
上記のすべての手順で問題を解決できない場合は、Dell EMCテクニカル サポートに連絡して調査を依頼してください。