OpenShiftイベント コード: 1038NODE0007
Résumé: ファイルシステムは、今後4時間以内にスペース不足になると予測されます。
Symptômes
ファイル システムの領域が少なくなり始めると、通常、システム パフォーマンスは徐々に低下します。
ファイル システムがいっぱいになり、領域が不足すると、ファイル システムに書き込む必要があるプロセスが書き込めなくなり、データが失われ、システムが不安定になる可能性があります。
Cause
「 NodeFilesystemSpaceFillingUp アラートは、次の2つの条件が満たされるとトリガーされます。
- 現在のファイル システムの使用率が特定の閾値を超えています。
- 外挿アルゴリズムは、一定の時間内にファイル システムのスペースが不足すると予測します。期間が24時間未満の場合、これは
Warning警告。時間が4時間未満の場合、これはCritical警告。
Résolution
診断
-
ダッシュボードでのファイル システム使用状況の最近の傾向を調査します。ファイル システムでの書き込みとクリーンアップの定期的なパターンによって、線形予測アルゴリズムが誤ったアラートをトリガーすることがあります。
-
Linuxオペレーティング システムのツールとユーティリティーを使用して、ファイル システムで最も多くの領域を使用しているディレクトリーを調べます。問題は、プロセスがそれ自体のクリーンアップに失敗し、大量のスペースを使用しているなど、不規則な状態ですか? それとも、問題は有機的な成長に関連しているように見えますか?
診断に役立つように、PromQLで次のメトリックを監視します(OCP Webコンソールでクエリを実行します。→メトリック→クエリーの実行)を確認します。
node_filesystem_free_bytes |
次に、 mountpoint アラートのラベル。
緩和
ここで、 mountpoint label が /、 /sysroot または /varで、未使用の画像を削除して問題を解決します。
-
ノード ファイル システムにアクセスして、ノードをデバッグします。
$ NODE_NAME=アラートからのインスタンス ラベル<> $ oc -n default debug node/$NODE_NAME $ chroot /ホスト
-
ぶら下がっている画像を削除する:
$ podman images -q -f dangling=true |xargs--no-run-if-empty podman rmi
-
未使用の画像を削除する:
$ podman 画像 |grep -v -e registry.redhat.io -e "quay.io/openshift" -e registry.access.redhat.com -e docker-registry.usersys.redhat.com -e docker-registry.ops.rhcloud.com -e rhmap |xargs--no-run-if-empty podman rmi 2>/dev/null
-
デバッグを終了します。
$ 終了 $ 終了
サポート
上記のすべての手順で問題を解決できない場合は、Dell EMCテクニカル サポートに連絡して調査を依頼してください。