Data Domain:過剰なBoostFS READDIR操作が原因でCPU使用率が高くなる

スループットが低く、アクティブなストリームが最小限である期間でも、CPU使用率は常に高く、多くの場合80%を超えます。
SAR統計で観察されたシステム(%system)のCPU使用率の上昇。
バックアップまたはレプリケーションのワークロードと相関のない、高いシステム負荷平均。
DDFSプロセスは、予想よりもかなり多くのCPUリソースを消費します。
パフォーマンス分析では、READDIRPLUS 関連のコード パスで重要なアクティビティが示されています
多数の OSTREADDIRPLUS または ddp_readdir Autosupportデータで観察された操作。
バックアップ、リストア、またはファイル アクセス操作が予想よりも遅くなる場合があります。
アクティブなTCP接続数が増加し、接続拒否アラートが発生する可能性がある。
頻繁 "5006-end of directory" BoostFSログまたはDDFSログにメッセージが表示される場合があります
1 つ dd_guts 他のスケジューラ スレッドが比較的アイドル状態のままなのに、スケジューラー スレッドが頻繁に使用されているように見える場合があります
NFS RPCレイヤーの統計情報が昇格して表示される場合がある data_wait 、 svc_func 値は次のとおりです。

分析の結果、過剰な READDIR 、 READDIRPLUS BoostFSでマウントされたファイル システムから発生した操作が、CPUの利用率の上昇に寄与していました。

過去の調査により、自動インデックス作成、セキュリティ スキャン、監視ユーティリティー、ファイル システム トラバーサル プロセスでは、大量のディレクトリ列挙要求が生成される可能性があり、バックアップ ワークロードが比較的低い場合でも、DDFSとカーネルCPUの使用率が増加する可能性があります。

過剰の一般的な原因 READDIR アクティビティには次のものが含まれます。

mlocate/updatedb インデックス作成プロセス、BoostFSマウント ポイントのスキャン。
セキュリティおよびウイルス対策スキャン アプリケーション。
マウントされたファイル システムをポーリングするモニタリングおよびヘルス チェック ツール。
再帰的なディレクトリー リストやstat操作など、頻繁なファイル システム列挙アクティビティ。
大規模なディレクトリー構造を繰り返しトラバースするBoostFSまたはSDKインターフェイスを使用するアプリケーション。
ファイル システムの継続的な検出またはインベントリー収集を実行する自動スクリプト。

これらの活動は、何百万もの READDIR 1日あたりの処理数が増加し、DDFSと基盤となるファイル システム内でかなりの処理オーバーヘッドが発生します。

ディレクトリーの列挙、インデックス作成、モニタリング、スキャン アクティビティを頻繁に実行するアプリケーションについては、BoostFSマウントを備えたシステムをレビューします。

推奨されるアクションは次のとおりです。

過剰な READDIR BoostFSでマウントされたファイル システムに対するアクティビティ。
BoostFSマウント ポイントの除外 mlocate/updatedb PRUNEFS構成を更新することによるインデックス作成.
BoostFSマウントを対象とする不要なウイルス対策スキャン、セキュリティ スキャン、モニタリング ツール、ヘルス チェック プロセス、ファイル システム ポーリング アクティビティを確認して制限します
可能な限り、頻繁な再帰的なディレクトリー トラバーサル操作を削減または排除します。
モニター OSTREADDIRPLUS, ddp_readdir、CPUの利用率、および変更を実装した後の負荷平均。
Data DomainとBoostFSのベスト プラクティスに従って、スキャナー アプリケーションとインデックス作成アプリケーションがマウントされたバックアップ ファイル システムを継続的にトラバースするのを防止します。

履歴に関する調査では、BoostFSマウント ポイントを自動化から除外した後、CPUの利用率が大幅に減少することが示されています cron インデックス作成とスキャン アクティビティを実行するジョブ。

この動作は、過剰な READDIR これらのプロセスによって生成されるアクティビティは、DDFS CPU使用率の上昇に大きく寄与する可能性があります。

さらに、頻繁な "5006-end of directory" メッセージは、ディレクトリの読み取り操作が繰り返されることを示している場合があります。これらのメッセージの量は、 READDIR Data Domainシステムに対して発生するアクティビティ。BoostFSでマウントされたファイル システムでの読み取り操作は、通常、書き込み操作よりもコストが高くなるため、マウントされたバックアップ ネームスペースの不必要なスキャンやトラバーサルを回避することが重要です。

小切手 cron BoostFSクライアント上のジョブ:

ls -l /etc/cron.daily

Data Domain: セキュリティ スキャナー ソフトウェアまたはアプリケーションに関するBoostFSの問題

Data Domain:BoostFSの接続、マウント、パフォーマンスに関する問題のトラブルシューティング