Data Domain:ディレクトリーあたりの最大ファイル数の制限とDDFSのパフォーマンス インパクト
Summary: DDR(Data Domain Restorers)は、DDFS(Data Domainファイル システム)と呼ばれる独自のファイル システムを実行します。DDFS がデータと対応するメタデータを格納する方法により、1 つのディレクトリに格納できるファイルの最大数には制限があります。これらの制限を超えると、パフォーマンスの低下、タイムアウト、システムの不安定性が発生する可能性があります。この記事では、ディレクトリー ファイルの制限、制限の技術的な理由、制限が守られていない場合のリスクについて説明します。 ...
Symptoms
1つのディレクトリー内のファイルの最大数を超えると、DDRで次の処理が発生する可能性があります。
-
バックアップ、リストア、レプリケーションを含む通常のDDFS操作のパフォーマンスが低下します。
-
DDFSタイムアウトにより、通常の操作が中断されます。
-
DDFSでパニックが発生して再起動し、その結果、サービスが中断します。
-
次のような、DDRログにNFSタイムアウト エラーが記録されます。
06/04 12:35:42.994 (tid 0x2c7a230): ERROR: Async rpc procedure (NFSPROC3_EXTLOOKUP) timed out. 06/04 12:45:27.796 (tid 0x2c7a230): ERROR: Async rpc procedure (NFSPROC3_GETATTR) timed out.
Cause
DDFSは、他のファイル システムの実装と同様に、ディレクトリー ツリー階層にファイルを格納します。各ディレクトリーには、ディレクトリー ファイルと呼ばれるメタデータが関連づけられています。ディレクトリー ファイルには、次のような情報が含まれています。
- ディレクトリ内のファイルとサブディレクトリの名前
- ディレクトリ内のファイルとサブディレクトリの場所
ファイルとサブディレクトリーの作成、名前変更、または削除を行った場合は、ディレクトリー ファイルを更新して変更を反映させる必要があります。ディレクトリー ファイルは非常に大きくなる可能性があり、次のようなディレクトリーは常に流動的な状態になります。
- 非常に多くのファイルが含まれています。
- 大量のファイル チャーン(頻繁な作成、名前変更、削除)が発生します。
多くの標準的なDDFS操作では、ディレクトリーの内容を検出するためにディレクトリー ファイルを読み取る必要があります。ディレクトリー ファイルが大きい場合、これらの操作が完了するまでに長い時間がかかり、システムのパフォーマンスと安定性に影響します。
Resolution
多くの標準的なDDFS操作では、ディレクトリーの内容を検出するためにディレクトリーファイルを読み取る必要があります。ディレクトリファイルが大きい場合、これらの操作が完了するまでに長時間かかることがあり、システムのパフォーマンスと安定性に影響を与える可能性があります。
この結果、次に示すように、ディレクトリ内のファイルの最大数に関するさまざまな推奨事項があります。
- 1つのディレクトリーに最大25万個のファイル
- 1つのMTreeに最大2億5,000万個のファイル
- 任意のDDファイルシステムで合計最大10億(1,000,000,000)ファイルの数