Data Domain: numero massimo di file per directory Limiti e impatto sulle prestazioni di DDFS
Summary: I Data Domain Restorer (DDR) eseguono un file system proprietario noto come Data Domain File System (DDFS). A causa del modo in cui DDFS memorizza i dati e i metadati corrispondenti, esistono limiti al numero massimo di file che possono essere archiviati in una singola directory. Il superamento di questi limiti può causare prestazioni degradate, timeout e instabilità del sistema. In questo articolo vengono illustrati i limiti dei file di directory, il motivo tecnico dei limiti e i rischi in caso di mancato rispetto dei limiti. ...
Symptoms
Quando viene superato il numero massimo di file in una singola directory, il DDR potrebbe riscontrare:
-
Prestazioni ridotte per le normali operazioni DDFS, inclusi backup, ripristini e replica.
-
Timeout DDFS che causano l'interruzione delle normali operazioni.
-
DDFS presenta un errore irreversibile e si riavvia con conseguente interruzione del servizio.
-
Errori di timeout NFS nei registri DDR simili ai seguenti:
06/04 12:35:42.994 (tid 0x2c7a230): ERROR: Async rpc procedure (NFSPROC3_EXTLOOKUP) timed out. 06/04 12:45:27.796 (tid 0x2c7a230): ERROR: Async rpc procedure (NFSPROC3_GETATTR) timed out.
Cause
DDFS archivia i file in una gerarchia di directory ad albero simile ad altre implementazioni del file system. A ogni directory sono associati metadati indicati come file di directory. Il file di directory contiene informazioni quali:
- Nomi dei file e delle sottodirectory nella directory
- Posizioni dei file e delle sottodirectory nella directory
Man mano che i file e le sottodirectory vengono creati, rinominati o eliminati, il file di directory deve essere aggiornato per riflettere le modifiche. Il file di directory può diventare molto grande e sarà costantemente in uno stato di flusso se la directory:
- Contiene un numero molto elevato di file.
- Si verifica una grande quantità di varianza di file (creazioni, ridenominazioni ed eliminazioni frequenti).
Un certo numero di operazioni DDFS standard richiedono la lettura del file di directory per individuare il contenuto di una directory. Se il file di directory è di grandi dimensioni, il completamento di queste operazioni richiede una durata estesa, che influisce sulle prestazioni e sulla stabilità del sistema.
Resolution
Un certo numero di operazioni DDFS standard richiede la lettura del file di directory per individuare il contenuto di una directory. Se il file di directory è di grandi dimensioni, il completamento di queste operazioni può richiedere una durata estesa, il che può influire sulle prestazioni e sulla stabilità del sistema.
Di conseguenza, sono disponibili vari suggerimenti per il numero massimo di file in una directory, come illustrato di seguito:
- Massimo 250.000 file in una singola directory
- Massimo 250 milioni di file in un singolo MTree
- Massimo 1 miliardo (1.000.000.000) di file in totale in qualsiasi file system DD