Data Domain : limites du nombre maximal de fichiers par répertoire et impact sur les performances de DDFS
Summary: Les Data Domain Restorers (DDR) exécutent un système de fichiers propriétaire appelé Data Domain File System (DDFS). En raison de la façon dont DDFS stocke les données et les métadonnées correspondantes, il existe des limites quant au nombre maximal de fichiers pouvant être stockés dans un même répertoire. Le dépassement de ces limites peut entraîner une dégradation des performances, des délais d’expiration et une instabilité du système. Cet article explique les limites du fichier de répertoire, la raison technique de ces limites et les risques encourus en cas de non-respect des limites. ...
Symptoms
Lorsque le nombre maximal de fichiers dans un répertoire est dépassé, la DDR peut rencontrer les problèmes suivants :
-
Dégradation des performances pour les opérations DDFS régulières, y compris les sauvegardes, les restaurations et la réplication.
-
Le délai d’expiration de DDFS entraîne l’interruption des opérations normales.
-
Le DDFS présente un fonctionnement inattendu et redémarre, ce qui entraîne des interruptions de service.
-
Erreurs de délai d’expiration NFS dans les journaux DDR similaires à ce qui suit :
06/04 12:35:42.994 (tid 0x2c7a230): ERROR: Async rpc procedure (NFSPROC3_EXTLOOKUP) timed out. 06/04 12:45:27.796 (tid 0x2c7a230): ERROR: Async rpc procedure (NFSPROC3_GETATTR) timed out.
Cause
DDFS stocke les fichiers dans une arborescence de répertoires similaire aux autres implémentations de système de fichiers. Chaque répertoire est associé à des métadonnées appelées fichier de répertoire. Le fichier de répertoire contient des informations telles que :
- Noms des fichiers et sous-répertoires du répertoire
- Emplacements des fichiers et sous-répertoires dans le répertoire
Lorsque des fichiers et sous-répertoires sont créés, renommés ou supprimés, le fichier de répertoire doit être mis à jour pour refléter les modifications. Le fichier de répertoire peut devenir très volumineux et sera constamment dans un état de flux si le répertoire :
- Contient un très grand nombre de fichiers.
- Enregistre une grande quantité de pertes de fichiers (créations, renommages et suppressions fréquents).
Un certain nombre d’opérations DDFS standard nécessitent de lire le fichier de répertoire pour découvrir le contenu d’un répertoire. Si le fichier de répertoire est volumineux, ces opérations prennent beaucoup de temps, ce qui affecte les performances et la stabilité du système.
Resolution
Un certain nombre d’opérations DDFS standard nécessitent de lire le fichier de répertoire pour découvrir le contenu d’un répertoire. Si le fichier de répertoire est volumineux, ces opérations peuvent prendre beaucoup de temps, ce qui peut affecter les performances et la stabilité du système.
Par conséquent, il existe différentes recommandations pour le nombre maximal de fichiers dans un répertoire, comme indiqué ci-dessous :
- 250 000 fichiers maximum dans un seul répertoire
- 250 millions de fichiers maximum dans une seule structure MTree
- 1 milliard maximum (1 000 000 000) de fichiers au total dans un système de fichiers DD