Data Domain: Maksimalt antal filer pr. mappegrænser og påvirkning af ydeevnen på DDFS
Summary: Data Domain Restorers (DDRs) kører et proprietært filsystem kaldet Data Domain File System (DDFS). På grund af hvordan DDFS gemmer data og tilsvarende metadata, er der grænser for det maksimale antal filer, der kan gemmes i en enkelt mappe. Overskridelse af disse grænser kan medføre forringet ydeevne, timeout og ustabilitet i systemet. I denne artikel forklares mappefilgrænserne, den tekniske årsag til grænseværdierne og risiciene, når grænseværdierne ikke overholdes. ...
Symptoms
Når det maksimale antal filer i en enkelt mappe overskrides, kan DDR opleve:
-
Forringet ydeevne til almindelige DDFS-handlinger, herunder sikkerhedskopiering, gendannelse og replikering.
-
DDFS-timeouts forårsager afbrydelse af normal drift.
-
DDFS går i panik og genstarter, hvilket resulterer i serviceafbrydelser.
-
NFS-timeoutfejl i DDR-logfilerne ligner følgende:
06/04 12:35:42.994 (tid 0x2c7a230): ERROR: Async rpc procedure (NFSPROC3_EXTLOOKUP) timed out. 06/04 12:45:27.796 (tid 0x2c7a230): ERROR: Async rpc procedure (NFSPROC3_GETATTR) timed out.
Cause
DDFS gemmer filer i et mappetræhierarki svarende til andre filsystemimplementeringer. Hver mappe har tilknyttede metadata, der kaldes katalogfilen. Mappen fil indeholder oplysninger såsom:
- Navne på filer og undermapper i mappen
- Placering af filer og undermapper i mappen
Efterhånden som filer og undermapper oprettes, omdøbes eller slettes, skal mappefilen opdateres for at afspejle ændringerne. Mappefilen kan blive meget stor og vil konstant være i en tilstand af flux, hvis mappen:
- Indeholder et meget stort antal filer.
- Oplever en stor mængde filafgang (opretter ofte, omdøber og sletter).
En række DDFS-standardhandlinger skal læse mappefilen for at finde indholdet af en mappe. Hvis mappefilen er stor, tager disse handlinger længere tid at fuldføre, hvilket påvirker systemets ydeevne og stabilitet.
Resolution
En række standard DDFS-operationer skal læse mappefilen for at finde indholdet af en mappe. Hvis mappefilen er stor, kan disse handlinger tage længere tid at fuldføre, hvilket kan påvirke systemets ydeevne og stabilitet.
Som et resultat af dette er der forskellige anbefalinger til det maksimale antal filer i en mappe som vist nedenfor:
- Maksimalt 250 tusind filer i en enkelt mappe
- Maksimalt 250 millioner filer i et enkelt MTree
- Maksimalt 1 milliard (1.000.000.000) filer i alt i ethvert DD-filsystem