Data Domain: Hög CPU-användning orsakad av överdrivna BoostFS READDIR-åtgärder

CPU-användningen förblir konsekvent hög, ofta över 80 %, även under perioder med lågt dataflöde och minimala aktiva strömmar.
Förhöjd systemprocessoranvändning (%system) som observerats i SAR-statistik.
Höga medelvärden för systembelastning som inte korrelerar med arbetsbelastningen för säkerhetskopiering eller replikering.
DDFS-processer förbrukar betydligt mer CPU-resurser än förväntat.
Prestandaanalys visar betydande aktivitet i READDIRPLUS-relaterade kodsökvägar.
Ett stort antal OSTREADDIRPLUS eller ddp_readdir åtgärder som observerats i Autosupport-data.
Säkerhetskopierings-, återställnings- och filåtkomståtgärder kan ta längre tid än förväntat.
Ökat antal aktiva TCP-anslutningar och möjliga aviseringar om avvisning av anslutning.
Frekvent "5006-end of directory" meddelanden kan observeras i BoostFS- eller DDFS-loggar.
En dd_guts Scheduler-tråden kan verka mycket använd medan andra scheduler-trådar förblir relativt inaktiva.
Statistik för NFS RPC-lager kan visa förhöjda data_wait och svc_func Värden

Analysen visade att alltför READDIR och READDIRPLUS åtgärder som kommer från BoostFS-monterade filsystem bidrog till ökad CPU-användning.

Historiska undersökningar har visat att automatiserad indexering, säkerhetsgenomsökning, övervakning av verktyg och filsystembläddringsprocesser kan generera stora volymer kataloguppräkningsbegäranden, vilket resulterar i ökad användning av DDFS och kernel-processorer även när arbetsbelastningen för säkerhetskopiering förblir relativt låg.

Vanliga källor till överdriven READDIR Verksamheten omfattar:

mlocate/updatedb Indexering bearbetar genomsökning av BoostFS-monteringspunkter.
Säkerhets- och antivirusgenomsökningsprogram.
Övervaknings- och hälsokontrollverktyg som avsöker monterade filsystem.
Frekventa uppräkningsaktiviteter för filsystem, till exempel rekursiva kataloglistor och stat-åtgärder.
Program som använder BoostFS- eller SDK-gränssnitt som upprepade gånger passerar stora katalogstrukturer.
Automatiserade skript som utför kontinuerlig identifiering av filsystem eller inventeringsinsamling.

Dessa aktiviteter kan generera miljontals READDIR åtgärder per dag, vilket skapar betydande bearbetningskostnader i DDFS och det underliggande filsystemet.

Granska system med BoostFS-monteringar för program som utför frekventa kataloguppräknings-, indexerings-, övervaknings- eller genomsökningsaktiviteter.

Rekommenderade åtgärder är:

Identifiera program som genererar för stora mängder READDIR aktivitet mot BoostFS-monterade filsystem.
Exkludera BoostFS-monteringspunkter från mlocate/updatedb indexering genom att uppdatera PRUNEFS-konfigurationen.
Granska och begränsa onödiga antivirusgenomsökningar, säkerhetsgenomsökningar, övervakningsverktyg, hälsokontrollprocesser och avsökningsaktiviteter för filsystem som riktar sig mot BoostFS-monteringar.
Minska eller eliminera frekventa rekursiva katalogbläddringsåtgärder där det är möjligt.
Övervaka OSTREADDIRPLUS, ddp_readdir, CPU-användning och belastningsgenomsnitt efter implementering av ändringar.
Följ bästa praxis för Data Domain och BoostFS för att förhindra att skanner- och indexeringsprogram kontinuerligt passerar monterade säkerhetskopieringsfilsystem.

Historiska undersökningar har visat en betydande minskning av CPU-användningen efter att BoostFS-monteringspunkter uteslöts från automatiserade cron Jobb som utför indexerings- och genomsökningsaktiviteter.

Det här beteendet indikerar att överdrivet READDIR aktivitet som genereras av dessa processer kan vara en betydande bidragande orsak till ökad DDFS-processoranvändning.

Dessutom är frekventa "5006-end of directory" Meddelanden kan tyda på upprepade katalogläsningsåtgärder. Volymen på dessa meddelanden kan användas som en indikator på mängden READDIR aktivitet som sker mot Data Domain-systemet. Läsåtgärder på BoostFS-monterade filsystem är vanligtvis dyrare än skrivåtgärder, vilket gör det viktigt att undvika onödig genomsökning eller bläddring av monterade namnrymder för säkerhetskopior.

Kolla upp cron Jobb på BoostFS-klienter:

ls -l /etc/cron.daily

Data Domain: BoostFS-problem med programvara eller appar för säkerhetsskanner

Data Domain: Felsökning av problem med BoostFS-anslutning, montering och prestanda