Data Domain: Høy CPU-utnyttelse forårsaket av overdreven BoostFS READDIR-operasjoner

CPU-utnyttelsen forblir konsekvent høy, ofte over 80%, selv i perioder med lav gjennomstrømning og minimale aktive strømmer.
Forhøyet system (% system) CPU-bruk observert i SAR-statistikk.
Gjennomsnitt for høy systembelastning som ikke korrelerer med workloader for sikkerhetskopiering eller replikering.
DDFS-prosesser bruker betydelig mer CPU-ressurser enn forventet.
Ytelsesanalyse viser betydelig aktivitet i READDIRPLUS-relaterte kodebaner.
Stort antall OSTREADDIRPLUS eller ddp_readdir operasjoner observert i Autostøtte-data.
Sikkerhetskopiering, gjenoppretting eller filtilgangsoperasjoner kan bli tregere enn forventet.
Økt aktivt antall TCP-tilkoblinger og varsler om mulig avvisning av tilkobling.
hyppig "5006-end of directory" Det kan hende at meldinger vises i BoostFS- eller DDFS-logger.
En dd_guts Scheduler-tråden kan virke tungt utnyttet, mens andre planleggertråder forblir relativt inaktive.
Statistikk for NFS RPC-lag kan vise forhøyet data_wait og svc_func Verdi

Analyse indikerte at overdreven READDIR og READDIRPLUS operasjoner som stammer fra BoostFS-monterte filsystemer bidro til forhøyet CPU-utnyttelse.

Tidligere undersøkelser har vist at automatisert indeksering, sikkerhetsskanning, overvåkingsverktøy og filsystemtraverseringsprosesser kan generere store mengder forespørsler om katalogopplisting, noe som resulterer i økt DDFS- og kjerne-CPU-bruk selv når sikkerhetskopieringsarbeidsbelastningene forblir relativt lave.

Vanlige kilder til overdreven READDIR Aktiviteten inkluderer:

mlocate/updatedb indekseringsprosesser skanner BoostFS-monteringspunkter.
Sikkerhets- og antivirusskanningsapplikasjoner.
Overvåkings- og helsekontrollverktøy for avspørring av monterte filsystemer.
Hyppige filsystemopplistingsaktiviteter, for eksempel rekursive katalogoppføringer og statistiske operasjoner.
Programmer som bruker BoostFS- eller SDK-grensesnitt som gjentatte ganger krysser store katalogstrukturer.
Automatiserte skript som utfører kontinuerlig filsystemoppdaging eller beholdningssamling.

Disse aktivitetene kan generere millioner av READDIR operasjoner per dag, noe som skaper betydelige behandlingskostnader i DDFS og det underliggende filsystemet.

Gjennomgå systemer med BoostFS-monteringer for applikasjoner som ofte utfører katalogopplisting, indeksering, overvåking eller skanning.

Anbefalte tiltak inkluderer:

Identifiser applikasjoner som genererer for mye READDIR aktivitet mot BoostFS-monterte filsystemer.
Ekskluder BoostFS-monteringspunkter fra mlocate/updatedb indeksering ved å oppdatere PRUNEFS-konfigurasjonen.
Gå gjennom og begrens unødvendige antivirusskanninger, sikkerhetsskanninger, overvåkingsverktøy, helsekontrollprosesser og filsystemavspørringsaktiviteter rettet mot BoostFS-monteringer.
Reduser eller eliminer hyppige rekursive katalogtraverseringsoperasjoner der det er mulig.
Overvåke OSTREADDIRPLUS, ddp_readdir, CPU-utnyttelse og belastningsgjennomsnitt etter implementering av endringer.
Følg anbefalte fremgangsmåter for Data Domain og BoostFS for å hindre at skanner- og indekseringsprogrammer kontinuerlig krysser monterte sikkerhetskopifilsystemer.

Tidligere undersøkelser har vist en betydelig reduksjon i CPU-utnyttelse etter at BoostFS-monteringspunkter ble ekskludert fra automatisert cron jobber som utfører indekserings- og skanningsaktiviteter.

Denne virkemåten indikerer at overdreven READDIR Aktivitet som genereres av disse prosessene, kan være en betydelig bidragsyter til økt bruk av DDFS CPU.

I tillegg hyppig "5006-end of directory" Meldinger kan indikere gjentatte operasjoner for kataloglesing. Volumet av disse meldingene kan brukes som en indikator på mengden av READDIR aktivitet som skjer mot Data Domain-systemet. Leseoperasjoner på BoostFS-monterte filsystemer er vanligvis dyrere enn skriveoperasjoner, noe som gjør det viktig å unngå unødvendig skanning eller traversering av monterte navneområder for sikkerhetskopiering.

Kryss av cron Jobber på BoostFS-klienter:

ls -l /etc/cron.daily

Data Domain: BoostFS-problemer med Security Scanner-programvare eller -apper

Data Domain: Feilsøke problemer med BoostFS-tilkobling, montering og ytelse