Data Domain: hoog CPU-gebruik veroorzaakt door overmatige BoostFS READDIR-bewerkingen
Summary: Data Domain-systemen kunnen te maken krijgen met een aanhoudend hoog CPU-gebruik ondanks een lage back-up-, replicatie- of applicatieworkload wanneer grote volumes BoostFS READDIR/OSTREADDIRPLUS-aanvragen worden gegenereerd. Historisch onderzoek heeft aangetoond dat geautomatiseerde processen voor indexeren, scannen, bewaken en bestandssysteem die werken op BoostFS-koppelpunten DDFS en CPU-gebruik van het systeem aanzienlijk kunnen verhogen, wat resulteert in hogere belastingsgemiddelden en slechtere prestaties. ...
Symptoms
CPU-gebruik blijft consistent hoog, vaak meer dan 80%, zelfs tijdens perioden van lage doorvoer en minimale actieve streams.
CPU-gebruik met verhoogde systeemstatus (%system) waargenomen in SAR-statistieken.
Gemiddelde hoge systeembelasting die niet correleert met een back-up- of replicatieworkload.
DDFS-processen verbruiken aanzienlijk meer CPU-resources dan verwacht.
Prestatieanalyse toont aanzienlijke activiteit in READDIRPLUS-gerelateerde codepaden.
Grote aantallen OSTREADDIRPLUS of ddp_readdir bewerkingen waargenomen in Autosupport-gegevens.
Back-up, herstel of bestandstoegang kunnen trager worden dan verwacht.
Verhoogd aantal actieve TCP-verbindingen en mogelijke waarschuwingen voor het afwijzen van verbindingen.
Frequent "5006-end of directory" berichten kunnen worden waargenomen in BoostFS- of DDFS-logboeken.
Een dd_guts De Scheduler-thread wordt mogelijk intensief gebruikt, terwijl andere Scheduler-threads relatief inactief blijven.
NFS RPC-laagstatistieken kunnen verhoogde niveaus weergeven data_wait en svc_func Waarden
Cause
Uit de analyse bleek dat buitensporige READDIR en READDIRPLUS bewerkingen afkomstig van BoostFS-gekoppelde bestandssystemen droegen bij aan een verhoogd CPU-gebruik.
Historisch onderzoek heeft aangetoond dat geautomatiseerde indexering, beveiligingsscans, bewaking van hulpprogramma's en processen voor het doorkruisen van bestandssystemen grote hoeveelheden directory-inventarisatieverzoeken kunnen genereren, wat resulteert in een verhoogd DDFS- en kernel-CPU-gebruik, zelfs wanneer de back-upworkloads relatief laag blijven.
Veelvoorkomende bronnen van buitensporige READDIR Activiteit omvat:
mlocate/updatedb Indexeringsprocessen scannen BoostFS-koppelpunten.
Applicaties voor het scannen van beveiliging en antivirusprogramma's.
Tools voor controle en statuscontrole van gekoppelde bestandssystemen
Frequente inventarisatieactiviteiten voor het bestandssysteem, zoals recursieve directorylijsten en stat-bewerkingen.
Applicaties die gebruikmaken van BoostFS- of SDK-interfaces die herhaaldelijk grote mapstructuren doorlopen.
Geautomatiseerde scripts die continu het bestandssysteem detecteren of inventaris verzamelen.
Deze activiteiten kunnen miljoenen READDIR bewerkingen per dag, waardoor aanzienlijke overhead voor verwerking binnen DDFS en het onderliggende bestandssysteem ontstaat.
Resolution
Controleer systemen met BoostFS-bevestigingen op applicaties die regelmatig directory-inventarisatie-, indexerings-, controle- of scanactiviteiten uitvoeren.
Aanbevolen acties zijn onder meer:
Identificeer applicaties die buitensporige READDIR activiteit tegen BoostFS-gekoppelde bestandssystemen.
BoostFS bevestigingspunten uitsluiten van mlocate/updatedb indexering door de PRUNEFS-configuratie bij te werken.
Controleer en beperk onnodige antivirusscans, beveiligingsscans, controletools, healthcheckprocessen en polling-activiteiten voor het bestandssysteem die gericht zijn op BoostFS-mounts.
Verminder of elimineer frequente recursieve directory-traversal-bewerkingen waar mogelijk.
Bewaken OSTREADDIRPLUS, ddp_readdir, CPU-gebruik en belastingsgemiddelden na het doorvoeren van wijzigingen.
Volg de best practices voor Data Domain en BoostFS om te voorkomen dat scanner- en indexeringsapplicaties continu gekoppelde back-upbestandssystemen doorlopen.
Historisch onderzoek heeft een aanzienlijke vermindering van het CPU-gebruik aangetoond nadat BoostFS-koppelpunten werden uitgesloten van geautomatiseerde controles cron Taken die indexerings- en scanactiviteiten uitvoeren.
Dit gedrag geeft aan dat overmatige READDIR activiteit die door deze processen wordt gegenereerd, kan een belangrijke bijdrage leveren aan een verhoogd DDFS CPU-gebruik.
Bovendien worden vaak "5006-end of directory" Berichten kunnen duiden op herhaalde leesbewerkingen van de map. Het volume van deze berichten kan worden gebruikt als indicator voor de hoeveelheid READDIR activiteit die optreedt op het Data Domain systeem. Leesbewerkingen op aan BoostFS gekoppelde bestandssystemen zijn doorgaans duurder dan schrijfbewerkingen, waardoor het belangrijk is om onnodig scannen of doorlopen van gekoppelde back-upnaamruimtes te vermijden.
Controleren cron Vacatures op BoostFS clients:
ls -l /etc/cron.dailyAdditional Information
Data Domain: BoostFS problemen met Security Scanner software of apps
Data Domain: problemen met BoostFS connectiviteit, koppeling en prestaties oplossen