Data Domain: Clientbeveiligingsscan verslechtert systeemprestaties
Summary: Scripts en applicaties voor het scannen van beveiliging kunnen een grote invloed hebben op de systeemprestaties van Data Domain.
Symptoms
Deze bewerkingen kunnen soms vele malen langer duren dan normaal, voor ten minste een deel van de workload. Andere mogelijke symptomen worden hieronder vermeld.
Buitensporige readdir Activity
Beveiligingstools die herhaaldelijk directory's vermelden of doorzoeken, leiden tot grote aantallen readdir Operaties. Dit veroorzaakt conflicten in de lagen bestandsbeheer en directorybeheer.
Indicatoren zijn onder meer:
- Een sterke stijging van de dagelijkse
readdirtellingen (bijvoorbeeld van ~1 miljoen per dag tot tientallen of honderden miljoenen). - Verhoogde
readdirthread-activiteit (zoals in,nfsproc3_readdir_3_svc). - Verhoogde latentie in bewerkingen van het bestandssysteem.
- Voorbeeld: Een sterke stijging van het aantal
readdirOperaties. Areaddirbewerking is het resultaat van een clientaanvraag om een directory te lezen. Twee voorbeelden hiervan zijn een klant die de 'ls' (lijst van directory-inhoud) of een 'find' (zoeken naar bestanden in een mappenhiërarchie). VeelreaddirThreads veroorzaken conflicten in de lagen File Manager en Directory Manager.- De actieve
readdirHet aantal kan worden gevonden in een threadlijst van het bestandssysteem (zoek naar "nfsproc3_readdir_3_svc") of door de dagelijksereaddirAantal gevonden in een AutoSupport. In het onderstaandereaddirstatistieken, is het totale aantal activiteiten gestegen van ongeveer 1 miljoenreaddirtot 70 miljoen per dag.FM API histograms: op type mean std-dev <1ms <10ms <100ms <1s <10s <100s >100s total max min autosupport.6: readdir 3.415ms 18.469ms 12580518 31919253 1638591 135685 3749 1 0 46277797 10306.395 0.014 autosupport.5: readdir 3.459ms 18.829ms 12763092 32553822 1696951 141236 4027 1 0 47159129 10306.395 0.014 autosupport.4: readdir 3.434ms 18.627ms 13082191 33663810 1723265 143462 4051 1 0 48616780 10306.395 0.014 autosupport.3: readdir 15.599ms 33.340ms 13312985 36148759 14982367 1910057 4179 1 0 66358348 10306.395 0.014 autosupport.2: readdir 24.991ms 35.316ms 13609833 46780191 57380779 4995642 4588 1 0 122771034 10306.395 0.014 autosupport.1: readdir 27.739ms 37.025ms 13876217 69875224 107391735 9361188 5661 1 0 200510026 10306.395 0.014 autosupport: readdir 30.935ms 43.488ms 14379002 92945802 158095969 16689520 16549 1 0 282126843 10306.395 0.014
- De actieve
- Voorbeeld: Een sterke stijging van het aantal
Overmatige leesstromen
Beveiligingsscans kunnen duizenden leesstromen genereren, veel meer dan de ondersteunde operationele limieten.
Voorbeeld (system show performance customer-view streams):
-
- Aantal leesstromen dat de ondersteunde limieten ver overschrijdt. In de onderstaande '
system show performance customer-view streams' output, zijn er soms meer dan 4.000 leesstromen.-------------------------------------------------------------------------- Time Stamp |Streams | | read write read+ write+ repl-in repl-out| Date Time | seq/rand seq/rand | YYYY-MM-DD HH:MM:SS| # # # # # #| -------------------------------------------------------------------------- 2022-02-06 02:29:00 2144/0 261/2 0 0 0 0 2022-02-06 02:39:00 3521/0 229/2 0 0 0 0 2022-02-06 02:49:00 3840/0 266/2 0 0 0 0 2022-02-06 02:59:00 2935/0 271/2 0 0 0 0 2022-02-06 03:09:00 3091/0 258/2 0 0 0 0 2022-02-06 03:19:00 1492/0 294/2 0 0 0 0 2022-02-06 03:29:00 3380/0 274/2 0 0 0 0 2022-02-06 03:39:00 4449/0 252/1 0 0 0 0 2022-02-06 03:49:00 4454/0 247/1 0 0 0 0 2022-02-06 03:59:00 1480/0 236/2 0 0 0 0
- Aantal leesstromen dat de ondersteunde limieten ver overschrijdt. In de onderstaande '
Langlopende RPC's en time-outs van het bestandssysteem
Zwaar scannen kan een aanhoudende belasting veroorzaken, wat resulteert in trage of vastgelopen RPC-bewerkingen en algemene vertragingen in het bestandssysteem.
Cause
Wanneer deze tools zich richten op een Data Domain systeem, introduceren ze aanhoudende directory traversal en leesactiviteit die het bestandssysteem overbelast, met aanzienlijke prestatievermindering tot gevolg.
Resolution
Sluit alle Data Domain-systemen uit van beveiligingsscans, antivirusscans en geautomatiseerde scripts voor bestandsinspectie.
Alleen gekwalificeerde en ondersteunde applicaties mogen toegang hebben tot een Data Domain-bestandssysteem of een workload op dit systeem plaatsen.