Data Domain: Klientsäkerhetsgenomsökning försämrar systemets prestanda
Summary: Säkerhetsgenomsökningsskript och program kan ha stor inverkan på Data Domain-systemets prestanda.
Symptoms
Dessa åtgärder kan ibland ta många gånger längre tid än vanligt, för åtminstone en del av arbetsbelastningen. Andra potentiella symtom listas nedan.
Överdriven readdir Aktivitet
Säkerhetsverktyg som upprepade gånger listar eller söker i kataloger utlöser ett stort antal readdir Verksamhet. Detta orsakar konkurrens i filhanterar- och kataloghanterarlagren.
Indikatorerna omfattar:
- En kraftig ökning av
readdir(till exempel från ~1 miljon per dag till tiotals eller hundratals miljoner). - Förhöjda
readdirtrådaktivitet (som i,nfsproc3_readdir_3_svc). - Ökad latens i filsystemåtgärder.
- Exempel: En kraftig ökning av
readdirVerksamhet. AreaddirÅtgärden är resultatet av en klientbegäran om att läsa en katalog. Två exempel på detta är en klient som kör "ls' (list directory contents) eller en 'find' (sök efter filer i en kataloghierarki). MångareaddirTrådar orsakar konkurrens i filhanterarens och kataloghanterarens lager.- Den aktiva
readdirkan hittas i en trådlista för filsystem (sök efter "nfsproc3_readdir_3_svc") eller genom att se över de dagligareaddirantal som hittats i en autosupport. I nedanståendereaddirökade den totala verksamheten från cirka 1 miljonreaddirverksamhet per dag till 70 miljoner per dag.FM API histograms: op type mean std-dev <1ms <10ms <100ms <1s <10s <100s >100s total max min autosupport.6: readdir 3.415ms 18.469ms 12580518 31919253 1638591 135685 3749 1 0 46277797 10306.395 0.014 autosupport.5: readdir 3.459ms 18.829ms 12763092 32553822 1696951 141236 4027 1 0 47159129 10306.395 0.014 autosupport.4: readdir 3.434ms 18.627ms 13082191 33663810 1723265 143462 4051 1 0 48616780 10306.395 0.014 autosupport.3: readdir 15.599ms 33.340ms 13312985 36148759 14982367 1910057 4179 1 0 66358348 10306.395 0.014 autosupport.2: readdir 24.991ms 35.316ms 13609833 46780191 57380779 4995642 4588 1 0 122771034 10306.395 0.014 autosupport.1: readdir 27.739ms 37.025ms 13876217 69875224 107391735 9361188 5661 1 0 200510026 10306.395 0.014 autosupport: readdir 30.935ms 43.488ms 14379002 92945802 158095969 16689520 16549 1 0 282126843 10306.395 0.014
- Den aktiva
- Exempel: En kraftig ökning av
För många läsströmmar
Säkerhetsgenomsökningar kan skapa tusentals läsströmmar som vida överskrider de driftsgränser som stöds.
Exempel (system show performance customer-view streams):
-
- Antalet läsströmmar som vida överskrider gränserna som stöds. I nedanstående '
system show performance customer-view streams' output, läsströmmar är ibland över 4 000.-------------------------------------------------------------------------- Time Stamp |Streams | | read write read+ write+ repl-in repl-out| Date Time | seq/rand seq/rand | YYYY-MM-DD HH:MM:SS| # # # # # #| -------------------------------------------------------------------------- 2022-02-06 02:29:00 2144/0 261/2 0 0 0 0 2022-02-06 02:39:00 3521/0 229/2 0 0 0 0 2022-02-06 02:49:00 3840/0 266/2 0 0 0 0 2022-02-06 02:59:00 2935/0 271/2 0 0 0 0 2022-02-06 03:09:00 3091/0 258/2 0 0 0 0 2022-02-06 03:19:00 1492/0 294/2 0 0 0 0 2022-02-06 03:29:00 3380/0 274/2 0 0 0 0 2022-02-06 03:39:00 4449/0 252/1 0 0 0 0 2022-02-06 03:49:00 4454/0 247/1 0 0 0 0 2022-02-06 03:59:00 1480/0 236/2 0 0 0 0
- Antalet läsströmmar som vida överskrider gränserna som stöds. I nedanstående '
Långvariga RPC:er och tidsgränser för filsystem
Tung genomsökning kan generera en ihållande belastning, vilket resulterar i långsamma eller avstannade RPC-åtgärder och allmänna fördröjningar i filsystemet.
Cause
När dessa verktyg riktar sig mot ett Data Domain-system introducerar de ihållande katalogbläddrings- och läsaktivitet som överbelastar filsystemet, vilket orsakar betydande prestandaförsämring.
Resolution
Undanta alla Data Domain-system från säkerhetsskanningar, antivirusskanningar och automatiserade filinspektionsskript.
Endast kvalificerade program som stöds bör få åtkomst till eller placera arbetsbelastningar på ett Data Domain-filsystem.