Data Domain: Vysoké využití procesoru způsobené nadměrnými operacemi BoostFS READDIR
Summary: Když jsou generovány velké objemy požadavků BoostFS READDIR/OSTREADDIRPLUS, může u systémů Data Domain docházet k trvale vysokému využití procesoru i přes nízké zatížení zálohování, replikace nebo aplikace. Historické výzkumy ukázaly, že automatizované procesy indexování, skenování, monitorování a procházení souborového systému, které fungují proti přípojným bodům BoostFS, mohou výrazně zvýšit využití DDFS a systémového procesoru, což vede ke zvýšeným průměrným nabitím a snížení výkonu. ...
Symptoms
Využití procesoru zůstává konzistentně vysoké, často překračuje 80 %, a to i během období nízké propustnosti a minimálních aktivních datových proudů.
Zvýšený výkon systému (%system) Využití procesoru zaznamenané ve statistikách SAR.
Vysoké průměry zatížení systému, které nekorelují se zátěží zálohování nebo replikace.
Procesy DDFS spotřebovávají podstatně více zdrojů procesoru, než se očekávalo.
Analýza výkonu ukazuje významnou aktivitu v cestách kódu souvisejících s READDIRPLUS.
Velké množství OSTREADDIRPLUS nebo ddp_readdir zaznamenané operace v datech Autosupport.
Operace zálohování, obnovení nebo přístupu k souborům mohou být oproti očekávání pomalejší.
Zvýšený počet aktivních připojení TCP a možné výstrahy odmítnutí připojení.
Časté "5006-end of directory" zprávy se mohou zobrazovat v protokolech BoostFS nebo DDFS.
Jedním z nich je dd_guts Vlákno plánovače se může jevit jako silně využívané, zatímco jiná vlákna plánovače zůstávají poměrně nečinná.
Statistika vrstvy NFS RPC může vykazovat zvýšené data_wait a svc_func Hodnota
Cause
Z analýzy vyplynulo, že nadměrná READDIR a READDIRPLUS Operace pocházející ze souborových systémů připojených k BoostFS přispívaly ke zvýšenému využití procesoru.
Historická šetření ukázala, že automatizované indexování, kontrola zabezpečení, nástroje pro monitorování a procesy procházení systému souborů mohou generovat velké objemy požadavků na výčet adresářů, což vede ke zvýšenému využití procesoru DDFS a jádra, i když úlohy zálohování zůstávají relativně nízké.
Běžné zdroje nadměrného READDIR Aktivita zahrnuje:
mlocate/updatedb procesy indexování skenují přípojné body BoostFS.
Bezpečnostní a antivirové skenovací aplikace.
Nástroje pro monitorování a kontrolu stavu vyvolávání připojených souborových systémů.
Časté aktivity výčtu systému souborů, jako jsou rekurzivní výpisy adresářů a statistické operace.
Aplikace využívající rozhraní BoostFS nebo SDK, která opakovaně procházejí velkými adresářovými strukturami.
Automatické skripty provádějící nepřetržité zjišťování souborových systémů nebo shromažďování inventáře.
Tyto činnosti mohou generovat miliony READDIR operací za den, což vytváří významnou režii na zpracování v rámci systému DDFS a základního systému souborů.
Resolution
Zkontrolujte systémy s připojením BoostFS a hledejte v nich aplikace, které provádějí časté vytváření výčtu adresářů, indexování, monitorování nebo skenování.
Mezi doporučené akce patří:
Identifikujte aplikace, které generují nadměrné množství READDIR proti souborovým systémům připojeným k BoostFS.
Vyloučení přípojných bodů BoostFS z mlocate/updatedb indexování aktualizací konfigurace PRUNEFS.
Zkontrolujte a omezte zbytečné antivirové kontroly, bezpečnostní kontroly, monitorovací nástroje, procesy kontroly stavu a aktivity dotazování systému souborů, které cílí na připojení BoostFS.
Pokud je to možné, omezte nebo eliminujte časté rekurzivní operace procházení adresářů.
Monitorování OSTREADDIRPLUS, ddp_readdir, využití procesoru a průměry zatížení po implementaci změn.
Postupujte podle vzorových postupů Data Domain a BoostFS, abyste zabránili aplikacím skeneru a indexování v nepřetržitém procházení připojených záložních souborových systémů.
Historická šetření prokázala podstatné snížení využití procesoru poté, co byly přípojné body BoostFS vyloučeny z automatizovaných cron úlohy provádějící indexování a kontrolu.
Toto chování značí, že nadměrné READDIR aktivita generovaná těmito procesy může významně přispívat ke zvýšenému využití procesoru DDFS.
Kromě toho časté "5006-end of directory" Zprávy mohou signalizovat opakované operace čtení adresáře. Hlasitost těchto zpráv lze použít jako ukazatel množství READDIR v systému Data Domain. Operace čtení v souborových systémech připojených k BoostFS jsou obvykle nákladnější než operace zápisu, a proto je důležité vyhnout se zbytečnému skenování nebo procházení připojených oborů názvů záloh.
Šek cron Úlohy na klientech BoostFS:
ls -l /etc/cron.dailyAdditional Information
Data Domain: Problémy BoostFS se softwarem nebo aplikacemi pro bezpečnostní skener
Data Domain: Odstraňování problémů s připojením, připojením a výkonem BoostFS