Data Domain: 과도한 BoostFS READDIR 작업으로 인해 CPU 사용률이 높음

CPU 사용률은 지속적으로 높은 수준을 유지하며, 처리량이 낮고 활성 스트림이 거의 없는 기간에도 80%를 초과하는 경우가 많습니다.
상승된 시스템(%system) SAR 통계에서 CPU 사용량이 관찰되었습니다.
백업 또는 복제 워크로드
와 상관 관계가 없는 높은 시스템 로드 평균.DDFS 프로세스는 예상보다 훨씬 더 많은 CPU 리소스를 사용합니다.
성능 분석은 READDIRPLUS 관련 코드 경로에서 중요한 활동을 보여줍니다.
많은 수의 OSTREADDIRPLUS 또는 ddp_readdir Autosupport 데이터에서 관찰된 작업입니다.
백업, 복원 또는 파일 액세스 작업이 예상보다 느려질 수 있습니다.
활성 TCP 연결 수 및 가능한 연결 거부 알림이 증가합니다.
빈번한 "5006-end of directory" BoostFS 또는 DDFS 로그에 메시지가 표시될 수 있습니다.
1개 dd_guts 스케줄러 스레드는 다른 스케줄러 스레드가 비교적 유휴 상태로 유지되는 동안 과도하게 사용되는 것처럼 보일 수 있습니다.
NFS RPC 계층 통계가 상승된 상태로 표시될 수 있음 data_wait 및 svc_func 값

분석 결과 과도한 READDIR 및 READDIRPLUS BoostFS 마운트 파일 시스템에서 시작된 작업은 CPU 사용률 증가에 기여했습니다.

과거 조사에 따르면 자동화된 인덱싱, 보안 검사, 모니터링 유틸리티 및 파일 시스템 탐색 프로세스로 인해 대량의 디렉토리 열거 요청이 생성되어 백업 워크로드가 상대적으로 낮게 유지되는 경우에도 DDFS 및 커널 CPU 사용량이 증가할 수 있습니다.

과도한 행동의 일반적인 원인 READDIR 활동은 다음과 같습니다.

mlocate/updatedb 인덱싱은 BoostFS 마운트 지점을 검사하는 프로세스를 수행합니다.
보안 및 바이러스 백신 검사 응용 프로그램.
마운트된 파일 시스템을
폴링하는 모니터링 및 상태 점검 툴반복 디렉토리 목록 및 통계 작업
과 같은 잦은 파일 시스템 열거 작업대규모 디렉토리 구조를 반복적으로 이동하는 BoostFS 또는 SDK 인터페이스를 사용하는 애플리케이션.
지속적인 파일 시스템 검색 또는 인벤토리 수집을 수행하는 자동화된 스크립트입니다.

이러한 활동으로 인해 수백만 개의 READDIR 일일 작업으로, DDFS 및 기본 파일 시스템 내에서 상당한 처리 오버헤드가 발생합니다.

디렉토리 열거, 인덱싱, 모니터링 또는 검사 작업을 자주 수행하는 애플리케이션을 위해 BoostFS 마운트가 있는 시스템을 검토합니다.

권장되는 작업은 다음과 같습니다.

과도한 애플리케이션이 READDIR BoostFS 마운트 파일 시스템에 대한 활동.
다음에서 BoostFS 마운트 지점 제외 mlocate/updatedb PRUNEFS 구성을 업데이트하여 인덱싱합니다.
BoostFS 마운트를 대상으로 하는 불필요한 안티바이러스 검사, 보안 검사, 모니터링 툴, 상태 점검 프로세스 및 파일 시스템 폴링 활동을 검토하고 제한합니다.
가능한 경우 빈번한 재귀 디렉터리 통과 작업을 줄이거나 없앱니다.
모니터 OSTREADDIRPLUS, ddp_readdir, CPU 사용률 및 변경 사항을 구현한 후의 부하 평균을 확인할 수 있습니다.
Data Domain 및 BoostFS 모범 사례를 따라 스캐너 및 인덱싱 애플리케이션이 마운트된 백업 파일 시스템을 지속적으로 이동하지 않도록 합니다.

과거 조사에 따르면 BoostFS 마운트 지점이 자동화에서 제외된 후 CPU 활용도가 크게 감소했습니다 cron 인덱싱 및 스캔 작업을 수행하는 작업입니다.

이 동작은 과도한 READDIR 이러한 프로세스에서 생성되는 활동은 DDFS CPU 사용률 증가에 크게 기여할 수 있습니다.

또한 빈번한 "5006-end of directory" 메시지는 반복되는 디렉토리 읽기 작업을 나타낼 수 있습니다. 이러한 메시지의 양은 READDIR Data Domain 시스템에 대해 수행되는 활동입니다. BoostFS 마운트 파일 시스템의 읽기 작업은 일반적으로 쓰기 작업보다 비용이 많이 들기 때문에 마운트된 백업 네임스페이스를 불필요하게 검색하거나 탐색하지 않는 것이 중요합니다.

확인 cron BoostFS 클라이언트의 작업:

ls -l /etc/cron.daily

Data Domain: 보안 스캐너 소프트웨어 또는 앱의 BoostFS 문제

Data Domain: BoostFS 연결, 마운트 및 성능 문제 해결