Data Domain: utilizzo elevato della CPU causato da operazioni di READDIR BoostFS eccessive

L'utilizzo della CPU rimane costantemente elevato, spesso superiore all'80%, anche durante i periodi di throughput basso e flussi attivi minimi.
Elevato utilizzo della CPU del sistema (%system) osservato nelle statistiche SAR.
Medie di carico di sistema elevato non correlate al carico di lavoro di backup o replica.
I processi DDFS consumano sostanzialmente più risorse della CPU del previsto.
L'analisi delle prestazioni mostra un'attività significativa nei percorsi di codice correlati a READDIRPLUS.
Un gran numero di OSTREADDIRPLUS o ddp_readdir Operazioni osservate nei dati di AutoSupport.
Le operazioni di backup, ripristino o accesso ai file potrebbero diventare più lente del previsto.
Aumento del numero di connessioni TCP attive e dei possibili avvisi di rifiuto della connessione.
Frequente "5006-end of directory" i messaggi possono essere osservati nei registri BoostFS o DDFS.
Uno dd_guts I thread dell'utilità di pianificazione possono apparire molto utilizzati mentre altri thread dell'utilità di pianificazione rimangono relativamente inattivi.
Le statistiche del livello RPC NFS possono mostrare elevati data_wait e svc_func Valori

L'analisi ha indicato che un'eccessiva READDIR e READDIRPLUS Le operazioni originate dai file system montati su BoostFS contribuivano a un elevato utilizzo della CPU.

Le indagini storiche hanno dimostrato che l'indicizzazione automatizzata, la scansione della sicurezza, il monitoraggio delle utilità e i processi di attraversamento del file system possono generare grandi volumi di richieste di enumerazione delle directory, determinando un aumento dell'utilizzo di DDFS e CPU del kernel anche quando i carichi di lavoro di backup rimangono relativamente bassi.

Fonti comuni di READDIR L'attività comprende:

mlocate/updatedb processi di indicizzazione che eseguono la scansione dei mount point BoostFS.
Applicazioni di scansione antivirus e di sicurezza.
Strumenti di monitoraggio e controllo dell'integrità per eseguire il polling dei file system montati.
Attività frequenti di enumerazione del file system, ad esempio elenchi di directory ricorsivi e operazioni sulle statistiche.
Applicazioni che utilizzano interfacce BoostFS o SDK che attraversano ripetutamente strutture di directory di grandi dimensioni.
Script automatizzati che eseguono la discovery continua del file system o la raccolta dell'inventario.

Queste attività possono generare milioni di READDIR operazioni al giorno, creando un overhead di elaborazione significativo all'interno di DDFS e del file system sottostante.

Esaminare i sistemi con mount BoostFS per le applicazioni che eseguono frequenti attività di enumerazione, indicizzazione, monitoraggio o scansione delle directory.

Le azioni consigliate includono:

Identifica le applicazioni che generano READDIR attività sui file system montati su BoostFS.
Escludere i mount point BoostFS da mlocate/updatedb indicizzazione aggiornando la configurazione PRUNEFS.
Esaminare e limitare le scansioni antivirus, le scansioni di sicurezza, gli strumenti di monitoraggio, i processi di controllo integrità e le attività di polling del file system non necessarie destinate ai mount BoostFS.
Ridurre o eliminare le frequenti operazioni di attraversamento ricorsivo delle directory, ove possibile.
Monitoraggio OSTREADDIRPLUS, ddp_readdir, l'utilizzo della CPU e le medie di carico dopo l'implementazione delle modifiche.
Seguire le best practice di Data Domain e BoostFS per impedire alle applicazioni di scansione e indicizzazione di attraversare continuamente i file system di backup montati.

Le indagini storiche hanno mostrato una sostanziale riduzione dell'utilizzo della CPU dopo che i mount point BoostFS sono stati esclusi dall'automazione cron Job che eseguono attività di indicizzazione e scansione.

Questo comportamento indica che un'eccessiva READDIR L'attività generata da questi processi può contribuire in modo significativo all'utilizzo elevato della CPU DDFS.

Inoltre, frequenti "5006-end of directory" I messaggi possono indicare ripetute operazioni di lettura della directory. Il volume di questi messaggi può essere utilizzato come indicatore della quantità di READDIR l'attività che si verifica sul sistema Data Domain. Le operazioni di lettura sui file system montati su BoostFS sono in genere più costose delle operazioni di scrittura, il che rende importante evitare scansioni o attraversamenti non necessari dei namespace di backup montati.

Dai un'occhiata cron Job sui client BoostFS:

ls -l /etc/cron.daily

Data Domain: problemi di BoostFS con software o app Security Scanner

Data Domain: risoluzione dei problemi di connettività, mount e prestazioni di BoostFS