NetWorker: Como analisar o desempenho de E/S usando ddboost_precert.log

O log do Precert é habilitado como uma etapa de solução de problemas em que os problemas de backup do NetWorker Client Direct são considerados relacionados à biblioteca DD Boost do Data Domain do client. Esse utilitário pode identificar problemas de desempenho a partir dos logs de pré-certificado coletados.

Preparando ddboost_precert.log

Como um exemplo simples de uso, crie ddboost_precert.ini na raiz do UNIX ou raiz de C:\ para Windows. O arquivo deve conter: 

precert_enabled=true
num_log_files=4
log_file_size=512
log_file_name=ddboost_precert.log
log_file_dir=/DDLog
ddcl_logs_include=true
ddcl_logs_sev=4

Consulte o artigo Data Domain: Habilite o log da API do DD Boost com a ferramenta precert (logs precert) para obter detalhes completos do procedimento para coletar logs precert. (é necessário fazer login no Suporte Dell para visualizar este artigo)

Preparando-se para usar o script

Pré-requisitos:  Python 3.x
Faça download do script em: Ferramentas do NetWorker de soluções (dell.com)

1. Salve o script em um diretório de trabalho que contém os registros precert como precert-io-perf.py.
2. Em sistemas UNIX, certifique-se de que o script seja executável: chmod +x precert-io-perf.py
3. Execute o script: ./precert-io-perf.py

Prompts de entrada

• Digite o caminho completo para o arquivo de log precert do DD Boost quando solicitado.
• Digite Yes ou No quando solicitado se deseja incluir MB/s para cada operação de E/S

Resumo da saída

O script exibe um resumo das operações de gravação e leitura, incluindo:

• Número total de operações de gravação e leitura
• Duração média de gravação e leitura
• Duração máxima e mínima de gravação e leitura, juntamente com o respectivo throughput (MB/s)
• Tempo total de gravação e leitura
• Porcentagem do tempo total gasto em gravação e leitura
• Throughput médio de gravação e leitura (MB/s)
• Operações de E/S detalhadas

O script registra operações detalhadas de E/S em dois arquivos CSV:

• io-write.log — contém informações detalhadas sobre cada operação de gravação
• io-read.log - contém informações detalhadas sobre cada operação de leitura

Exemplo de resultado

# ./precert-io-perf.py
Please enter the full path to the log file: ./ddboost_precert.log
Do you want to include MB/s for each I/O operation? (yes/no): yes

    Write Durations Summary:

    Total number of write operations: 2646
    Average write duration: 0.005389 seconds
    Maximum write duration: 0.041000 seconds (24.39 MB/s)
    Minimum write duration: 0.000001 seconds (1000000.00 MB/s)
    Total write time: 14.259001 seconds
    Percentage of total time spent on writes: 22.99%
    Average write throughput: 185.566997 MB/s
    Note: High MB/s values for very short durations indicate efficient operations.


    Read Durations Summary:

    Total number of read operations: 2651
    Average read duration: 0.018018 seconds
    Maximum read duration: 31.838000 seconds (0.03 MB/s)
    Minimum read duration: 0.001000 seconds (1000.00 MB/s)
    Total read time: 47.766000 seconds
    Percentage of total time spent on reads: 77.01%
    Average read throughput: 55.499728 MB/s
    Note: High MB/s values for very short durations indicate efficient operations.


Top 20 Slowest Write I/O Operations:
1. I/O Number: 608, Duration: 0.041000 seconds, MB/s: 24.39
2. I/O Number: 2276, Duration: 0.038000 seconds, MB/s: 26.32
3. I/O Number: 1548, Duration: 0.025000 seconds, MB/s: 40.00
4. I/O Number: 2076, Duration: 0.025000 seconds, MB/s: 40.00
5. I/O Number: 636, Duration: 0.024000 seconds, MB/s: 41.67
6. I/O Number: 195, Duration: 0.023000 seconds, MB/s: 43.48
7. I/O Number: 892, Duration: 0.023000 seconds, MB/s: 43.48
8. I/O Number: 1451, Duration: 0.023000 seconds, MB/s: 43.48
9. I/O Number: 1539, Duration: 0.023000 seconds, MB/s: 43.48
10. I/O Number: 1987, Duration: 0.023000 seconds, MB/s: 43.48
11. I/O Number: 604, Duration: 0.022000 seconds, MB/s: 45.45
12. I/O Number: 896, Duration: 0.022000 seconds, MB/s: 45.45
13. I/O Number: 1283, Duration: 0.022000 seconds, MB/s: 45.45
14. I/O Number: 1532, Duration: 0.022000 seconds, MB/s: 45.45
15. I/O Number: 1544, Duration: 0.022000 seconds, MB/s: 45.45
16. I/O Number: 595, Duration: 0.021000 seconds, MB/s: 47.62
17. I/O Number: 616, Duration: 0.021000 seconds, MB/s: 47.62
18. I/O Number: 652, Duration: 0.021000 seconds, MB/s: 47.62
19. I/O Number: 1512, Duration: 0.021000 seconds, MB/s: 47.62
20. I/O Number: 1552, Duration: 0.021000 seconds, MB/s: 47.62

Top 20 Slowest Read I/O Operations:
1. I/O Number: 5900, Duration: 31.838000 seconds, MB/s: 0.03
2. I/O Number: 1614, Duration: 0.041000 seconds, MB/s: 24.39
3. I/O Number: 4950, Duration: 0.039000 seconds, MB/s: 25.64
4. I/O Number: 4550, Duration: 0.026000 seconds, MB/s: 38.46
5. I/O Number: 1670, Duration: 0.025000 seconds, MB/s: 40.00
6. I/O Number: 3494, Duration: 0.025000 seconds, MB/s: 40.00
7. I/O Number: 788, Duration: 0.023000 seconds, MB/s: 43.48
8. I/O Number: 1606, Duration: 0.023000 seconds, MB/s: 43.48
9. I/O Number: 2182, Duration: 0.023000 seconds, MB/s: 43.48
10. I/O Number: 3300, Duration: 0.023000 seconds, MB/s: 43.48
11. I/O Number: 3476, Duration: 0.023000 seconds, MB/s: 43.48
12. I/O Number: 3486, Duration: 0.023000 seconds, MB/s: 43.48
13. I/O Number: 4372, Duration: 0.023000 seconds, MB/s: 43.48
14. I/O Number: 2190, Duration: 0.022000 seconds, MB/s: 45.45
15. I/O Number: 2964, Duration: 0.022000 seconds, MB/s: 45.45
16. I/O Number: 3422, Duration: 0.022000 seconds, MB/s: 45.45
17. I/O Number: 3462, Duration: 0.022000 seconds, MB/s: 45.45
18. I/O Number: 4628, Duration: 0.022000 seconds, MB/s: 45.45
19. I/O Number: 5548, Duration: 0.022000 seconds, MB/s: 45.45
20. I/O Number: 1588, Duration: 0.021000 seconds, MB/s: 47.62
Detailed I/O operations have been logged to io-write.log and io-read.log


example of above analysis:

Percentage of total time spent on writes: 22.99%
Percentage of total time spent on reads: 77.01%

Este exemplo demonstra como o problema de desempenho aparece com a operação de leitura dos dados, em vez das operações de gravação.