NetWorker: Як аналізувати продуктивність вводу-виводу за допомогою ddboost_precert.log

Precert logging включено як крок усунення неполадок, коли вважається, що проблеми з резервним копіюванням NetWorker Client Direct пов'язані з бібліотекою Data Domain DD Boost клієнта. Ця утиліта може виявляти проблеми з продуктивністю за зібраними журналами попередньої сертифікації.

Підготовка ddboost_precert.log

Як простий приклад використання, створіть ddboost_precert.ini на корені UNIX, або корені C:\ для Windows. Файл повинен містити: 

precert_enabled=true
num_log_files=4
log_file_size=512
log_file_name=ddboost_precert.log
log_file_dir=/DDLog
ddcl_logs_include=true
ddcl_logs_sev=4

Дивіться статтю Домен даних: Увімкніть ведення журналів DD Boost API за допомогою інструменту precert (precert logs), щоб отримати повну процедурну інформацію для збору журналів precert. (для перегляду цієї статті потрібен логін для входу в службу підтримки Dell)

Підготовка до використання сценарію

Передумовою:  Python 3.x
Завантажте скрипт з: Рішення NetWorker Tools (dell.com)

1. Збережіть скрипт у робочій директорії, що містить журнали precert як precert-io-perf.py.
2. У системах UNIX переконайтеся, що скрипт є виконуваним: chmod +x precert-io-perf.py
3. Запустіть скрипт: ./precert-io-perf.py

Підказки для введення

• Введіть повний шлях до файлу журналу precert DD Boost, коли з'явиться запит.
• Введіть «Так» або « Ні», коли з'явиться запит на включення МБ/с для кожної операції вводу/виводу

Підсумок

Скрипт відображає підсумок операцій запису та читання, включаючи:

• Загальна кількість операцій запису та читання
• Середня тривалість запису та читання
• Максимальна та мінімальна тривалість запису та читання, а також відповідна пропускна здатність (МБ/с)
• Загальний час запису та читання
• Відсоток від загального часу, витраченого на запис і читання
• Середня пропускна здатність запису та зчитування (МБ/с)
• Детальні операції вводу/виводу

Скрипт реєструє детальні операції введення-виведення з двома файлами CSV:

• io-write.log - містить детальну інформацію про кожну операцію запису
• io-read.log - містить детальну інформацію про кожну операцію зчитування

Приклад виводу

# ./precert-io-perf.py
Please enter the full path to the log file: ./ddboost_precert.log
Do you want to include MB/s for each I/O operation? (yes/no): yes

    Write Durations Summary:

    Total number of write operations: 2646
    Average write duration: 0.005389 seconds
    Maximum write duration: 0.041000 seconds (24.39 MB/s)
    Minimum write duration: 0.000001 seconds (1000000.00 MB/s)
    Total write time: 14.259001 seconds
    Percentage of total time spent on writes: 22.99%
    Average write throughput: 185.566997 MB/s
    Note: High MB/s values for very short durations indicate efficient operations.


    Read Durations Summary:

    Total number of read operations: 2651
    Average read duration: 0.018018 seconds
    Maximum read duration: 31.838000 seconds (0.03 MB/s)
    Minimum read duration: 0.001000 seconds (1000.00 MB/s)
    Total read time: 47.766000 seconds
    Percentage of total time spent on reads: 77.01%
    Average read throughput: 55.499728 MB/s
    Note: High MB/s values for very short durations indicate efficient operations.


Top 20 Slowest Write I/O Operations:
1. I/O Number: 608, Duration: 0.041000 seconds, MB/s: 24.39
2. I/O Number: 2276, Duration: 0.038000 seconds, MB/s: 26.32
3. I/O Number: 1548, Duration: 0.025000 seconds, MB/s: 40.00
4. I/O Number: 2076, Duration: 0.025000 seconds, MB/s: 40.00
5. I/O Number: 636, Duration: 0.024000 seconds, MB/s: 41.67
6. I/O Number: 195, Duration: 0.023000 seconds, MB/s: 43.48
7. I/O Number: 892, Duration: 0.023000 seconds, MB/s: 43.48
8. I/O Number: 1451, Duration: 0.023000 seconds, MB/s: 43.48
9. I/O Number: 1539, Duration: 0.023000 seconds, MB/s: 43.48
10. I/O Number: 1987, Duration: 0.023000 seconds, MB/s: 43.48
11. I/O Number: 604, Duration: 0.022000 seconds, MB/s: 45.45
12. I/O Number: 896, Duration: 0.022000 seconds, MB/s: 45.45
13. I/O Number: 1283, Duration: 0.022000 seconds, MB/s: 45.45
14. I/O Number: 1532, Duration: 0.022000 seconds, MB/s: 45.45
15. I/O Number: 1544, Duration: 0.022000 seconds, MB/s: 45.45
16. I/O Number: 595, Duration: 0.021000 seconds, MB/s: 47.62
17. I/O Number: 616, Duration: 0.021000 seconds, MB/s: 47.62
18. I/O Number: 652, Duration: 0.021000 seconds, MB/s: 47.62
19. I/O Number: 1512, Duration: 0.021000 seconds, MB/s: 47.62
20. I/O Number: 1552, Duration: 0.021000 seconds, MB/s: 47.62

Top 20 Slowest Read I/O Operations:
1. I/O Number: 5900, Duration: 31.838000 seconds, MB/s: 0.03
2. I/O Number: 1614, Duration: 0.041000 seconds, MB/s: 24.39
3. I/O Number: 4950, Duration: 0.039000 seconds, MB/s: 25.64
4. I/O Number: 4550, Duration: 0.026000 seconds, MB/s: 38.46
5. I/O Number: 1670, Duration: 0.025000 seconds, MB/s: 40.00
6. I/O Number: 3494, Duration: 0.025000 seconds, MB/s: 40.00
7. I/O Number: 788, Duration: 0.023000 seconds, MB/s: 43.48
8. I/O Number: 1606, Duration: 0.023000 seconds, MB/s: 43.48
9. I/O Number: 2182, Duration: 0.023000 seconds, MB/s: 43.48
10. I/O Number: 3300, Duration: 0.023000 seconds, MB/s: 43.48
11. I/O Number: 3476, Duration: 0.023000 seconds, MB/s: 43.48
12. I/O Number: 3486, Duration: 0.023000 seconds, MB/s: 43.48
13. I/O Number: 4372, Duration: 0.023000 seconds, MB/s: 43.48
14. I/O Number: 2190, Duration: 0.022000 seconds, MB/s: 45.45
15. I/O Number: 2964, Duration: 0.022000 seconds, MB/s: 45.45
16. I/O Number: 3422, Duration: 0.022000 seconds, MB/s: 45.45
17. I/O Number: 3462, Duration: 0.022000 seconds, MB/s: 45.45
18. I/O Number: 4628, Duration: 0.022000 seconds, MB/s: 45.45
19. I/O Number: 5548, Duration: 0.022000 seconds, MB/s: 45.45
20. I/O Number: 1588, Duration: 0.021000 seconds, MB/s: 47.62
Detailed I/O operations have been logged to io-write.log and io-read.log


example of above analysis:

Percentage of total time spent on writes: 22.99%
Percentage of total time spent on reads: 77.01%

Цей приклад демонструє, як проблема продуктивності виникає під час операції читання даних на відміну від операцій запису.