NetWorker. Анализ производительности ввода-вывода с помощью ddboost_precert.log

Ведение журнала Precert включено в качестве шага по устранению неполадок, когда проблемы с резервным копированием NetWorker Client Direct считаются связанными с библиотекой клиента Data Domain DD Boost. Эта утилита может выявлять проблемы производительности по собранным журналам precert.

Подготовка ddboost_precert.log

В качестве простого примера использования создайте ddboost_precert.ini в корне UNIX или корне C:\ для Windows. Файл должен содержать: 

precert_enabled=true
num_log_files=4
log_file_size=512
log_file_name=ddboost_precert.log
log_file_dir=/DDLog
ddcl_logs_include=true
ddcl_logs_sev=4

См. статью Data Domain. Включите ведение журнала API DD Boost с помощью инструмента precert (журналы precert) для получения полных сведений о процедуре сбора журналов precert. (для просмотра этой статьи требуется вход в службу поддержки Dell)

Подготовка к использованию сценария

Предварительные требования  Python 3.x
Загрузите сценарий с: Решения NetWorker Tools (dell.com)

1. Сохраните сценарий в рабочем каталоге, содержащем журналы precert как precert-io-perf.py.
2. В системах UNIX убедитесь, что сценарий является исполняемым. chmod +x precert-io-perf.py
3. Запустите сценарий: ./precert-io-perf.py

Запросы ввода

• При появлении запроса введите полный путь к файлу журнала precert DD Boost.
• Введите «Yes » или «No » при появлении запроса на включение Мбайт/с для каждой операции ввода-вывода

Вывод сводки

Сценарий отображает сводку операций записи и чтения, в том числе:

• Общее количество операций записи и чтения
• Средняя продолжительность записи и чтения
• Максимальная и минимальная продолжительность записи и чтения, а также их соответствующая пропускная способность (Мбайт/с)
• Общее время записи и чтения
• Процент общего времени, затрачиваемого на запись и чтение
• Средняя пропускная способность операций записи и чтения (Мбайт/с)
• Подробные сведения об операциях ввода-вывода

Сценарий записывает подробные операции ввода-вывода в два CSV-файла:

• io-write.log — содержит подробную информацию о каждой операции записи
• io-read.log - содержит подробную информацию о каждой операции чтения

Пример выходных данных

# ./precert-io-perf.py
Please enter the full path to the log file: ./ddboost_precert.log
Do you want to include MB/s for each I/O operation? (yes/no): yes

    Write Durations Summary:

    Total number of write operations: 2646
    Average write duration: 0.005389 seconds
    Maximum write duration: 0.041000 seconds (24.39 MB/s)
    Minimum write duration: 0.000001 seconds (1000000.00 MB/s)
    Total write time: 14.259001 seconds
    Percentage of total time spent on writes: 22.99%
    Average write throughput: 185.566997 MB/s
    Note: High MB/s values for very short durations indicate efficient operations.


    Read Durations Summary:

    Total number of read operations: 2651
    Average read duration: 0.018018 seconds
    Maximum read duration: 31.838000 seconds (0.03 MB/s)
    Minimum read duration: 0.001000 seconds (1000.00 MB/s)
    Total read time: 47.766000 seconds
    Percentage of total time spent on reads: 77.01%
    Average read throughput: 55.499728 MB/s
    Note: High MB/s values for very short durations indicate efficient operations.


Top 20 Slowest Write I/O Operations:
1. I/O Number: 608, Duration: 0.041000 seconds, MB/s: 24.39
2. I/O Number: 2276, Duration: 0.038000 seconds, MB/s: 26.32
3. I/O Number: 1548, Duration: 0.025000 seconds, MB/s: 40.00
4. I/O Number: 2076, Duration: 0.025000 seconds, MB/s: 40.00
5. I/O Number: 636, Duration: 0.024000 seconds, MB/s: 41.67
6. I/O Number: 195, Duration: 0.023000 seconds, MB/s: 43.48
7. I/O Number: 892, Duration: 0.023000 seconds, MB/s: 43.48
8. I/O Number: 1451, Duration: 0.023000 seconds, MB/s: 43.48
9. I/O Number: 1539, Duration: 0.023000 seconds, MB/s: 43.48
10. I/O Number: 1987, Duration: 0.023000 seconds, MB/s: 43.48
11. I/O Number: 604, Duration: 0.022000 seconds, MB/s: 45.45
12. I/O Number: 896, Duration: 0.022000 seconds, MB/s: 45.45
13. I/O Number: 1283, Duration: 0.022000 seconds, MB/s: 45.45
14. I/O Number: 1532, Duration: 0.022000 seconds, MB/s: 45.45
15. I/O Number: 1544, Duration: 0.022000 seconds, MB/s: 45.45
16. I/O Number: 595, Duration: 0.021000 seconds, MB/s: 47.62
17. I/O Number: 616, Duration: 0.021000 seconds, MB/s: 47.62
18. I/O Number: 652, Duration: 0.021000 seconds, MB/s: 47.62
19. I/O Number: 1512, Duration: 0.021000 seconds, MB/s: 47.62
20. I/O Number: 1552, Duration: 0.021000 seconds, MB/s: 47.62

Top 20 Slowest Read I/O Operations:
1. I/O Number: 5900, Duration: 31.838000 seconds, MB/s: 0.03
2. I/O Number: 1614, Duration: 0.041000 seconds, MB/s: 24.39
3. I/O Number: 4950, Duration: 0.039000 seconds, MB/s: 25.64
4. I/O Number: 4550, Duration: 0.026000 seconds, MB/s: 38.46
5. I/O Number: 1670, Duration: 0.025000 seconds, MB/s: 40.00
6. I/O Number: 3494, Duration: 0.025000 seconds, MB/s: 40.00
7. I/O Number: 788, Duration: 0.023000 seconds, MB/s: 43.48
8. I/O Number: 1606, Duration: 0.023000 seconds, MB/s: 43.48
9. I/O Number: 2182, Duration: 0.023000 seconds, MB/s: 43.48
10. I/O Number: 3300, Duration: 0.023000 seconds, MB/s: 43.48
11. I/O Number: 3476, Duration: 0.023000 seconds, MB/s: 43.48
12. I/O Number: 3486, Duration: 0.023000 seconds, MB/s: 43.48
13. I/O Number: 4372, Duration: 0.023000 seconds, MB/s: 43.48
14. I/O Number: 2190, Duration: 0.022000 seconds, MB/s: 45.45
15. I/O Number: 2964, Duration: 0.022000 seconds, MB/s: 45.45
16. I/O Number: 3422, Duration: 0.022000 seconds, MB/s: 45.45
17. I/O Number: 3462, Duration: 0.022000 seconds, MB/s: 45.45
18. I/O Number: 4628, Duration: 0.022000 seconds, MB/s: 45.45
19. I/O Number: 5548, Duration: 0.022000 seconds, MB/s: 45.45
20. I/O Number: 1588, Duration: 0.021000 seconds, MB/s: 47.62
Detailed I/O operations have been logged to io-write.log and io-read.log


example of above analysis:

Percentage of total time spent on writes: 22.99%
Percentage of total time spent on reads: 77.01%

В этом примере показано, как возникает проблема производительности при выполнении операции чтения данных в отличие от операций записи.