VPLEX. Серьезная задержка записи на распределенных устройствах VPlex из-за проблем с производительностью сервера

Хосты испытывают значительную задержку записи, что может привести к неограниченному доступу производительности.

На стороне VPlex может происходить поток прерваний хоста (события stdf/10) со статусом 0x2a или 0x8a. Это означает, что хосты прерывают запись IOs:

128.221.252.67/cpu0/log:5988:W/"00601672b5b475554-2":126043:<6>10.01.2019 19:39:09.68: stdf/10 scsi tmf [прервать задачу] на fcp ITLQ: [10:00:00:00:C9:C9:AB:DC (0x10000000c9c9abdc) A0-FC00 (0x5000144260756500) 0x8000000000000 0x243] том dd_vol taskElapsedTime(usec) 5339 dormantQCnt 0 enabledQCnt 0 status 2a00000000000605:400ac80000002
128.221.252.67/cpu0/log:5988:W/"00601672b5b475554-2":126043:<6>10.01.2019 19:39:09.68: stdf/10 scsi tmf [прервать задачу] на fcp itlq: [10:00:00:00:C9:C9:AB:DC (0x10000000c9c9abdc) A0-FC00 (0x5000144260756500) 0x8000000000000 0x243] том dd_vol taskElapsedTime(usec) 5339 dormantQCnt 0 enabledQCnt 0 status 2a00000000000605:400ac80000002
128.221.252.67/cpu0/log:5988:W/"00601672b5b475554-2":126043:<6>10.01.2019 19:39:09.68: stdf/10 scsi tmf [прервать задачу] на fcp itlq: [10:00:00:00:C9:C9:AB:DC (0x10000000c9c9abdc) A0-FC00 (0x5000144260756500) 0x8000000000000 0x243] том dd_vol taskElapsedTime(usec) 5339 dormantQCnt 0 enabledQCnt 0 status 2a00000000000605:400ac800000002


Поток внутренних тайм-аутов (событий scsi/140) для тома хранилища, который соответствует виртуальному тому, представленному затронутым хостам:
 

firmware.log_20181019000922:128.221.253.36/cpu0/log:5988:W/"0060166fc49615528-1":304763:<4>10.01.2019 19:39:09.68: команда SCSI/140 0x7ec67ce41278 тайм-аут, код операции 0x2a luid VPD83T3:600 304764<> 20181019000922 0x5006016c47e02548 0x000f000000000000 firmware.log 0xc0014487873b8800 000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000002019/01/10 19:39:09.68: scsi/140 Scsi 0x7ec67b9c99f0 тайм-аут, код операции 0x2a luid VPD83T3:6000 0x5006016d47e02548 0xc0014487873b8900 VPD83T3 0x2a 0x7ec67f032f90 304765<> 20181019000922 0x5006016c47e02548 0x004f000000000000 firmware.log 0xc0014487873b8800 0000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000 0x000f0000000000

Кроме того, в затронутых томах

хранения данных могут наблюдаться события, приводящие к снижению производительности (события amf/249).128.221.253.67/cpu0/log:5988:W/"0060166fd1a610335-2":2359857:<4>10.01.2019 19:39:09.6: производительность amf/249 sop_xxxx amf ухудшилась. Средняя задержка операций ввода-вывода при записи увеличилась с 0,0 миллисекунды до 216,197 миллисекунды, что выше допустимого предела в 200 миллисекунд.
128.221.253.67/cpu0/log:5988:W/"0060166fd1a610335-2":2359857:<4>10.01.2019 19:39:09.6: amf/249 Производительность sop_xxxx Amf ухудшилась. Средняя задержка операций ввода-вывода при записи увеличилась с 0,0 миллисекунды до 216,197 миллисекунды, что выше допустимого предела в 200 миллисекунд.
128.221.253.67/cpu0/log:5988:W/"0060166fd1a610335-2":2359857:<4>10.01.2019 19:39:09.6: amf/249 Производительность sop_xxxx Amf ухудшилась. Средняя задержка операций ввода-вывода при записи увеличилась с 0,0 миллисекунды до 216,197 миллисекунды, что выше допустимого предела в 200 миллисекунд.


Зеркальная ветвь RAID-1, построенная на низкопроизводительном томе хранения, может снизить производительность всего устройства RAID-1 и увеличить задержки ввода-вывода для приложений, использующих это устройство. Это связано с тем, что операции ввода-вывода записи записываются только после подтверждения на обеих ветвях (одна из них — низкопроизводительная ветвь)

Это может быть связано с проблемой какого-либо внутреннего массива или внутренней фабрики, которая может привести к отображению потока тайм-аутов серверной части в VPLEX.

Включение функции изоляции зеркала устранит проблему высокой задержки, так как это изолирует плохо работающее устройство и остановит обработку на нем операций ввода-вывода. Это позволит приложениям восстановиться до тех пор, пока не будут устранены внутренние проблемы.

VPlexcli:/> включить изоляцию

зеркала устройства VPlexcli:/
> показать Кластер включен Автоматическая отмена изоляции Интервал изоляции Интервал
разблокировки --------- ------- ---------------- ------------------ --------------------
cluster-1 true true 60 14400
cluster-2 true 60 14400


Эта функция автоматически изолирует [прекратит выполнение операций ввода-вывода] низкопроизводительные ветви RAID-1. Он включается для каждого кластера. 

Плюсы:

1.  Автоматическая функция, которая может быстро изолировать плохо работающие ноги после возникновения проблемы [обычно в течение нескольких минут]
2.  Когда устройство становится одноизолированным, перестроение выполняется автоматически и восстанавливает только те изменения, которые произошли, когда ножка устройства была изолирована. Обычно повторная синхронизация занимает всего несколько минут
3. Эту функцию можно легко и быстро включать и отключать 

Минусы:

1. Пока ножка устройства изолирована, устройство верхнего уровня больше не имеет резервирования
2. После того как ветвь устройства изолирована, VPLEX не проверяет ее изоляцию в течение 4 часов [это позволяет избежать ситуации, когда периодические проблемы с производительностью приводят к периодическому влиянию на производительность]

Дополнительные сведения о функции изоляции зеркала см. в руководстве администратора VPLEX.

Использование изоляции зеркал только устраняет проблемы с производительностью, тем самым устраняя влияние на производительность. Однако основная причина снижения производительности требует дальнейшего изучения. Для дальнейшего изучения этого вопроса необходимо привлечь специалистов по серверным массивам и серверным фабрикам.

ПРИМЕЧАНИЕ.
Также см. статью базы знаний 530520: «VPLEX: Сбой одного компонента в контроллерах фабрики или массива может привести к постоянному снижению производительности хостов, обращающихся к хранилищу через VPLEX».

Содержание этой статьи переведено на другие языки: 

https://downloads.dell.com/TranslatedPDF/PT-BR_KB530258.pdf

https://downloads.dell.com/TranslatedPDF/ZH-CN_KB530258.pdf

https://downloads.dell.com/TranslatedPDF/AR-EG_KB530258.pdf

https://downloads.dell.com/TranslatedPDF/DE_KB530258.pdf

https://downloads.dell.com/TranslatedPDF/ES_KB530258.pdf

https://downloads.dell.com/TranslatedPDF/FR_KB530258.pdf

https://downloads.dell.com/TranslatedPDF/KO_KB530258.pdf

https://downloads.dell.com/TranslatedPDF/JA_KB530258.pdf

https://downloads.dell.com/TranslatedPDF/IT_KB530258.pdf

https://downloads.dell.com/TranslatedPDF/NL_KB530258.pdf

https://downloads.dell.com/TranslatedPDF/PT_KB530258.pdf

https://downloads.dell.com/TranslatedPDF/RU_KB530258.pdf

https://downloads.dell.com/TranslatedPDF/SV_KB530258.pdf