Домен даних: Усунення неполадок із продуктивністю віртуального видання Data Domain

Мережа та підключення пристрою хостингу ВМ:

Ввід/вивід Ethernet:

Використовуючи агрегати Ethernet для з'єднань для передачі даних до хост-пристрою, ви не можете припустити, що існування конфігурації агрегату Ethernet належним чином врівноважує навантаження. Повинні бути запроваджені належні методи балансування навантаження та пропускна здатність, щоб забезпечити необмежений ввід/вивід до хостинг-пристрою віртуальної машини.

Підключення пристрою VM Hosting до дискового сховища:

Тип підключення та протокол мають величезний вплив на продуктивність віртуальної машини DDVE. Нижче наведено найпоширеніші типи з'єднання між хостинговим пристроєм віртуальної машини та дисковим сховищем. Варіант 1 пропонує найкращий рівень продуктивності, а варіант 5 є найгіршим вибором підключення. Параметри кешу запису HBA також можуть суттєво вплинути на продуктивність між хост-пристроєм і дисковим сховищем. Рекомендується, щоб на HBA був увімкнений кеш запису, щоб забезпечити найкращу продуктивність від хост-пристрою до дискового сховища.

1. Сховище з прямим підключенням - SAS-диски/SSD у RAID 5 або RAID 6 + увімкнено HBA-write-cache (бажано для найкращої продуктивності)
2. Сховище з прямим підключенням - JBOD без увімкненого RAID + HBA-write-cache (прийнятна продуктивність, але не має рекомендованого захисту RAID)
3. Зовнішнє RAID-сховище FC (активне/активне 16 ГБ або швидше) (прийнятна продуктивність, але може бути обмежена можливостями FC)
4. iSCSI 10G (зовнішній дисковий накопичувач) (не рекомендується)
5. NFS 10G (зовнішній дисковий накопичувач) (не рекомендується)

Перевірка фізичних масивів зберігання даних, статистики та продуктивності:

Якість диска vs Розмір диска vs Кількість дисків:

Диски з більшою щільністю, наприклад 4+ ТБ, мають менший IOPS на ТБ, ніж диски меншого розміру. З цієї причини DDVE, розгорнута на більшій кількості дисків меншого обсягу ТБ, забезпечує вищу продуктивність, ніж DDVE, розгорнута на кількох дисках великого обсягу ТБ. Це пов'язано з високою залежністю DDVE від продуктивності випадкового зчитування. Звичайне робоче навантаження від DDVE може зробити цю битву між розміром фізичного диска та фізичним об'ємом диска ще більш вираженою, тому намагайтеся переконатися, що ваша система зберігання даних має хороший баланс і відповідає очікуванням, викладеним у відповідному Керівництві з найкращих практик DDVE. У цій статті ми не будемо акцентувати увагу на окремих, фізичних типах HDD і SSD і їх продуктивних можливостях. Цю інформацію можна отримати у виробника диска. Досить сказати, що більш високопродуктивні фізичні диски прирівнюються до більш продуктивних DDVE віртуальних машин.

Усунення несправностей при зберіганні:

Перевірте затримку на фізичних дисках, пов'язаних із віртуальною машиною DDVE.

Для VMware це можна зробити, вибравши свою віртуальну машину, виберіть вкладку «Продуктивність », а потім виберіть «Сховище даних » у випадаючому списку. Він відображає всі відповідні сховища даних для вашої конкретної віртуальної машини DDVE. Нарешті, натисніть кнопку Додатково для детального графічного відображення затримки для сховищ даних, пов'язаних із вашою віртуальною машиною DDVE.

Малюнок 1: Продуктивність сховища даних

Щоб визначити навантаження вводу/виводу для сховища даних, розрахуйте IOPS, який обробляється вашим сховищем даних.

Почніть з того ж графіка, що й раніше, але виберіть «Параметри діаграми», очистіть «Затримка запису» та «Затримка читання», а потім виберіть два значення «Середня кількість запитів на читання за секунду » та «Середня кількість запитів на запис за секунду». Отриманий графік показує, скільки IOPS виконує сховище даних, і це може дати вам деяке уявлення про загальне навантаження, яке "dev" сховища DDVE надає на сховище даних. Цей вивід також може бути корисним для розрізнення того, чи використовується сховище даних для спільного використання робочого навантаження від програми, яка не використовує DDVE.

Малюнок 2: Параметри діаграм

Для більш детального перегляду IOPS перевірте співвідношення зчитування/запису.

За конструкцією DDVE зазвичай зчитує з дискового сховища в 2-4 рази більше, ніж записує. Виняток становлять випадки gen-0 (розсіювання) резервних копій, коли записуються абсолютно нові дані, які не можуть бути дедупліковані. У зв'язку з вищезазначеними причинами фізичне сховище, яке використовується DDVE, повинно бути здатним ефективно обробляти переважно орієнтовані на читання, але змішані, випадкові робочі навантаження файлової системи домену даних.

Масиви фізичних дискових сховищ (SSD, магнітні диски тощо) можуть демонструвати значно інші можливості для ефективної обробки зчитувань у порівнянні з записом. Здатність системи зберігання даних фізичного диска забезпечувати виняткову продуктивність IOPS випадкового зчитування в поєднанні з низькими (менше 40 мілісекунд) затримками є найбільш критичними факторами у визначенні того, чи відповідає сховище даних прийнятним характеристикам продуктивності для віртуальної машини DDVE.

Якщо потрібне більш глибоке дослідження масивів зберігання даних або продуктивності сховища даних, буде використано інструмент командного рядка під назвою vscsiStats. Зверніться до служби підтримки VMware для отримання додаткової інформації про те, як можна використовувати vscisistats для отримання розмірів блоків, затримок та більш детальної статистики продуктивності читання/запису.

Перевірка того, що надання ресурсів відповідає вимогам DDVE:

Часто причиною проблеми з продуктивністю віртуальної машини DDVE можна пояснити деякі налаштовані параметри, які обмежують ресурси, доступні для віртуальної машини DDVE. Загалом, пули ресурсів з обмеженнями служитимуть лише для обмеження загальної продуктивності віртуальної машини DDVE, і тому не рекомендуватимуться. І навпаки, існують деякі застереження щодо ресурсів, які покращують загальну продуктивність віртуальної машини DDVE. Завжди звертайтеся до посібників із найкращих практик та адміністрування DDVE для вашої конфігурації під час розгортання, усунення несправностей або налаштування продуктивності віртуальної машини DDVE.

Розпочніть перевірку розподілу ресурсів, вибравши вкладку Розподіл ресурсів . Далі виберіть віртуальну машину DDVE, яку ви усуваєте, з пулу віртуальних машин. У розділі «Вигляд» виберіть «ЦП» і перевірте всі віртуальні машини в цьому пулі (за умови, що ваша проблемна віртуальна машина також там є). Переконайтеся, що для параметра Limit MHz встановлено значення Unlimited. Обмеження ресурсів процесора для віртуальної машини DDVE не рекомендується і призводить до зниження продуктивності.

Малюнок 3: Розподіл ресурсів

Переходимо до перевірки ресурсів пам'яті, виділених на віртуальну машину DDVE. Переконайтеся, що ресурси пам'яті правильно «зарезервовані» та встановлені на необмежену кількість для забезпечення найкращої продуктивності. Встановлення обмежень на виділення пам'яті для DDVE не рекомендується і призводить до зниження продуктивності.

Малюнок 4: Ресурси пам'яті

На вкладці Сховище переконайтеся, що немає обмежень на IOPS сховища. Натисніть кнопку Сховище та перегляньте диски/сховища даних. Значення "Limit-IOPS" для кожного диска, пов'язаного з віртуальною машиною DDVE, має бути встановлено значення Unlimited.

Малюнок 5: Ресурси для зберігання

Для вже згаданих трьох категорій ресурсів зверніть увагу на % вартості акцій . Значення % акцій вказують на те, який відсоток акцій ця конкретна віртуальна машина черпає з усього пулу ресурсів. «Вартість акцій» відносна, а не абсолютна. Однак переконайтеся, що немає великої різниці між значеннями на всіх пристроях у пулі. Наприклад, можна очікувати 1000, 2000 або 3000, однак такі значення, як 10, 5, 4000 вказують на аномальну диспропорцію і нерівний розподіл ресурсів. Якщо будь-яка окрема віртуальна машина має значно різне значення, вам слід розглянути можливість зміни налаштувань «вартості акцій».

Перевірка статистики продуктивності для віртуальної машини DDVE:

Ефективно працююча віртуальна машина DDVE потребує безперешкодного доступу до ресурсів для забезпечення максимальної продуктивності. DDVE широко використовує пам'ять і процесор, і не може бути обмежений без проблем. Коли віртуальна машина DDVE запущена в робочу систему, ми можемо використовувати графіки та діаграми на вкладці «Продуктивність», щоб оцінити використання ресурсів. Ми можемо використовувати їх, щоб зробити певне визначення того, наскільки ефективно він працює.

ЦП

Виберіть віртуальну машину DDVE, яку потрібно виправити. Далі вибираємо вкладку Продуктивність . Там, де написано переключитися на, виберіть ЦП у розкривному списку. З цієї точки зору можна оцінити обсяг і відсоток процесора, який споживає віртуальна машина DDVE. Якщо % ЦП, що використовується віртуальною машиною DDVE, є високим відсотком від загального ресурсу, можна припустити, що хостинг-пристрій може бути не придатним для запуску віртуальної машини DDVE на повну потужність.

Малюнок 6: Продуктивність процесора

Пам'ять

Якщо здається, що віртуальна машина повільно реагує, можливо, у центрального процесора виникла проблема з плануванням. Щоб оцінити ефективність процесора, почніть з попередньої діаграми і ще раз виберіть «Параметри діаграми». Очистіть усі лічильники, а потім виберіть Готово. Це відображає час готовності віртуального(их) процесора(ів). Значення в мілісекундах вказує на час, протягом якого віртуальна машина готова до запуску, але гіпервізор не може своєчасно призначити процесор для виконання завдання. Для оптимальної роботи DDVE VM ми хотіли б бачити цей показник нижче 8 мілісекунд. 

Малюнок 7: Час готовності процесора

Продуктивність і доступність пам'яті також можуть бути обмежуючим фактором загальної продуктивності DDVE VM. Якщо віртуальна машина DDVE не налаштована з необхідним обсягом зарезервованої фізичної пам'яті, генерується активне оповіщення. Перевірка активних сповіщень запустивши # alerts show current у DDVE CLI та вирішіть за необхідності.

Якщо віртуальна машина DDVE не має достатньо доступних ресурсів пам'яті, вона реагує перестановкою сторінок пам'яті на диск. Це небажаний стан, який призводить до серйозного погіршення продуктивності. Щоб оцінити активне використання пам'яті віртуальною машиною DDVE, почніть із вибору вкладки Продуктивність, а потім виберіть Пам'ять у полі Перемкнутися на.

За замовчуванням на графіку відображаються значення Активна, Надана, Балонна та Спожита пам'ять. Для оптимальної продуктивності переконайтеся, що активна пам'ять становить приблизно 35–50% від значення наданої пам'яті. Щоразу, коли значення активної пам'яті наближається до 60% наданої пам'яті, ви можете ввести сценарій, коли обмін відбувається всередині віртуальної машини DDVE.

Малюнок 8: Продуктивність пам'яті

Перевірка того, що віртуальна машина DDVE відповідає «кращим практикам» і рекомендованим конфігураціям:

Під час усунення проблем із продуктивністю потрібно перевірити багато речей і зібрати журнали з самої віртуальної машини DDVE. Перш ніж відкривати інкейс підтримки DDVE, переконайтеся, що конфігурація DDVE відповідає рекомендованим практичним рекомендаціям і рекомендованим параметрам. Зверніться до документації на сайті підтримки для версії DDVE та платформи хостингу, яку ви використовуєте.

Збір статистики продуктивності:

1. Збирайте результати за допомогою наведених нижче команд CLI та інструментів, щоб оцінити базове дискове сховище та переконатися, що конфігурація відповідає необхідному рівню продуктивності для підтримки вибраного обсягу DDVE.

• Виконайте тест оцінки диска (DAT) для кожного розробника дисків, підключеного до DDVE. Розділ «Моніторинг продуктивності» посібника з адміністрування DDVE містить докладні інструкції щодо того, коли і як використовувати інструмент DAT.
• Виконайте тестування DAT на основі типу поглиненого вводу/виводу. Об'єкт with-vnvram Цей параметр слід використовувати, якщо ви в основному використовуєте CIFS/NFS для запису резервних копій. Деякі користувачі використовують Boost для виконання резервного копіювання, а потім використовують NFS для отримання доступу на читання Якщо так, то використання with-vnvram прапорець не потрібен.
• Використання інструменту DAT не підтримується для розгорнутих у хмарі DDVE (Microsoft Azure, Amazon AWS).

2. Команди DDVE CLI для збору інформації для усунення неполадок продуктивності:

• #alerts show current
• #system vresource show required
• #system vresource show current
• #storage show all (переконайтеся, що завдання групи шпинделя відповідають найкращим практикам)
• #cd /ddr/var/log/debug/kern.info/disk_perf/perf.log (переглядайте затримку та IOPS для кожного пристрою)
• #system show performance (використовуйте найкращий синтаксис для звуження огляду виводу CLI під час звичайного навантаження DDVE вводу/виводу)
  • #system show perf custom-view protocol-latency duration 1 hr interval 3 min
  • #system show perf custom-view utilization duration 1 hr interval 3 min
  • #system show perf custom-view iops duration 1 hr interval 3 min
  • #system show perf custom-view streams duration 1 hr interval 3 min
• #disk show performance <dev2> (можна ввести кілька розробників, щоб отримати повне уявлення)

 Disk                            Read                                                   Write                                             Read+Write
            KiB/sec IOPs    Resp(ms)  Ops >1s   KiB/sec     IOPs  Resp(ms)   Ops >1s   MiB/sec   IOPs   Resp(ms)    Random     Busy
----   ------------------------------   ------------------------------   ----------------------------------------  ----------------------------------------  ----------------------------------------
dev2   0             0       3.63               0               0           0     7172.87         4801       0.000       0        2486.26           81.64%    0.01%
----   ------------------------------   ------------------------------   ----------------------------------------  ----------------------------------------   ----------------------------------------

3. Збір інформації про продуктивність DDVE за допомогою # vserver CLI Збір інформації про продуктивність DDVE за допомогою # vserver CLI

• #se # vserver вихід під час навантаження вводу/виводу. (Вивід є частиною завантаження пакета, якщо VServer налаштовано та запущено до створення пакета.)

                                SE@localhost## vserver config set host 12x.xxx.90.xx 
                                The SHA1 fingerprint for the vServer's CA certificate is
                                D1:71:7C:57:3F:3D:3D:3xxxxxxxxxxxxxxxx

                                 Do you want to trust this certificate? (yes|no) [yes]: yes

                                    Enter vServer username: xxxxxxxx
                                    Enter vServer password:xxxxxxxxxxxx

                                 vServer configuration saved.
                                 Started periodic collection of DDVE performance information at/ddvar/log/debug/vserver/ddveperf.log 

4. Створіть і завантажте актуальний пакет підтримки, що включає vserver і disk_perf Журнали.

Корисні відео:

Шаблон для відкриття SR з підтримкою DD для усунення неполадок продуктивності DDVE VM

Конфігурація хоста віртуальної машини

Виробник хоста, модель, версія та ім'я хоста операційної системи?
Постачальник гіпервізора (VMware, Hyper-V, інші)?
Версія та номер сервера Host ESXi/Hyper-V?
Клієнт vSphere або менеджер Hyper-V версія та номер збірки?
Це кластерна конфігурація чи конфігурація HA?
Чи були нещодавні зміни в конфігураціях хоста або віртуальної машини?
Чи має ваш хост-пристрій кеш із живленням від батареї, NVRAM або інший тип механізму для збереження даних у разі незапланованого вимкнення?

Сховище VM Host

Конфігурація RAID сховища та розмір, швидкість, тип диска (наприклад, RAID 6 - 3 ТБ - 7200 об/хв - SATA)?
Тип підключення системи зберігання даних (NFS, FCP, iSCSI, SAS)?
Чи є обсяги сховища та сховища даних, які використовує DDVE, спільними для робочих навантажень, не пов'язаних із доменом даних?
Чи включено або вимкнено кешування запису на сховищі, яке використовується DDVE?
Чи є нещодавні зміни в конфігурації сховища?
Ви використовуєте товсте чи тонке виділення для дискових пристроїв DDVE?

Конфігурація віртуального видання домену даних

Версія і розмір операційної системи DDVE (наприклад, DDVE 3.0 - 6.0.1.10 - 64 ТБ)?
Протокол передачі даних DDVE (наприклад, Boost, NFS, CIFS, NDMP, FCP)?
Робочі навантаження DDVE (наприклад, Cloud, Replication, Backup, VTL)?
Резервне копіювання додатків і версій плагінів?

Детальний опис проблеми

Мережа:
Продуктивність:
Встановлення та конфігурація:
Файлова система DD:
Дані недоступні чи втрата даних?
Чи є у вас поточна відкрита справа з будь-яким іншим постачальником, пов'язаним з цим DDVE?

Необхідні журнали

Пакет підтримки - #support bundle create default Домен даних: Як зібрати/завантажити пакет підтримки (SUB) із засобу відновлення доменів даних (DDR)

vserver perf-stats - #support bundle create files-only /ddvar/log/debug/platform/disk_perf/perf.log
disk_perf/perf.log - #support bundle create files-only /ddvar/log/debug/vserver/ddveperf.log
"Необов'язковий" пакет журналів VMware - Дивіться статтю на сайті самообслуговування VMware