PowerFlex Встановлення та налаштування Oracle Linux KVM на PowerFlex
Summary: У цьому довідковому керівництві по архітектурі описано встановлення та налаштування Oracle Linux KVM на платформі Dell PowerFlex.
Instructions
Повну документацію можна знайти в статті Розгортання кластерів реальних додатків Oracle | Встановлення та налаштування Oracle Linux KVM на Dell PowerFlex | Інформаційний хаб Dell Technologies
Розгортання кластерів реальних додатків Oracle
Логічна архітектура
Цей розділ містить огляд архітектури та кроки, яких слід дотримуватися під час налаштування 3-вузлової бази даних Oracle Real Application Clusters (RAC) за допомогою Oracle Linux Virtualization Manager на дворівневій конфігурації PowerFlex. Це наведено лише як приклад для ілюстрації того, як PowerFlex може дозволити бізнесу використовувати KVM-середовище Oracle Linux з Oracle RAC. Розміри груп дисків ASM і бази даних довільні. Однак найкращі практики включені та застосовуються до будь-якого розгортання цього типу у продакшн.
На наступному малюнку показаний логічний вигляд 3-вузлової установки:
Малюнок 28: Логічна архітектура
Архітектура мережі
У дворівневій системі PowerFlex SDC встановлюється на обчислювальний хост (Oracle Linux KVM), тоді як компоненти MDM і SDS встановлюються на серверні вузли, що працюють лише зі сховищем. SDS агрегує та обслуговує необроблене локальне сховище в кожному вузлі та ділиться цим сховищем як частина кластера PowerFlex. Створюється єдиний пул зберігання з використанням усіх дисків на кожному вузлі в доменах захисту, потім томи виділяються з пулу зберігання та представляються обчислювальним хостам, які Oracle Linux Virtualization Manager використовує як домени зберігання. З домену зберігання виділяються диски відповідного розміру, щоб відповідати вимогам до групи даних дисків Oracle RAC ASM, включаючи томи для даних, журналювання повторних повторень, диск для голосування та область відновлення флеш-пам'яті. Обсяги зіставляються та розподіляються між віртуальними машинами, а потім використовуються ASM для створення груп. У той час як Oracle Grid і програмне забезпечення для баз даних встановлюються незалежно на кожну віртуальну машину, сама база даних Oracle RAC побудована на ASM і, таким чином, стає доступною для всіх вузлів.
У лабораторії для цього KVM-рішення Oracle Linux використовувалися такі мережі та VLAN:
Таблиця 3. Відомості про мережу PowerFlex на рівні хоста
| Ім'я мережі | Опис |
|---|---|
| Бонд0 (p2p1, p3p1) | Управління та трафік віртуальних машин |
| Бонд1 (p3p2, p2p2) | Трафік даних PowerFlex (SDS і SDC) |
Таблиця 4. Деталі мережі Oracle Linux KVM на рівні віртуальної машини
| Ім'я мережі | VLAN | Опис |
|---|---|---|
| ovirtmgmt | 105 | Мережа управління |
| Приватєвлан106 | 106 | Private vlan для приватного з'єднання Oracle |
| VM_Network | 100 | Клієнтська мережа Oracle |
Тегування VLAN
Oracle Linux Virtualization Manager підтримує додавання декількох логічних мереж до фізичних мережевих карт на вузлі Oracle Linux KVM, в тому числі з тегами VLAN. Оскільки VLAN є важливим компонентом архітектури PowerFlex, тут включені кроки для додавання нової логічної мережі з тегами VLAN для з'єднання Oracle.
-
Перейдіть на екран Мережа -> Мережі в Oracle Linux Virtualization Manager і натисніть Створити на малюнку 29.

Малюнок 29. Логічні мережіНа малюнку 30 внесіть наступну інформацію:
- Ім'я
- Опис
- Етикетка мережі
- Поставте галочку біля пункту Увімкнути тегування VLAN і додайте значення VLAN
Залиште Кластер за замовчуванням (він приєднується автоматично), а також профілі vNIC (ім'я за замовчуванням відповідає імені мережі).

Малюнок 30. Нова логічна мережа -
Після створення перейдіть в Мережа -> Мережі і натисніть на новостворену гіперпосилання для мережі vlan-106 .
-
Перейдіть на вкладку Hosts, виділіть один з неприєднаних хостів і натисніть Setup Host Networks на малюнку 31.

Малюнок 31. Призначення хоста VLAN-106 -
З'явиться діалогове вікно Налаштування хостових мереж . Нова логічна мережа з'явиться з правого боку. Клацніть по мережі і перетягніть її у відповідний фізичний NIC, як показано на малюнку 32. Як і тут, інтерфейсу може бути призначено більше ніж одна логічна мережа.

Малюнок 32. Призначте логічну мережу інтерфейсу -
Далі натискаємо значок олівця в кутку логічної мережі. Це дозволяє користувачеві призначити IP-адресу (якщо хочеться). Виберіть відповідний протокол завантаження, додайте адресу, якщо потрібно, і натисніть OK на малюнку 33. Потім Oracle Linux Virtualization Manager налаштовує мережу на хості.

Малюнок 33. Призначте завантажувальний протокол та IPЛогічна мережа створена і налаштована на рисунку 34.

Малюнок 34. Присвоєно ІП
Конфігурація Oracle RAC
У наступному розділі наведено детальну інформацію про налаштування Oracle Linux KVM та встановлення 3-вузлової бази даних Oracle RAC 21c.
Подробиці конфігурації апаратного та програмного забезпечення
У наведеній нижче таблиці описані апаратні та програмні компоненти інфраструктури, що використовується для рішення. Обидва вузли PowerFlex (тільки сховища) і ті, що використовуються для Oracle Linux KVM (тільки для обчислень) однакові:
Таблиця 5. Апаратна та програмна конфігурація
| Компоненти | Домен джерела |
|---|---|
| Модель сервера | Dell R650 |
| Кількість вузлів, що працюють лише з обчисленнями | 3 |
| Кількість вузлів, доступних лише для зберігання | 4 |
| ЦП | ® Процесор Intel Xeon® Gold 6336Y @ 2.40 ГГц |
| Компоненти | Домен джерела |
|---|---|
| Розетки і жили | Два роз'єми 24 ядра |
| Гіперпоточність | Включений |
| Пам'ять | 512 ГБ на хост |
| Зберігання | 2 x 447,13 ГБ (SATA SSD), 10 x 1490,42 ГБ (SAS SSD) |
| Технологія PCIe | Адаптер Mellanox ConnectX-5 EN 25 GbE SFP28 (два порти) |
| NVDIMM | 2 x 16 ГБ, 2933 МТ/с NVDIMM-N DDR-4 |
| Технологія PowerFlex | R4_6 |
| Менеджер PowerFlex | Версія 4.6.0 |
| Менеджер віртуалізації Oracle Linux | 4.5.4-1.0.31.el8 |
| Oracle Linux | Випуск 8 Оновлення 9 |
| Версія бази даних Oracle | 21.3.0.0.0 |
| ОС ВМ - Oracle Linux | Випуск 8 Оновлення 9 |
| Кількість віртуальних машин | 3 |
| Конфігурація віртуальної машини | 16 vCPU, 24 GB пам'яті |
| Вузли віртуальних машин | Остін170, Остін171, Остін172 |
| Ім'я бази даних | ОРКЛ |
| Назви екземплярів | ORCL1, ORCL2, ORCL3 |
| Групи дисків ASM | CONFIG, DATA, REDO, FRA |
Конфігурація хоста
Одночасно з встановленням Oracle Linux Virtualization Manager на власний хост, користувачі повинні підготувати хости Oracle Linux KVM, які також будуть служити обчислювальними вузлами PowerFlex.
Виконайте наступні кроки, щоб встановити хост Oracle Linux KVM для середовища Oracle RAC:
- Встановіть ОС Oracle Linux 8.9 на кожен з обчислювальних хостів.
- Налаштуйте керування мережею для кожного хоста. Призначте IP-адресу кожному хосту.
- Налаштуйте мережу для підтримки підключення SDC до PowerFlex.
- Виконайте наведені нижче команди на кожному з хостів, щоб підготувати хост до отримання команд від движка oVirt:
dnf config-manager --enable ol8_baseos_latest dnf install oracle-ovirt-release-45-el8 -y dnf clean all dnf repolist
Менеджер віртуалізації Oracle Linux
Щоб встановити Oracle Linux Virtualization Manager, виконайте наступні дії:
- Створіть віртуальну машину та встановіть ОС Oracle Linux 8.9 за допомогою базового середовища віртуалізації. Вибір іншої бази може призвести до проблем із впровадженням. Ця база не поставляється з інтерфейсом користувача, але Gnome Desktop можна додати після встановлення, якщо хочете.
- Встановіть пакет oVirt Engine та встановіть двигун, виконавши такі команди:
dnf config-manager --enable ol8_baseos_latest dnf install oracle-ovirt-release-45-el8 -y dnf clean all dnf repolist dnf install ovirt-engine
- Виконайте налаштування двигуна, щоб встановити Oracle Linux Virtualization Manager.
engine-setup
- Після завершення інсталяції користувачеві надається веб-URL, який є FQDN хоста, для доступу до менеджера віртуалізації.
Домени зберігання для ASM
У наступній таблиці наведено відомості про домени сховища, створені з PowerFlex і зіставлені з Oracle Linux KVM, необхідний для дисків Oracle ASM. Обсяги PowerFlex повинні бути розраховані на 8 коефіцієнтів.
Таблиця 6. Домени зберігання, що використовуються для бази даних Oracle RAC
| Домен зберігання | Розмір | Опис |
|---|---|---|
| Oracle_Homes | 504 ГБ | Використовується для файлової системи ОС для віртуальної машини та програмного забезпечення Oracle |
| ORA_CONFIG | 56 ГБ | Для використання групи дисків CONFIG ASM |
| ORA_REDO_1 | 56 ГБ | Для використання групи дисків REDO ASM |
| ORA_REDO_2 | 56 ГБ | Для використання групи дисків REDO ASM |
| ORA_REDO_3 | 56 ГБ | Для використання групи дисків REDO ASM |
| ORA_DATA_1 | 504 ГБ | Для використання групи дисків DATA ASM |
| ORA_DATA_2 | 504 ГБ | Для використання групи дисків DATA ASM |
| ORA_DATA_3 | 504 ГБ | Для використання групи дисків DATA ASM |
| ORA_FRA_1 | 504 ГБ | Для використання для групи дисків FRA ASM |
| ORA_FRA_2 | 504 ГБ | Для використання для групи дисків FRA ASM |
| ORA_FRA_3 | 504 ГБ | Для використання для групи дисків FRA ASM |
Конфігурація віртуальної машини
У цій конфігурації були використані наступні кроки для налаштування 3-вузлової бази даних Oracle RAC з Oracle Linux Virtualization Manager, що працює на PowerFlex:
-
Створюйте віртуальні машини, по одній віртуальній машині на хост. Встановіть ОС Oracle Linux 8.9.
- Створіть 3 віртуальні диски по 100 ГБ з Oracle_Homes, які будуть використовуватися для встановлення ОС для файлової системи віртуальної машини, по одному для кожної віртуальної машини.
- Ці диски планують зробити «завантажувальними»

Малюнок 35. Диск роблять завантажувальним для встановлення ОС -
Встановіть ОС Oracle Linux 8.9 на кожну віртуальну машину та призначте IP для кожної віртуальної машини. Інсталяцією може бути базове середовищесервера з графічним інтерфейсом або сервера.
-
Створіть необхідні диски з домену сховища, необхідні для груп дисків ASM DATA, OCR, MGMT REDO та FRA.
Таблиця 7. ASM диски з доменів зберігання даних
Групи дисків ASM Розмір Зі сховища домену КОНФІГУРАЦІЯ 1 x ~50 ГБ ORA_CONFIG Оптичне розпізнавання символів 3 x ~50 ГБ ORA_REDO_1, ORA_REDO_2, ORA_REDO_3 ДАНІ 3 x ~500 ГБ ORA_DATA_1, ORA_ ДАНІ _2, ORA_ ДАНІ _3 ФРА 3 x ~500 ГБ ORA_FRA_1, ORA_ FRA _2, ORA_ FRA _3 -
Підключіть диски ASM до всіх віртуальних машин, зробивши їх спільними.

Малюнок 36. Диски ASM стають доступними для спільного використання для встановлення бази даних Oracle RAC -
На вибір пропонується три інтерфейси:
- IDE
Стандартний інтерфейс підключення до пристроїв зберігання даних. З точки зору швидкодії, він трохи повільніший, ніж VirtIO або VirtIO-SCSI - VirtIO
Пара-віртуалізований драйвер забезпечує підвищену продуктивність вводу-виводу порівняно з емульованими пристроями, наприклад IDE, за рахунок оптимізації координації та обміну даними між віртуальною машиною та гіпервізором. - VirtIO-SCSI
Новіший пара-віртуалізований пристрій контролера SCSI. Цей драйвер пропонує функціональні можливості, подібні до пристроїв virtIO, з деякими додатковими удосконаленнями, такими як покращена масштабованість, стандартний набір команд та передача пристрою SCSI. Зокрема, він підтримує додавання сотень пристроїв і найменування цих пристроїв за допомогою стандартної схеми іменування пристроїв SCSI.
Примітка: У конфігурації лабораторії використано пристрої VirtIO-SCSI, оскільки це рекомендовано для кращої роботи вводу/виводу. - IDE
-
Dell Technologies рекомендує вибирати високопродуктивну оптимізацію для віртуальних машин (VM). Таким чином, віртуальні машини працюють з показниками продуктивності, максимально наближеними до голого металу. Коли вибирається висока продуктивність, віртуальна машина налаштовується з набором автоматичних і рекомендованих ручних налаштувань для максимальної ефективності.
Примітка: Додаткові відомості про параметри високої продуктивності наведено в статті Налаштування високопродуктивних віртуальних машин.
Малюнок 37. Конфігурація віртуальних машин з високою продуктивністю -
Налаштуйте додаткові мережі, такі як міжмережеве з'єднання для Oracle RAC.

Малюнок 38. Додаткова мережа для з'єднання Oracle -
Вимкніть безголовий режим для кожної віртуальної машини для оптимізації. Користувачі можуть налаштовувати віртуальну машину в безголовому режимі, коли немає необхідності звертатися до віртуальної машини за допомогою графічної консолі. Відключивши безголовий режим, ВМ працює без графічних та відеопристроїв. Це корисно в ситуаціях, коли господар має обмежені ресурси.

Малюнок 39. Вимкнення безголового режиму для ВМ -
Запустіть віртуальну машину на певному хості в кластері, щоб віртуальні машини Oracle RAC були розподілені між хосками в кластері Oracle Linux KVM і дотримувалися вимог до закріплення процесора.

Малюнок 40. Вибір віртуальної машини для роботи на певному хості в кластері -
Встановіть програмне забезпечення Oracle Grid Infrastructure та Database 21c та створіть базу даних.
Практичні поради
Нижче наведено кілька найкращих практик під час запуску Oracle RAC на ASM з PowerFlex та Oracle Linux KVM.
- Якщо можливо, використовуйте різні групи дисків ASM для кожної функції бази даних. Групи повинні використовувати зовнішнє резервування. Це забезпечує більшу гнучкість.
- ДАНІ для даних
- REDO для повторних журналів
- FRA для архівних журналів
- CONFIG для диска для голосування
- Використовуйте кілька доменів зберігання для кожної групи дисків ASM з одним спільним віртуальним диском у кожному, який займає місце. Це полегшує збільшення або зменшення груп дисків ASM і забезпечує більше паралелізму.
- На кожній віртуальній машині диски, що підлягають спільному використанню, повинні належати оракулу з режимом дозволу 0660.
- Члени групи дисків ASM повинні мати аналогічну ємність. Якщо пристрої спочатку мають великі розміри, кожен приріст ємності до групи дисків ASM повинен бути однаковим.
- Найкраща практика Oracle ASM полягає в тому, щоб додавати кілька пристроїв разом для збільшення ємності групи дисків ASM, а не додавати по одному пристрою за раз. Цей метод розподіляє ступені ASM під час ребалансу, щоб уникнути гарячих точок. Використовуйте розмір пристрою, який дозволяє збільшувати ємність ASM, коли до групи дисків ASM додається кілька пристроїв разом. Кожен пристрій повинен мати такий самий розмір, як і його оригінальний пристрій.