PowerFlex 在 PowerFlex 上安装和配置 Oracle Linux KVM
Summary: 本参考体系结构指南介绍如何在 Dell PowerFlex 平台上安装和配置 Oracle Linux KVM。
Instructions
部署 Oracle Real Application Cluster
逻辑体系结构
本节概述了体系结构,以及在双层 PowerFlex 设置上使用 Oracle Linux Virtualization Manager 设置 3 节点 Oracle Real Application Clusters (RAC) 数据库时要遵循的步骤。本文仅作为示例提供,用于说明 PowerFlex 如何使企业能够使用 Oracle RAC 运行 Oracle Linux KVM 环境。ASM 磁盘组和数据库的大小是任意的。但是,其中包含了最佳实践,这些做法适用于生产环境中的任何此类部署。
下图显示了 3 节点设置的逻辑视图:
图 28:逻辑体系结构
网络体系结构
在双层 PowerFlex 系统中,SDC 安装在仅计算主机 (Oracle Linux KVM) 上,而 MDM 和 SDS 组件安装在后端仅存储节点上。SDS 在每个节点中聚合和服务原始本地存储,并作为 PowerFlex 群集的一部分共享该存储。使用保护域内每个节点上的所有磁盘创建单个存储池,然后从存储池调配卷并将其呈现给计算主机,Oracle Linux Virtualization Manager 将其用作存储域。在存储域中,会划分出各自大小的磁盘以满足 Oracle RAC ASM 磁盘组数据库要求,包括数据卷、重做日志记录卷、投票磁盘卷和闪存恢复区。卷在虚拟机之间映射和共享,然后由 ASM 使用来创建组。虽然 Oracle Grid 和数据库软件独立安装在每个虚拟机上,但 Oracle RAC 数据库本身基于 ASM 构建,因此可供所有节点使用。
此 Oracle Linux KVM 解决方案在实验中使用了以下网络和 VLAN:
表 3.主机级别的 PowerFlex 网络详细信息
| 网络名称 | 描述 |
|---|---|
| Bond0(p2p1、p3p1) | 管理和虚拟机流量 |
| 绑定 1(p3p2、p2p2) | PowerFlex 数据流量(SDS 和 SDC) |
表 4.虚拟机级别的 Oracle Linux KVM 网络详细信息
| 网络名称 | VLAN网络 | 描述 |
|---|---|---|
| ovirtmgmt | 105 | 管理网络 |
| Privatevlan106 | 106 | 用于 Oracle 专用互连的专用 VLAN |
| VM_Network | 100 | 客户 Oracle 网络 |
VLAN 标记
Oracle Linux Virtualization Manager 支持将多个逻辑网络添加到 Oracle Linux KVM 节点上的物理 NIC,包括具有 VLAN 标记的逻辑网络。由于 VLAN 是 PowerFlex 体系结构的重要组件,因此此处包含为 Oracle 互连添加具有 VLAN 标记的新逻辑网络的步骤。
-
在 Oracle Linux Virtualization Manager 中转至 Network -> Networks 屏幕,然后单击图 29中的 New 。

图 29.逻辑网络在图 30中输入以下信息:
- 名称
- 描述
- 网络标签
- 选中 Enable VLAN tagging复选框并添加 VLAN 值
将群集保留为默认值(它会自动连接)和 vNIC 配置文件(名称默认为网络名称)。

图 30.新建逻辑网络 -
创建后,转至 Network -> Networks ,然后单击为 vlan-106 网络新创建的超链接。
-
单击 Hosts选项卡,突出显示其中一个未连接的主机,然后单击图 31中的 Setup Host Networks 。

图 31.VLAN-106 主机分配 -
此时将显示 Setup Host Networks 对话框。新的逻辑网络显示在右侧。单击网络并将其拖动到相应的物理 NIC,如图 32 所示。与此处一样,可以将多个逻辑网络分配给一个接口。

图 32.将逻辑网络分配给接口 -
接下来,单击逻辑网络角落的铅笔图标。这允许用户分配 IP 地址(如果需要)。选择适当的 Boot Protocol,根据需要添加地址,然后单击图 33中的 OK 。Oracle Linux Virtualization Manager 随后在主机上配置网络。

图 33.分配启动协议和 IP逻辑网络如图 34 中创建和配置。

图 34.分配的 IP
Oracle RAC 配置
以下部分提供了有关设置 Oracle Linux KVM 和安装 3 节点 Oracle RAC 21c 数据库的详细信息。
硬件和软件配置详细信息
下表描述了用于该解决方案的基础结构的硬件和软件组件。PowerFlex(仅存储)节点和用于 Oracle Linux KVM(仅计算)的节点是相同的:
表 5。硬件和软件配置
| 组件 | 源域 |
|---|---|
| 服务器型号 | 戴尔 R650 |
| 仅计算节点数 | 3 |
| 仅存储节点数 | 4 |
| CPU | 英特尔®至强® Gold 6336Y CPU @ 2.40 GHz |
| 组件 | 源域 |
|---|---|
| 插槽和核心 | 两个插槽,24 核 |
| 超线程 | Enabled |
| 内存 | 每个主机 512 GB |
| 存储 | 2 个 447.13 GB (SATA SSD) 10 个 1490.42 GB (SAS SSD) |
| PCIe | Mellanox ConnectX-5 EN 25 GbE SFP28 适配器(两个端口) |
| NVDIMM | 2 x 16 GB、2933 MT/s NVDIMM-N DDR-4 |
| PowerFlex | R4_6 |
| PowerFlex Manager | 版本 4.6.0 |
| Oracle Linux 虚拟化管理器 | 4.5.4-1.0.31.el8 |
| Oracle Linux | 版本 8 Update 9 |
| Oracle 数据库版本 | 21.3.0.0.0 |
| 虚拟机操作系统 — Oracle Linux | 版本 8 Update 9 |
| 虚拟机数量 | 3 |
| 虚拟机配置 | 16 个 vCPU、24 GB 内存 |
| 虚拟机节点 | 奥斯汀 170、奥斯汀 171、奥斯汀 172 |
| 数据库名称 | ORCL的 |
| 实例名称 | ORCL1、ORCL2、ORCL3 |
| ASM 磁盘组 | 配置、数据、重做、FRA |
主机配置
在自己的主机上安装 Oracle Linux Virtualization Manager 的同时,用户必须准备 Oracle Linux KVM 主机,这些主机也将用作 PowerFlex 计算节点。
执行以下步骤,为 Oracle RAC 环境安装 Oracle Linux KVM 主机:
- 在每个计算主机上安装 Oracle Linux 8.9 OS。
- 为每个主机配置管理网络。为每个主机分配 IP 地址。
- 配置网络以支持 SDC 与 PowerFlex 的连接。
- 在每个主机上执行以下命令,以使主机准备好接收来自 oVirt 引擎的命令:
dnf config-manager --enable ol8_baseos_latest dnf install oracle-ovirt-release-45-el8 -y dnf clean all dnf repolist
Oracle Linux 虚拟化管理器
要安装 Oracle Linux Virtualization Manager,请执行以下步骤:
- 创建虚拟机并使用 虚拟化主机基本环境安装 Oracle Linux 8.9 OS。选择不同的基础可能会导致实施问题。此基础不附带 UI,但如果需要,可以在安装后添加 Gnome Desktop。
- 安装 oVirt Engine 软件包,并通过执行以下命令安装引擎:
dnf config-manager --enable ol8_baseos_latest dnf install oracle-ovirt-release-45-el8 -y dnf clean all dnf repolist dnf install ovirt-engine
- 执行引擎设置以安装 Oracle Linux Virtualization Manager。
engine-setup
- 安装完成后,将向用户提供一个 Web URL(即主机的 FQDN),以访问虚拟化管理器。
ASM 的存储域
下表提供了从 PowerFlex 创建并映射到 Oracle ASM 磁盘所需的 Oracle Linux KVM 的存储域的详细信息。PowerFlex 卷的规模必须为 8 倍。
表 6。用于 Oracle RAC 数据库的存储域
| 存储域 | 大小 | 描述 |
|---|---|---|
| Oracle_Homes | 504 千兆字节(GB) | 用于虚拟机的操作系统文件系统和 Oracle 软件 |
| ORA_CONFIG | 56 GB | 用于 CONFIG ASM 磁盘组 |
| ORA_REDO_1 | 56 GB | 用于 REDO ASM 磁盘组 |
| ORA_REDO_2 | 56 GB | 用于 REDO ASM 磁盘组 |
| ORA_REDO_3 | 56 GB | 用于 REDO ASM 磁盘组 |
| ORA_DATA_1 | 504 千兆字节(GB) | 用于 DATA ASM 磁盘组 |
| ORA_DATA_2 | 504 千兆字节(GB) | 用于 DATA ASM 磁盘组 |
| ORA_DATA_3 | 504 千兆字节(GB) | 用于 DATA ASM 磁盘组 |
| ORA_FRA_1 | 504 千兆字节(GB) | 用于 FRA ASM 磁盘组 |
| ORA_FRA_2 | 504 千兆字节(GB) | 用于 FRA ASM 磁盘组 |
| ORA_FRA_3 | 504 千兆字节(GB) | 用于 FRA ASM 磁盘组 |
虚拟机配置
此配置中使用以下步骤使用 PowerFlex 上运行的 Oracle Linux 虚拟化管理器设置 3 节点 Oracle RAC 数据库:
-
创建虚拟机,每个主机一个虚拟机。安装 Oracle Linux 8.9 OS。
- 从 Oracle_Homes 创建 3 个 100 GB 虚拟磁盘,用于虚拟机文件系统的操作系统安装,每个虚拟机一个。
- 这些磁盘将被设置为“可引导”

图 35.磁盘变为可启动以进行操作系统安装 -
在每个虚拟机上安装 Oracle Linux 8.9 OS,并为每个虚拟机分配 IP。安装可以是具有 GUI 的服务器或服务器的基本环境。
-
从 ASM 磁盘组 DATA、OCR、MGMT REDO 和 FRA 所需的存储域创建必要的磁盘。
表 7。来自存储域的 ASM 磁盘
ASM 磁盘组 大小 从存储域 配置 1 x ~50 GB ORA_CONFIG OCR 3 x ~50 GB ORA_REDO_1、ORA_REDO_2、ORA_REDO_3 数据 3 x ~500 GB ORA_DATA_1、ORA_数据_2、ORA_数据_3 FRA 3 x ~500 GB ORA_FRA_1、ORA_ FRA _2、ORA_ FRA _3 -
通过使 ASM 磁盘可共享,将 ASM 磁盘连接到所有虚拟机。

图 36.为 Oracle RAC 数据库安装提供可共享的 ASM 磁盘 -
有三种界面可供选择:
- IDE
标准接口连接到存储设备。在性能方面,它比 VirtIO 或 VirtIO-SCSI 略慢 - VirtIO
半虚拟化驱动程序通过优化虚拟机和虚拟机管理程序之间的协调和通信,提供比模拟设备(例如 IDE)更高的 I/O 性能。 - VirtIO-SCSI
更新的半虚拟化 SCSI 控制器设备。此驱动程序提供与 virtIO 设备类似的功能,但增加了一些增强功能,例如改进的可扩展性、标准命令集和 SCSI 设备直通。具体而言,它支持使用标准 SCSI 设备命名方案添加数百个设备以及命名这些设备。
提醒:实验中的配置使用了 VirtIO-SCSI 设备,因为建议使用该设备以获得更好的 I/O 性能。 - IDE
-
Dell Technologies 建议为虚拟机 (VM) 选择高性能优化。这样一来,虚拟机的性能指标将尽可能接近裸机运行。选择高性能时,虚拟机将配置一组自动设置和建议的手动设置,以实现最高效率。
-
配置其他网络,例如 Oracle RAC 互连。

图 38.用于 Oracle 互连的其他网络 -
为每个虚拟机禁用无外设模式以进行优化。当不需要使用图形控制台访问 VM 时,用户可以在无外设模式下配置 VM。通过禁用无外设模式,VM 在没有图形和视频设备的情况下运行。这在主机资源有限的情况下非常有用。

图 39.为虚拟机禁用无外设模式 -
在群集中的特定主机上运行虚拟机,以便 Oracle RAC 虚拟机分布在 Oracle Linux KVM 群集中的各个主机上,并遵守 CPU 固定要求。

图 40.选择要在群集中的特定主机上运行的虚拟机 -
安装 Oracle Grid Infrastructure and Database 21c 软件并创建数据库。
最佳做法
以下是使用 PowerFlex 和 Oracle Linux KVM 在 ASM 上运行 Oracle RAC 时的一些最佳实践。
- 如果可能,请为每个数据库功能使用不同的 ASM 磁盘组。这些组应使用外部冗余。这提供了更大的灵活性。
- DATA for data
- REDO 用于重做日志
- 归档日志的 FRA
- 投票磁盘的配置
- 每个 ASM 磁盘组使用多个存储域,并在每个存储域中有一个占用空间的共享虚拟磁盘。这样可以更轻松地增加或减少 ASM 磁盘组,并提供更多并发性。
- 在每个虚拟机上,可共享磁盘必须归 Oracle 所有,权限模式为 0660。
- ASM 磁盘组的成员应具有相似的容量。如果设备最初规模较大,则 ASM 磁盘组的每个容量增量必须同样大。
- Oracle ASM 最佳实践是将多个设备一起添加以增加 ASM 磁盘组容量,而不是一次添加一个设备。此方法在重新平衡期间分散 ASM 盘区,以避免热点。使用允许 ASM 容量增量的设备大小,其中多个设备一起添加到 ASM 磁盘组。每个设备的大小应与其原始设备的大小相同。