PowerFlex 在 PowerFlex 上安裝和設定 Oracle Linux KVM
Summary: 本參考架構指南說明如何在 Dell PowerFlex 平台上安裝和設定 Oracle Linux KVM。
Instructions
有關完整文檔,請參閱 部署 Oracle Real 應用程式集群 |在 Dell PowerFlex 上安裝和設定 Oracle Linux KVM |Dell Technologies 資訊中心
部署 Oracle Real Application 叢集
邏輯架構
本節提供架構概觀,以及在雙層 PowerFlex 設定中使用 Oracle Linux 虛擬化管理員來設定三節點 Oracle Real Application Clusters (RAC) 資料庫時的應遵循步驟。這僅作為範例提供,以說明 PowerFlex 如何讓企業透過 Oracle RAC 執行 Oracle Linux KVM 環境。ASM 磁碟組和資料庫的大小是任意的。但是,包含最佳做法,並適用於生產中此類型的任何部署。
下圖顯示了 3 節點設置的邏輯檢視:
圖 28:邏輯架構
網路架構
在雙層 PowerFlex 系統中,SDC 安裝在僅限運算主機 (Oracle Linux KVM) 上,而 MDM 和 SDS 元件則安裝在後端僅儲存節點上。SDS 會在每個節點中彙總並提供原始本機儲存裝置,並將該儲存裝置共用為 PowerFlex 叢集的一部分。使用保護網域內每個節點上的所有磁碟建立單一儲存集區,然後從儲存集區佈建磁碟區,並將其呈現給運算主機,Oracle Linux Virtualization Manager 會將其用作儲存網域。從存儲域中劃分出相應大小的磁碟以滿足 Oracle RAC ASM 磁碟組資料庫要求,包括數據卷、重做日誌記錄、投票磁碟和快閃記憶體恢復區域。這些卷在虛擬機之間映射和共用,然後由 ASM 用於創建組。Oracle 網格和資料庫軟體是獨立安裝在每個虛擬機器上,而 Oracle RAC 資料庫本身則建構在 ASM 上,因此可供所有節點使用。
實驗室使用下列網路和 VLAN 來處理此 Oracle Linux KVM 解決方案:
表 3.主機層級的 PowerFlex 網路詳細資料
| 網路名稱 | 說明 |
|---|---|
| Bond0 (p2p1、p3p1) | 管理和 VM 流量 |
| 債券 1 (p3p2、p2p2) | PowerFlex 資料流量 (SDS 和 SDC) |
表 4.VM 層級的 Oracle Linux KVM 網路詳細資料
| 網路名稱 | VLAN | 說明 |
|---|---|---|
| ovirtmgmt | 105 | 管理網路 |
| 私人VLAN106 | 106 | 用於 Oracle 私有互連的私有 VLAN |
| VM_Network | 100 | 用戶端 Oracle 網路 |
VLAN 標籤
Oracle Linux Virtualization Manager 支援將多個邏輯網路新增至 Oracle Linux KVM 節點上的實體 NIC,包括具有 VLAN 標記的網路。由於 VLAN 是 PowerFlex 架構的重要元件,因此此處包含為 Oracle 互連新增邏輯網路 (含 VLAN 標記) 的步驟。
-
前往 Oracle Linux Virtualization Manager 中的 網路 -> 網路 畫面,然後按一下圖 29 中的 新增 。

圖 29.邏輯網路在圖 30 中輸入以下資訊:
- 名稱
- 說明
- 網路標籤
- 勾選啟用 VLAN 標記方塊,然後新增 VLAN 值
將叢集保留為預設值 (會自動連接) 和 vNIC 設定檔 (名稱預設為網路名稱)。

圖 30.新邏輯網路 -
建立後,請前往 網路 -> 網路 ,然後按一下新建立的 VLAN-106 網路超連結。
-
單擊主機選項卡,突出顯示其中一個未連接的主機,然後按兩下圖 31 中的 設置主機網路 。

圖 31.VLAN-106 主機指派 -
此時將顯示「 設置主機網路 」對話方塊。新的邏輯網路將顯示在右側。單擊網路並將其拖動到相應的物理 NIC,如圖 32 所示。與這裡一樣,可以將多個邏輯網路分配給一個介面。

圖 32.指派邏輯網路至介面 -
接下來,按兩下邏輯網路一角的鉛筆圖示。這允許使用者分配IP位址(如果需要)。選擇合適的 引導協定,根據需要添加位址,然後單擊圖 33 中的 OK 。Oracle Linux Virtualization Manager 接著會設定主機上的網路。

圖 33.指派開機通訊協定和 IP邏輯網路在圖 34 中創建和配置。

圖 34.指派的 IP
Oracle RAC 組態
下節提供設定 Oracle Linux KVM 和安裝 3 節點 Oracle RAC 21c 資料庫的詳細資料。
硬體與軟體組態詳細資料
下表說明解決方案所使用的基礎結構硬體和軟體元件。PowerFlex (僅限儲存) 節點和用於 Oracle Linux KVM (僅限運算) 的節點均相同:
表 5.硬體與軟體組態
| 元件 | 來源網域 |
|---|---|
| 伺服器機型 | Dell R650 |
| 僅限運算節點數 | 3 |
| 僅限儲存節點數 | 4 |
| CPU | Intel® Xeon® 黃金級 6336Y CPU @ 2.40 GHz |
| 元件 | 來源網域 |
|---|---|
| 插槽和核心 | 雙插槽 24 核心 |
| 超線程 | 已啟用 |
| 記憶體 | 每台主機 512 GB |
| 儲存裝置 | 2 個 447.13 GB (SATA SSD) 10 個 1490.42 GB (SAS SSD) |
| PCIe | Mellanox ConnectX-5 EN 25 GbE SFP28 介面卡 (兩個連接埠) |
| NVDIMM | 2 條 16 GB,2933 MT/秒 NVDIMM-N DDR-4 |
| PowerFlex | R4_6 |
| PowerFlex Manager | 版本 4.6.0 |
| Oracle Linux 虛擬化管理員 | 4.5.4-1.0.31.el8 |
| Oracle Linux | 版本 8 更新 9 |
| Oracle 資料庫版本 | 21.3.0.0.0 |
| VM 作業系統 - Oracle Linux | 版本 8 更新 9 |
| VM 數量 | 3 |
| 虛擬機器組態 | 16 個 vCPU,24 GB 記憶體 |
| VM 節點 | 奧斯丁170, 奧斯丁171, 奧斯丁172 |
| 資料庫名稱 | 獸頸 |
| 例項名稱 | ORCL1、ORCL2、ORCL3 |
| ASM 磁碟群組 | 組態、資料、重做、FRA |
主機組態
在自己的主機上安裝 Oracle Linux Virtualization Manager 的同時,使用者必須準備 Oracle Linux KVM 主機,這些主機也將作為 PowerFlex 運算節點。
請執行下列步驟,為 Oracle RAC 環境安裝 Oracle Linux KVM 主機:
- 在每個運算主機上安裝 Oracle Linux 8.9 作業系統。
- 設定每個主機的管理網路功能。為每個主機指派一個 IP 位址。
- 設定網路,以支援 SDC 與 PowerFlex 的連線能力。
- 在每個主機上執行下列命令,讓主機準備好從 oVirt 引擎接收命令:
dnf config-manager --enable ol8_baseos_latest dnf install oracle-ovirt-release-45-el8 -y dnf clean all dnf repolist
Oracle Linux 虛擬化管理員
若要安裝 Oracle Linux Virtualization Manager,請執行下列步驟:
- 建立虛擬機器,並使用 虛擬化主機基礎環境安裝 Oracle Linux 8.9 作業系統。選擇其他基礎可能會導致實現出現問題。這個底座不附帶 UI,但如果需要,可以在安裝後添加 Gnome 桌面。
- 安裝 oVirt 引擎套件,並通過執行以下命令安裝引擎:
dnf config-manager --enable ol8_baseos_latest dnf install oracle-ovirt-release-45-el8 -y dnf clean all dnf repolist dnf install ovirt-engine
- 執行引擎設定以安裝 Oracle Linux Virtualization Manager。
engine-setup
- 安裝完成後,系統會為使用者提供一個 Web URL,即主機的 FQDN,以存取虛擬化管理員。
ASM 的儲存網域
下表提供從 PowerFlex 建立並對應至 Oracle ASM 磁碟所需 Oracle Linux KVM 的儲存網域詳細資料。PowerFlex 磁碟區的大小必須以 8 倍為單位。
表 6.用於 Oracle RAC 資料庫的儲存網域
| 儲存網域 | 大小 | 說明 |
|---|---|---|
| Oracle_Homes | 504 GB | 用於 VM 和 Oracle 軟體的作業系統檔案系統 |
| ORA_CONFIG | 56 GB | 用於設定 ASM 磁碟群組 |
| ORA_REDO_1 | 56 GB | 將用於重做 ASM 磁碟群組 |
| ORA_REDO_2 | 56 GB | 將用於重做 ASM 磁碟群組 |
| ORA_REDO_3 | 56 GB | 將用於重做 ASM 磁碟群組 |
| ORA_DATA_1 | 504 GB | 將用於 DATA ASM 磁碟群組 |
| ORA_DATA_2 | 504 GB | 將用於 DATA ASM 磁碟群組 |
| ORA_DATA_3 | 504 GB | 將用於 DATA ASM 磁碟群組 |
| ORA_FRA_1 | 504 GB | 將用於 FRA ASM 磁碟群組 |
| ORA_FRA_2 | 504 GB | 將用於 FRA ASM 磁碟群組 |
| ORA_FRA_3 | 504 GB | 將用於 FRA ASM 磁碟群組 |
虛擬機器組態
此組態中使用下列步驟,以在 PowerFlex 上執行的 Oracle Linux Virtualization Manager 設定三節點 Oracle RAC 資料庫:
-
建立虛擬機器,每個主機一個虛擬機器。安裝 Oracle Linux 8.9 作業系統。
- 從 Oracle_Homes 建立 3 個 100 GB 的虛擬磁碟,用於 VM 檔案系統的 OS 安裝,每個 VM 一個。
- 這些磁碟應變為「可開機」

圖 35.為安裝作業系統而設為可開機的磁碟 -
在每個虛擬機器上安裝 Oracle Linux 8.9 作業系統,並為每個虛擬機器指派 IP安裝可以是具有 GUI 或伺服器的伺服器的基本環境。
-
從 ASM 磁碟組 DATA、OCR、MGMT REDO 和 FRA 所需的儲存域創建必要的磁碟。
表 7.來自儲存網域的 ASM 磁碟
ASM 磁碟群組 大小 從儲存網域 組態 1 條 ~50 GB ORA_CONFIG OCR 3 條 ~50 GB ORA_REDO_1、ORA_REDO_2、ORA_REDO_3 資料 3 條 ~500 GB ORA_DATA_1, ORA_資料 _2, ORA_資料 _3 弗拉 3 條 ~500 GB ORA_FRA_1、ORA_ FRA _2、ORA_FRA _3 -
通過將 ASM 磁碟設置為可共用,將其附加到所有 VM。

圖 36.在安裝 Oracle RAC 資料庫時,將 ASM 磁碟變成可共用 -
有三種介面可供選擇:
IDE 標準介面,連接至儲存裝置。在效能方面,它比 VirtIO 或 VirtIO-SCSI 稍慢- VirtIO
半虛擬化驅動程式通過優化虛擬機和虛擬機監控程式之間的協調和通信,通過模擬設備(例如 IDE)提供更高的 I/O 性能。 - VirtIO-SCSI
較新的半虛擬化 SCSI 控制器裝置。此驅動程式提供與 virtIO 裝置類似的功能,但有一些額外的增強功能,例如改進的可擴充性、標準命令集和 SCSI 設備傳遞。具體來說,它支援添加數百個設備以及使用標準 SCSI 設備命名方案命名這些設備。
注意:實驗室中的組態使用 VirtIO-SCSI 裝置,因為建議透過此方法來提升 I/O 效能。 -
Dell Technologies 建議您為虛擬機器 (VM) 選取高效能最佳化。如此一來,VM 的效能指標會盡可能接近裸機。選擇高性能時,將為 VM 配置一組自動和建議的手動設置,以實現最大效率。
-
設定其他網路,例如 Oracle RAC 的互連

圖 38.Oracle 互連的其他網路 -
停用每個 VM 的無周邊模式以進行最佳化。當不需要使用圖形主控台存取虛擬機器時,使用者可以在無周邊模式下設定 VM。通過禁用無外設模式,VM 在沒有圖形和視頻設備的情況下運行。這在主機資源有限的情況下很有用。

圖 39.停用 VM 的無周邊模式 -
在叢集中的特定主機上執行虛擬機器,以使 Oracle RAC 虛擬機器分散在 Oracle Linux KVM 叢集中的主機上,並符合 CPU 固定要求。

圖 40.選擇讓 VM 在叢集中的特定主機上執行 -
安裝 Oracle Grid Infrastructure 和 Database 21c 軟體,並建立資料庫。
最佳實務
以下是使用 PowerFlex 和 Oracle Linux KVM 在 ASM 上執行 Oracle RAC 的最佳實務。
- 如果可能,請為每個資料庫函數使用不同的 ASM 磁碟組。組應使用外部冗餘。這提供了更大的靈活性。
- 資料對資料
- 重做記錄
- 封存記錄的 FRA
- 投票磁碟的組態
- 為每個 ASM 磁碟組使用多個儲存域,每個磁碟組中都有一個佔用空間的共用虛擬磁碟。這樣可以更輕鬆地增加或減少 ASM 磁碟組,並提供更多併發性。
- 在每個 VM 上,可共用磁碟必須由 oracle 擁有,許可權模式為 0660。
- ASM 磁碟組的成員應具有類似的容量。如果設備最初的大小很大,則 ASM 磁碟組的每個容量增量都必須一樣大。
- Oracle ASM 最佳實踐是將多個設備一起添加以增加 ASM 磁碟組容量,而不是一次添加一個設備。此方法在重新平衡期間分佈 ASM 擴展數據塊以避免熱點。使用允許 ASM 容量增量的設備大小,其中多個設備一起添加到 ASM 磁碟組。每個裝置的大小應與其原始裝置相同。