PowerFlex:在 PFxM 升級和作業系統轉換後標準化資料 VLAN 標記
Summary: 本文說明如何在 PFxM 升級和作業系統轉換後標準化資料 VLAN 標記。
Symptoms
在作業系統從 CentOS 轉換到 SLES 期間,發現任何原本在 PowerFlex Manager (PFxM) 3.x 下使用 v1 網路建置的節點 (其中 Data1 和 Data2 網路為未標記且已連線以存取 VLAN 交換器連接埠),並未完全轉換為 PFxM 4.x 網路模式。這些舊節點繼續依賴資料網路的未標記介面,而在 PFxM 4.x 下新增的新節點則是使用資料網路使用 VLAN 標記的介面進行部署。
在轉換期間,PFxM 4.x 會將這些舊節點上的資料網路介面更新為 VLAN 標記的 SLES 介面,但相關的交換器連接埠仍配置為存取連接埠。此狀況導致轉換中的節點與資料網路隔離,從而無法完成轉換程序。
此過程提供了一種清晰、可重複、現場就緒的方法,可將所有節點(尤其是最初在 3.x v1 網路下構建的節點)標準化為 PFxM 4.x VLAN 標記設計,以確保一致可靠的數據網路操作。
- PowerFlex 叢集最初部署在 PFxM 3.x 下,使用未標記的 Data1/Data2 網路 (存取 VLAN)。
- 叢集後來升級到 PFxM 4.x,預期會標記 VLAN 資料網路。
- 在 PFxM 4.x 下新增的額外節點,以及中繼交換器連接埠上具 VLAN 標記的資料網路。
- 將作業系統從 CentOS 轉換為 SLES 時,並未在節點上保留未標記的組態,同時仍在使用存取 VLAN 交換器連接埠。
叢集包含使用未標記資料網路的混合節點,以及使用 VLAN 標記資料網路的節點。當使用不使用 VLAN 標籤的介面部署的節點升級時,介面設置將轉換為使用 VLAN 標籤。交換器連接埠介面組態未從存取模式轉換為中繼模式。這導致節點介面和交換器連接埠之間的資料 VLAN 對應不正確。這會導致受影響節點與資料網路隔離。環境現在需要逐節點受控的補救措施,以標準化 VLAN 行為。
Cause
作業系統轉換程序會更新主機 NIC 標記,但不會更新或驗證交換器連接埠模式,導致主機 VLAN 組態與交換器 VLAN 期望不相符。
Resolution
請針對每個受影響的節點執行下列步驟。一次僅補救一個節點,以維持叢集備援並避免不必要的重新建置。
預先檢查
- 確認叢集狀況良好 (未進行重建,所有 SDS 都在線上)。
- 識別仍在使用未標記資料網路的節點 (例如:直接在 p2p2/em2 上設定的 IP,沒有。VLAN 尾碼)
- 記錄節點的 Data1 IP 位址和 Data2 IP 位址。
- 備份主機網路組態檔案 (例如:/etc/sysconfig/network scripts/ifcfg-*)。
- 如有需要,擷取節點 Data1 和 Data2 連接埠目前的交換器連接埠組態以進行復原。
- 確認用於 Data1 和 Data2 的 VLAN ID (例如:資料 1 = 152,資料 2 = 160)
網路和主機變更:
讓節點處於維護模式
使用 PowerFlex Manager 讓節點進入維護模式。
確認此節點上的 SDS 處於維護中,且未開始任何重新建置作業。
將交換器連接埠從存取更新至中繼。
在交換器上更新此節點的 Data1 和 Data2 連接埠。
將 Data1 和 Data2 交換器連接埠從存取模式轉換為中繼模式。
- 確保資料 VLAN (例如 152 和 160) 包含在中繼允許的 VLAN 清單中。
- 確認已識別正確的交換器連接埠 (例如節點介面 p2p2 連線至交換器連接埠乙太網路 1/1)
- 確認交換器上的 MTU 已設為 9216 (或環境標準)。
- 依據設計啟用生成樹邊緣主幹、bpduguard 和保護根。
資料 1(之前)的範例:
Show running-config interface Ethernet 1/1
switchport
switchport access vlan 152
spanning-tree port type edge
mtu 9216
資料 1 的範例 (之後):
Show running-config interface Ethernet 1/1
switchport
switchport mode trunk
switchport trunk allowed vlan 152
spanning-tree port type edge trunk
spanning-tree bpduguard enable
spanning-tree guard root
mtu 9216
變更交換器連接埠設定的執行指令檔範例。
configuration terminal
interface ethernet 1/1
switchport mode trunk
switchport trunk allowed vlan 152
no switchport access vlan 152
spanning-tree port type edge trunk
spanning-tree bpduguard enable
spanning-tree guard root
end
copy running-config startup-config
更新主機作業系統網路組態
- 將目前的網路備份 files.cd /etc/sysconfig/network-scripts/
- 編輯和重新命名網路介面檔。
- 重新啟動網路。
- 驗證資料網路路徑。
- 登入第一個 SDS 節點
- 檢閱正在使用的介面:
- 顯示目前的介面和 IP 位址:
ip address
- 查看靜態路由並記錄它們。
- 變更至網路檔案目錄:
cd /etc/sysconfig/network-scripts/
檢閱目前的網路檔案:
ls -ltr
備份目前的網路檔案
cp /etc/sysconfig/network-scripts/ifcfg-<devicename> /etc/sysconfig/network-scripts/ifcfg-<devicename>.bak
重新命名目前的網路檔案。
mv /etc/sysconfig/network-scripts/ifcfg-<devicename> /etc/sysconfig/network-scripts/ifcfg-<devicename>.<vlan>
範例:
mv /etc/sysconfig/network-scripts/ifcfg-em2 /etc/sysconfig/network-scripts/ifcfg-em2.152
編輯網路檔案。
vi /etc/sysconfig/network-scripts/ifcfg-<devicename>.vlan
範例:
vi /etc/sysconfig/network-scripts/ifcfg-em2.152
使用<點>VLAN ID 更新裝置名稱,並插入 VLAN=yes
DEVICE=em2.152
VLAN=yes
退出並保存檔。
:wq!
對其他資料網路重複上述步驟
重新啟動網路並驗證
重新啟動主機上的網路服務或執行受控重新啟動。
靜態路由組態
執行 SSH 至 SDS 節點。
執行下列命令:
ip route
確保沒有路由引用未標記的介面(例如 em2、p2p2)。所有路由都必須引用已標記 VLAN 的等效項。
範例
default via 172.18.133.1 dev bond0.1352
172.18.133.0/24 dev bond0.1352 proto kernel scope link src 172.18.133.100
192.168.152.0/21 dev p2p2.152 proto kernel scope link src 192.168.152.100
192.168.160.0/21 dev em2.160 proto kernel scope link src 192.168.160.100
網路驗證
確認 VLAN 介面 (如 p2p2.152 和 em2.160) 已啟動。
範例
ip address
使用介面來源的 ping,從主機或每個 VLAN 上 ping 已知對等方。
範例
ping -I p2p2.152 <peer>
選用:使用具有大型負載的 ping 測試巨型幀 MTU。
範例
ping -I p2p2.152 -s 8972 -M do <peer>
結束維護模式
在 PowerFlex Manager 中,確認節點上的 SDS 和裝置健全狀況。
結束節點的維護模式。
監控警示、SDS 重新開機或連結抖動長達數分鐘。
對其餘節點重複這些步驟
對其餘每個仍使用未標記資料網路的節點重複此步驟,直到整個叢集標準化為與 PFxM 4.x 設計一致的 VLAN 標記資料介面。
驗證測試計劃(摘要)
- MTU 驗證:確認 VLAN 介面使用 MTU 9000,且 Data1 和 Data2 上的對等方可成功進行巨型 ping 測試。
- SDS 驗證:確認 SDS 已連線、未發生重新開機,且裝置路徑已對齊。
- 網路連線能力:驗證兩個資料 VLAN 上多個對等方的東西向連線能力 (從 p2p2.152 和 em2.160 ping)。
- 容錯移轉:暫時逐一停用 Data1 和 Data2 介面,以確認使用剩餘路徑的 SDS 保持線上狀態,並在重新啟用後還原冗餘。
- SCR/PFxM:執行 SCR 和 PowerFlex Manager 執行狀況檢查,確認沒有 VLAN/MTU/網路相關錯誤。
受影響的平台/版本
- PowerFlex 3.6.x/3.7.x / 3.8.x 節點最初使用存取模式 VLAN
部署 - PowerFlex 4.x 將 PFMP 轉換為 SLES
- Dell R640/R740 伺服器
- Cisco Nexus 交換器、Dell OS10 型交換器
已修正問題的版本
4.6.2.1