PowerFlex:在 PFxM 升级和作系统转换后标准化数据 VLAN 标记
Summary: 本文介绍如何在 PFxM 升级和作系统转换后标准化数据 VLAN 标记。
Symptoms
在作系统从 CentOS 到 SLES 的转换过程中,我们发现最初在 PowerFlex Manager (PFxM) 3.x 下使用 v1 网络构建的任何节点(其中 Data1 和 Data2 网络未标记并连接以访问 VLAN 交换机端口)不会完全过渡到 PFxM 4.x 网络型号。这些传统节点继续依赖数据网络的未标记接口,而在 PFxM 4.x 下添加的新节点部署了使用数据网络 VLAN 标记的接口。
在转换过程中,PFxM 4.x 将这些旧节点上的数据网络接口更新为 VLAN 标记的 SLES 接口,但关联的交换机端口仍配置为访问端口。这种情况导致转换中的节点与数据网络隔离,从而阻止了转换过程的完成。
此过程提供了一种清晰、可重复、现场就绪的方法,可将所有节点(尤其是最初在 3.x v1 网络下构建的节点)标准化为 PFxM 4.x VLAN 标记设计,以确保数据网络运行一致且可靠。
- PowerFlex 群集最初部署在 PFxM 3.x 下,具有未标记的 Data1/Data2 网络(访问 VLAN)。
- 群集后来升级到 PFxM 4.x,这需要 VLAN 标记的数据网络。
- 在 PFxM 4.x 下添加的其他节点,在中继交换机端口上具有 VLAN 标记的数据网络。
- 从 CentOS 到 SLES 的作系统转换不会在仍使用访问 VLAN 交换机端口的节点上保留未标记的配置。
群集包含使用未标记数据网络的节点和使用 VLAN 标记的数据网络的节点的组合。升级使用不使用 VLAN 标记的接口部署的节点时,接口设置将转换为使用 VLAN 标记。交换机端口接口配置未从访问模式转换为中继模式。这会在节点接口和交换机端口之间创建不正确的数据 VLAN 映射。这导致受影响节点与数据网络隔离。环境现在需要逐个节点进行受控修正,以标准化 VLAN 行为。
Cause
作系统转换过程会更新主机 NIC 标记,但不会更新或验证交换机端口模式,从而导致主机 VLAN 配置与交换机 VLAN 预期不匹配。
Resolution
对每个受影响的节点执行以下步骤。一次仅修正一个节点,以保持群集冗余并避免不必要的重建。
预检查
- 验证群集是否正常运行(没有正在重建,所有 SDS 均在线)。
- 识别仍在使用未标记数据网络的节点(例如:直接在 p2p2/em2 上配置的 IP,没有。VLAN 后缀)
- 记录节点的 Data1 IP 地址和 Data2 IP 地址。
- 备份主机网络配置文件(例如:/etc/sysconfig/network scripts/ifcfg-*)。
- 捕获节点的 Data1 和 Data2 端口的当前交换机端口配置,以便在需要时进行回滚。
- 确认用于数据 1 和数据 2 的 VLAN ID(例如:数据 1 = 152,数据 2 = 160)
网络和主机更改:
将节点置于维护模式
使用 PowerFlex Manager将节点置于维护模式。
确认此节点上的 SDS 处于维护状态,并且未启动任何重建作。
将交换机端口从接入交换机端口更新为中继端口。
在交换机上,更新此节点的 Data1 和 Data2 端口。
将 Data1 和 Data2 交换机端口从接入模式转换为中继模式。
- 确保数据 VLAN(例如,152 和 160)包含在中继允许的 VLAN 列表中。
- 确保识别正确的交换机端口(例如,节点接口 p2p2 连接到交换机端口以太网 1/1)
- 确认交换机上的 MTU 设置为 9216(或环境标准)。
- 根据设计启用生成树边缘中继、bpduguard 和 guard root。
数据 1(之前)的示例:
Show running-config interface Ethernet 1/1
switchport
switchport access vlan 152
spanning-tree port type edge
mtu 9216
data1 的示例(之后):
Show running-config interface Ethernet 1/1
switchport
switchport mode trunk
switchport trunk allowed vlan 152
spanning-tree port type edge trunk
spanning-tree bpduguard enable
spanning-tree guard root
mtu 9216
用于更改交换机端口设置的示例执行脚本。
configuration terminal
interface ethernet 1/1
switchport mode trunk
switchport trunk allowed vlan 152
no switchport access vlan 152
spanning-tree port type edge trunk
spanning-tree bpduguard enable
spanning-tree guard root
end
copy running-config startup-config
更新主机作系统网络配置
- 备份当前网络 files.cd /etc/sysconfig/network-scripts/
- 编辑和重命名网络接口文件。
- 重新启动网络。
- 验证数据网络路径。
- 登录到第一个 SDS 节点
- 查看正在使用的界面:
- 显示当前接口和 IP 地址:
ip address
- 查看静态路由并记录它们。
- 切换到网络文件目录:
cd /etc/sysconfig/network-scripts/
查看当前网络文件:
ls -ltr
备份当前网络文件
cp /etc/sysconfig/network-scripts/ifcfg-<devicename> /etc/sysconfig/network-scripts/ifcfg-<devicename>.bak
重命名当前网络文件。
mv /etc/sysconfig/network-scripts/ifcfg-<devicename> /etc/sysconfig/network-scripts/ifcfg-<devicename>.<vlan>
示例:
mv /etc/sysconfig/network-scripts/ifcfg-em2 /etc/sysconfig/network-scripts/ifcfg-em2.152
编辑网络文件。
vi /etc/sysconfig/network-scripts/ifcfg-<devicename>.vlan
示例:
vi /etc/sysconfig/network-scripts/ifcfg-em2.152
使用<点>vlan id 更新设备名称,insert VLAN=yes
DEVICE=em2.152
VLAN=yes
退出并保存该文件。
:wq!
对其他数据网络重复此作
重新启动网络并验证
重新启动主机上的网络服务或执行受控重新启动。
静态路由配置
执行到 SDS 节点的 ssh。
运行以下命令:
ip route
确保没有路由引用未标记的接口(例如 em2、p2p2)。所有路由都必须引用 VLAN 标记的等效路由。
示例
default via 172.18.133.1 dev bond0.1352
172.18.133.0/24 dev bond0.1352 proto kernel scope link src 172.18.133.100
192.168.152.0/21 dev p2p2.152 proto kernel scope link src 192.168.152.100
192.168.160.0/21 dev em2.160 proto kernel scope link src 192.168.160.100
网络验证
验证 VLAN 接口(例如 p2p2.152 和 em2.160)是否正常运行。
示例
ip address
在主机上,使用接口源 ping 对已知对等方或在每个 VLAN 上执行 ping作。
示例
ping -I p2p2.152 <peer>
可选:使用 ping 和大型有效负载测试巨型帧 MTU。
示例
ping -I p2p2.152 -s 8972 -M do <peer>
退出维护模式
在 PowerFlex Manager中,验证节点上的 SDS 和设备运行状况。
退出节点的维护模式。
监视警报、SDS 重新启动或链路摆动几分钟。
对其余节点重复此作
对仍使用未标记数据网络的每个剩余节点重复此作,直到整个群集标准化为与 PFxM 4.x 设计一致的 VLAN 标记数据接口。
验证测试计划(摘要)
- MTU 验证:确认 VLAN 接口使用 MTU 9000,并且数据 1 和数据 2 上的对等方的巨型 ping 检测成功。
- SDS 验证:确认 SDS 已连接、未重新启动且设备路径已对齐。
- 网络连接:验证与两个数据 VLAN 上的多个对等项的东西向连接(来自 p2p2.152 和 em2.160 的 ping)。
- 故障:一次暂时禁用一个 Data1 和 Data2 接口,以确认 SDS 使用剩余路径保持联机状态,并在重新启用后恢复冗余。
- SCR/PFxM:运行 SCR 和 PowerFlex Manager 运行状况检查以确认没有 VLAN/MTU/网络相关错误。
受影响的平台/版本
- 最初使用访问模式 VLAN 部署的
PowerFlex 3.6.x/3.7.x / 3.8.x 节点- PowerFlex 4.x PFMP 转换为 SLES-
戴尔 R640/R740 服务器
- Cisco Nexus 交换机、基于 Dell OS10 的交换机
已修复问题的版本
4.6.2.1