此帖子已超过 5 年
58 消息
0
11204
Brocade交换机更换不同速率光模块的问题
遇到一个问题，Brocade 300E的光纤交换机，原本使用的是8G的光模块，后来更换成4G的光模块，结果悲剧了，将IBM P750的光纤插回去，变成了黄灯闪烁状态。用命令行看，端口的状态为No_Sync。
这样插拔插拔几次，居然变回了绿色，状态也显示Online。于是在P750上扫盘，一扫盘，又悲剧了，又变成了黄灯闪烁，状态成No_Sync。
这种情况，我怀疑可能性为两种：
1、端口速率应强制设为4G，因为端口速率的设置是自动模式，我插拔插拔几次，可以变成绿色Online，应该是可以换成4G模块使用的。而且另一个现象，我把存储的端口也同样的从8G换4G光模块，结果存储的交换机端口状态一直是绿色Online，正常的。
2、有可能是license的问题。
请大家帮忙我定位一下问题，以及解决办法，谢谢了。
以下为部分命令行：
一、原来8G光模块的信息：
Identifier: 3 SFP
Connector: 7 LC
Transceiver: 540c404000000000 200,400,800_MB/s M5,M6 sw Short_dist
Encoding: 1 8B10B
Baud Rate: 85 (units 100 megabaud)
Length 9u: 0 (units km)
Length 9u: 0 (units 100 meters)
Length 50u: 5 (units 10 meters)
Length 62.5u:2 (units 10 meters)
Length Cu: 0 (units 1 meter)
Vendor Name: BROCADE
Vendor OUI: 00:05:1e
Vendor PN: 57-1000117-01
Vendor Rev: A
Wavelength: 850 (units nm)
Options: 003a Loss_of_Sig,Tx_Fault,Tx_Disable
BR Max: 0
BR Min: 0
Serial No: UAF000000000000
Date Code: 111213
DD Type: 0x68
Enh Options: 0xfa
Status/Ctrl: 0xb2
Alarm flags[0,1] = 0x5, 0x40
Warn Flags[0,1] = 0x5, 0x40
Alarm Warn
low high low high
Temperature: 35 Centigrade -10 90 -5 85
Current: 7.332 mAmps 1.000 17.000 2.000 14.000
Voltage: 3293.7 mVolts 2900.0 3700.0 3000.0 3600.0
RX Power: -3.2 dBm (475.5 uW) 10.0 uW 1258.9 uW 15.8 uW 1000.0 uW
TX Power: -3.2 dBm (474.4 uW) 125.9 uW 631.0 uW 158.5 uW 562.3 uW
二、更换后的4G光模块的信息：
Identifier: 3 SFP
Connector: 7 LC
Transceiver: 150c402001000000 100,200,400_MB/s M5,M6 sw Inter_dist
Encoding: 1 8B10B
Baud Rate: 42 (units 100 megabaud)
Length 9u: 0 (units km)
Length 9u: 0 (units 100 meters)
Length 50u: 15 (units 10 meters)
Length 62.5u:7 (units 10 meters)
Length Cu: 0 (units 1 meter)
Vendor Name: BROCADE
Vendor OUI: 00:05:1e
Vendor PN: 57-1000013-01
Vendor Rev: A
Wavelength: 850 (units nm)
Options: 0032 Loss_of_Sig,Tx_Disable
BR Max: 0
BR Min: 0
Serial No: VAF000000000000
Date Code: 100304
DD Type: 0x68
Enh Options: 0xd8
Status/Ctrl: 0x82
Alarm flags[0,1] = 0x5, 0x40
Warn Flags[0,1] = 0x5, 0x40
Alarm Warn
low high low high
Temperature: 48 Centigrade -25 95 -20 90
Current: 7.332 mAmps 1.000 17.000 2.000 14.000
Voltage: 3267.7 mVolts 2700.0 3900.0 2900.0 3700.0
RX Power: -2.7 dBm (536.1 uW) 10.0 uW 1259.0 uW 15.8 uW 794.0 uW
TX Power: -4.8 dBm (331.1 uW) 67.0 uW 631.0 uW 79.0 uW 631.0 uW
三、交换机的license（有三个）：
Fabric license
Enhanced Group Management license
8 Gig FC license
HLCM
58 消息
0
2012年8月28日 08:00
哈哈~~我已经搞定了，最终答案：
换上4G的光模块后，将端口的自动速率模式改为4G模式（也就是设置使用4G速率）。端口就恢复正常，然后主机检查多路径，发现路径已经正常，全在。
呵呵~~不过还是要感谢您长久以来对我这个问题的关注、支持和解答，谢谢！
Jun_Tan
605 消息
0
2012年8月26日 19:00
楼主有确认你现在的配置吗？ portcfgshow看看
Jun_Tan
605 消息
0
2012年8月26日 19:00
1、先给个关于No_Sync的解释。
No_Sync
The module is receiving light but is out of sync
模块正常，但是链路两端没有同步。
2、回答楼主的问题
Brocade 8Gb交换机是可以支持4Gb SFP模块，可以通过自适应协商速率，也可以认为指定端口速率。楼主也可以手动设置端口速率为4Gb测试下。
另外我建议楼主换完sfp口，在交换机上面使用portdisable、portenable重新把端口初始化一遍。
这个问题跟license是没有关系，Brocade交换机速率是向后兼容的。支持8Gb的肯定支持4gb，不需要额外的license.
HLCM
58 消息
0
2012年8月26日 19:00
当前端口的fill word值为3，这个是出厂默认的。
3/-aa-then-ia - If ARBFF/ARBFF failed, then do IDLE/ARBFF
我怀疑应当设为0。只是不知道会不会导致其他后果，所以不敢妄动。
HLCM
58 消息
0
2012年8月26日 19:00
我在IBM官网上找到了一句话：
In order to work at 8 Gbps host port speeds, the following command should be executed on the affected switches:
To check the status of the ports, use the following command:
1- Fillword set to ARB
大概这个就是解决办法吧。
HLCM
58 消息
0
2012年8月26日 19:00
disable、enable这个操作我肯定是做了的，No_Sync的含义我也清楚。只是当天有其他事，所以没有测试设置速率的办法。
非常感谢你提到borcade向下兼容的信息。不过，既然是向下兼容，原本就支持4G，那么，我当前设置的自动速率，应该不会出问题的。所以，我个人觉得，更改端口速率解决问题的可能性较小。
我怀疑是同步模式的问题。也就是fill word值。
HLCM
58 消息
0
2012年8月26日 20:00
Version 6.4.2a
HLCM
58 消息
0
2012年8月26日 20:00
Jun_Tan
605 消息
0
2012年8月26日 20:00
8Gb平台存在fillword设置这个问题。
下面是brocade文档里面的讲解：
mode
Specifies the fill word for the port number. This operand is required. Valid values
are one of the following:
0 | -idle-idle
Sets IDLE mode in the Link Init and IDLE as the fill word (default).
1 | -arbff-arbff
Sets ARB(ff) in the Link Init and ARB(ff) as the fill word.
2 | -idlef-arbff
Sets IDLE mode in the Link Init and ARB(ff) as the fill word.
3 | -aa-then-ia
Attempts hardware arbff-arbff (mode 1) first. If the attempt fails to go into
active state, this command executes software idle-arb (mode 2). Mode 3 is
the preferable to modes 1 and 2 as it captures more cases.
根据我的理解是8gb应该用3，如果是1、2、4应该是0。
如果这个fill word值有影响，那么链路初始化是不会成功。
Jun_Tan
605 消息
0
2012年8月26日 20:00
楼主你的微码版本是多少。FOS 7.0应该可以在线改，但是需要重启端口才能生效。7以后，portcfgshow可以看到两个fill word，一个是正在用的，一个配置的。
Fill Word (On Active)
Displays the fill word setting that will take effect after the next time the port goes
offline and comes back Possible values are 0(Idle-Idle), 1(arbff-arbff), 2(Idle-arbff),
or 3(A-A then SW I-A).This parameter is set by the portcfgFillword command.
Fill Word (Current)
Displays the currently effective fill word setting. Possible values are 0(Idle-Idle),
1(arbff-arbff), 2(Idle-arbff), or 3(A-A then SW I-A).This parameter is set by the
portcfgFillword command.
7以前的微码不能在线改的，Fill Word就一个选项。
Jun_Tan
605 消息
1
2012年8月26日 21:00
6.4.2版本直接在线改，会导致链路重新初始化一遍。
Jun_Tan
605 消息
1
2012年8月26日 21:00
这个问题在Brocade 8gb平台上面不少见。
自己感觉是个brocade的兼容性问题，根本问题原因，个人总结如下：
When the 8B/10B transmission code is used, the Fill Word (see 10.3.2) is either Idle or ARBff, depending
on whether Emission Lowering Protocol (see 10.3.5) is used.
========
这是RFC里面一段话。 Idle 和ARBff都可以用来做fill word。
Brocade 在1/2/4Gb平台上面都是使用idle作为fill word，链路层使用8b/10b方法编码和解码；8Gb平台链路层使用64b/66b方法编码和解码，由于64b/66b时钟频率提升，idle信号作为fill word会影响链路稳定性。于是brocade在8gb平台采用ARB(ff)作为fill word。这样一个变更就可能造成兼容性问题，所以8Gb平台上面brocade同一fill word设置为3。
另外关于brocade fillword有两个部分组成，前面一个应该是用来链路初始化，后面这个是用来维护链路状态。如果设置为2，可以理解为链路初始化的时候使用的idle作为fill word，链路初始化之后又使用arbff作为fill word.
1 | -arbff-arbff
Sets ARB(ff) in the Link Init and ARB(ff) as the fill word.
2 | -idlef-arbff
Sets IDLE mode in the Link Init and ARB(ff) as the fill word.
Jun_Tan
605 消息
1
2012年8月26日 21:00
NOTES This command applicable only to 8G FC ports; it is not supported on Condor 3-based platforms.
brocade文档里面的另外一句话。
Condor-3对应brocade 16Gb平台，所以在16Gb平台后就没有这个配置。fill word有交换机自动侦测配置。
HLCM
58 消息
0
2012年8月27日 17:00
那么，我现在面临的原来8G，现在改为4G光模块的问题，有没有提到呢？
Jun_Tan
605 消息
0
2012年8月27日 18:00
没有正面提到。这个估计需要楼主自己测试下。
Brocade 在1/2/4Gb平台上面都是使用idle作为fill word，链路层使用8b/10b方法编码和解码；8Gb平台链路层使用64b/66b方法编码和解码，由于64b/66b时钟频率提升，idle信号作为fill word会影响链路稳定性。于是brocade在8gb平台采用ARB(ff)作为fill word。这样一个变更就可能造成兼容性问题，所以8Gb平台上面brocade同一fill word设置为3。
根据上面这个逻辑，我觉得Brocade 8Gb平台和1/2/4Gb平台的fill word不一样，那么从8Gb改到4Gb应该要把fill word配置改回去。