未解决
此帖子已超过 5 年
16 消息
0
14000
[PowerPath问题求助]Device(s) not found.
Hi, experts
在Red Hat Linux下安装了PP不成功,以下出错信息,帮助找下原因。
按排错指导操作,以下是记录:
1、请确认是否版本差异问题:
[root@gddx ~]# lsmod |grep emc
emcpvlumd 68064 0
emcpxcrypt 166248 0
emcpdm 75272 0
emcpmpx 200872 0
emcpgpx 55376 3 emcpvlumd,emcpxcrypt,emcpdm
emcp 2173088 5 emcpvlumd,emcpxcrypt,emcpdm,emcpmpx,emcpgpx
scsi_mod 196953 9 emcp,scsi_dh,sr_mod,qla2xxx,sg,scsi_transport_fc,libata,megaraid_sas,sd_mod
[root@gddx ~]#
没有emcplib 模块,多了emcpvlumd、emcpxcrypt模块。
2、主机能看到存储分配的磁盘,但PowerPath看不到磁盘,这个是关键问题与第1点模块有没有关系?请确认!
[root@gddx ~]# powermt display
Symmetrix logical device count=0
CLARiiON logical device count=0
Hitachi logical device count=0
HP xp logical device count=0
Ess logical device count=0
Invista logical device count=0
==============================================================================
----- Host Bus Adapters --------- ------ I/O Paths ----- ------ Stats ------
### HW Path Summary Total Dead IO/Sec Q-IOs Errors
==============================================================================
[root@gddx ~]# powermt display dev=all
Device(s) not found.
[root@gddx ~]# cat /proc/scsi/scsi
问题何在,如何解决?
Zhang_Jiawen
1.2K 消息
0
2013年2月4日 22:00
1. 从log中看,module状态不对,emcpmpx没有起来,安装过程中可能存在问题,安装时是否有报错;
2. 尝试/etc/init.d/PowerPath start
3. 如果问题仍然存在,重启系统;
4. 如果重启还是没有解决,需重新安装PowerPath,并将安装记录贴出;
5. 同时检查Red Hat和PowerPath的版本兼容性。
Xiao-Jing
16 消息
0
2013年2月5日 00:00
1、安装时没有报错,上次发的log文件中有记录
[m[root@gddx oradata]# pr [K [Krpm -ivh EMCPower.LINUX-5.5.0.00.00-275.RHEL5.x86_64.rpm
Preparing... (100%) # (100%) ## (100%) ### (100%) #### (100%) ##### (100%) ###### (100%) ####### (100%) ######## (100%) ######### (100%) ########## (100%) ########### (100%) ############ (100%) ############# (100%) ############## (100%) ############### (100%) ################ (100%) ################# (100%) ##################
。。。。
All trademarks used herein are the property of their respective owners.
NOTE:License registration is not required to manage the CLARiiON AX series array.
[root@gddx oradata]#
2、/etc/init.d/PowerPath start 正常启动,上次发的log文件中有记录
[root@gddx ~]# lsmdo [K [K [K [K [K [K/etc/init.d/PowerPath start
Starting PowerPath:
done
3. 如果问题仍然存在,重启系统;
已经尝试重启系统多次,重启后系统加载模块正常,lsmod | grep emc 查看情况正常, 、/etc/init.d/PowerPath start 正常启动,但powermt display 无法识别到HBA卡信息
4、如果重启还是没有解决,需重新安装PowerPath,并将安装记录给出;
已经根据所提供的文档,彻底删除软件后重新安装软件几次,均不能解决问题,上次发的log文件中均有记录操作。
5. 同时用命令检查列出Red Hat和PowerPath的具体版本号,再检查版本兼容性。
[root@gddx etc]# cat /etc/redhat-release
Red Hat Enterprise Linux Server release 5.5 (Tikanga)
[root@gddx etc]# uname -a
Linux gddx.webtrace.db 2.6.18-194.el5 #1 SMP Tue Mar 16 21:52:39 EDT 2010 x86_64 x86_64 x86_64 GNU/Linux
[root@gddx etc]# rpm -ql EMCpower.LINUX
/etc/opt/emcpower/EMCpower.LINUX-5.5.0.00.00
/etc/opt/emcpower/EMCpower.LINUX-5.5.0.00.00/.pp_build_version
。。。
Jun_Tan
605 消息
0
2013年2月5日 01:00
楼主建议把rpm -l 输出结果去掉。
这样一刷,实在不方便看帖子哇
Jun_Tan
605 消息
0
2013年2月5日 01:00
关于第二个问题:
楼主安装的是EMCpower.LINUX-5.5.0.00.00,根据PowerPath for Linux 5.5 Installation and Administration Guide
内核模块是没少的。
1、楼主的日志看起来很费劲,有纯文本的没有?
2、另外既然用了PP,楼主也可以把redhat自带的dm-mpio停用。/etc/init.d/mulitpath* stop
3、机器启动过程,内核日志提示参数有误。
[root@gddx ~]# vi /etc/modprobe.conf.pp
[?1h = [1;45r [m [m [0m [H [J [45;1H"/etc/modprobe.conf.pp"
"/etc/modprobe.conf.pp" 2L, 162C [1;1Hoptions emcpsf SfUnmanagedClasses=hphsx
options emcp managedclass=symm,vnx,clariion,hitachi,hpxp,ess,vplex,invista [7Cemcplu=0xffffffff800a97cd osfailfast=0x1
Feb 4 16:35:38 gddx kernel: managedclass: can only take 7 arguments
Feb 4 16:35:38 gddx kernel: emcp: `symm' invalid for parameter `managedclass'
Feb 4 16:35:38 gddx modprobe: FATAL: Error inserting emcpmpx (/lib/modules/2.6.18-194.el5/powerpath/emcpmpx.ko): Unknown symbol in module, or unknown parameter (see dmesg)
试试调整下options emcp这行,最多只能支持7个类别,你这里有8个类别。
4、楼主既然用得CLARiion存储,试试下面这条命令。
/etc/powermt display class="clariion"
楼主的机器是48核CPU,羡慕~ 调优好,性能那是杠杠滴
(PS. 08年曾经用过一台96核,1TB内存的机器,不过当时没有珍惜好好用!)
liulei_it
3.2K 消息
0
2013年2月5日 12:00
请问哪里48 core哦 难道偶昨天晚上喝多了?
Xiao-Jing
16 消息
0
2013年2月5日 16:00
这里有个致命错误,“FATAL: Error inserting emcpmpx”
Feb 4 16:35:38 gddx modprobe: FATAL: Error inserting emcpmpx (/lib/modules/2.6.18-194.el5/powerpath/emcpmpx.ko): Unknown symbol in module, or unknown parameter (see dmesg)
有解决思路吗?
Xiao-Jing
16 消息
0
2013年2月5日 16:00
OK.知道是PP V5.5.0.00.00就行。
Jun_Tan
605 消息
0
2013年2月5日 17:00
这个问题应该就是你emcp内核模块参数配置有问题导致的。现在你机器接什么存储,你可以加上这个存储类型就可以了。
Linux内核模块参数一般是动态调用的,可以在用得时候再加载。参数也一样,也是可选的。
Linux内核module加载配置文件:
options emcp managedclass=symm,vnx,clariion,hitachi,hpxp,ess,vplex,invista [7Cemcplu=0xffffffff800a97cd osfailfast=0x1
dmesg日志:
Feb 4 16:35:38 gddx kernel: managedclass: can only take 7 arguments
Feb 4 16:35:38 gddx kernel: emcp: `symm' invalid for parameter `managedclass'
Feb 4 16:35:38 gddx modprobe: FATAL: Error inserting emcpmpx (/lib/modules/2.6.18-194.el5/powerpath/emcpmpx.ko): Unknown symbol in module, or unknown parameter (see dmesg
Jun_Tan
605 消息
0
2013年2月5日 17:00
还有一个补充。
楼主给的信息里面有下面这个提示:
[root@gddx ~]# /etc/init.d/p [KPowerPath. [K start
Starting PowerPath:
PowerPath could not load module emcpmpx
PowerPath devices are open.
Please close these devices and then try again.
PowerPath: unable to load PowerPath modules.
PowerPath devices are open.
Please close these devices and then try again.
failed
根据dmesg日志,楼主在启动powerpath之前已经启用了smartd这个监控磁盘寿命的服务。
Feb 4 16:28:36 gddx smartd[19780]: Device: /dev/sdz, IE (SMART) not enabled, skip device Try 'smartctl -s on /dev/sdz' to turn on SMART features
Feb 4 16:28:36 gddx smartd[19780]: Monitoring 0 ATA and 0 SCSI devices
Feb 4 16:28:36 gddx smartd[19782]: smartd has fork()ed into background mode. New PID=19782.
Feb 4 16:28:36 gddx avahi-daemon[19710]: Server startup complete. Host name is gddx.local. Local service cookie is 1952027576.
Feb 4 16:28:37 gddx pcscd: winscard.c:304:SCardConnect() Reader E-Gate 0 0 Not Found
Feb 4 16:28:37 gddx last message repeated 3 times
Feb 4 16:28:39 gddx kernel: mtrr: no more MTRRs available
Feb 4 16:28:41 gddx last message repeated 9 times
Feb 4 16:35:38 gddx kernel: managedclass: can only take 7 arguments
Feb 4 16:35:38 gddx kernel: emcp: `symm' invalid for parameter `managedclass'
Feb 4 16:35:38 gddx modprobe: FATAL: Error inserting emcpmpx (/lib/modules/2.6.18-194.el5/powerpath/emcpmpx.ko): Unknown symbol in module, or unknown parameter (see dmesg)
可以的情况下,可以先关掉smarted这个服务。(当然这个报错和那个FATAL:Error是不冲突的~)
Xiao-Jing
16 消息
0
2013年2月6日 06:00
1、机器启动过程,内核日志提示参数有误。
后面已经重装了POWERPATH软件,现在"/etc/modprobe.conf.pp" 配置是:
[root@gddx ~]# cat /etc/modprobe.conf.pp
options emcp managedclass=symm,clariion,hitachi,hpxp,ess,invista
options emcpsf SfUnmanagedClasses=hphsx
参数已调整,未超7个。
2、既然用的是CLARiion存储,试试下面这条命令。
/etc/powermt display class="clariion"
[root@gddx ~]# powermt display class='clariion'
CLARiiON logical device count=0
==============================================================================
----- Host Bus Adapters --------- ------ I/O Paths ----- ------ Stats ------
### HW Path Summary Total Dead IO/Sec Q-IOs Errors
==============================================================================
[root@gddx ~]# powermt display
Symmetrix logical device count=0
CLARiiON logical device count=0
Hitachi logical device count=0
HP xp logical device count=0
Ess logical device count=0
Invista logical device count=0
==============================================================================
----- Host Bus Adapters --------- ------ I/O Paths ----- ------ Stats ------
### HW Path Summary Total Dead IO/Sec Q-IOs Errors
==============================================================================
POWERPATH还是不能识别到HBA卡,估计问题在这,烦请看看有没有类似问题解决方案,谢谢!
linenai
13 消息
0
2013年2月6日 18:00
个人认为powerpath版本和flare版本兼容有问题的面儿比较大,CX4-960的flare版本和LINUX的版本是什么?尝试一下降低powerpath的版本试试,试一下Powerpath5.3的版本看看
StorageBZ
5 消息
0
2013年2月6日 18:00
能换一块HBA试试吗
Jun_Tan
605 消息
0
2013年2月6日 20:00
HBA应该是没有问题的。
存储分得盘都已经认到了~
Jun_Tan
605 消息
0
2013年2月6日 20:00
楼主也做了不少尝试,个人认为PowertPath跟HBA关系应该不太大。如果说系统人不到盘,那可能需要查HBA卡链路。
帮忙重新整理下。
建议操作时:
1、确认Linux自带的multipath配置正常。chkconfig --off multipathd停止multipath开机自启动。
2、chkconfig --off smartd关闭这个磁盘检测服务。
3、系统重启,并搜集一份系统/var/log/messge日志。
4、执行/etc/init.d/PowerPath start,看看有没有报错。
我觉得只能这么试试。如果不行,楼主也可以直接联系EMC售后支持吧。那样迅速点。
Xiao-Jing
16 消息
0
2013年2月20日 05:00
各位大拿,新年好!问题未解决,继续发帖中。。。
首先可以确认系统可以认到盘,不存在HBA卡链路问题,共划了17个LUN,每个LUN有8条路径。
已经尝试降低powerpath的版本,实际上有两台机器在安装PP,其中一台机装的是5.7版本,正常,而这台有问题的已经降到5.5版本了,两个版本是有差异。是否有必要安装5.3版本的进行测试?
执行/etc/init.d/PowerPath start
Last login: Wed Feb 20 17:48:01 2013 from 132.97.50.5
[root@gddx ~]# /etc/init.d/PowerPath start
Starting PowerPath: done
[root@gddx ~]#
[root@gddx ~]# tail /var/log/messages
Feb 20 17:26:04 gddx kernel: mtrr: no more MTRRs available
Feb 20 17:26:04 gddx last message repeated 9 times
Feb 20 17:28:23 gddx ntpd[19476]: synchronized to LOCAL(0), stratum 10
Feb 20 17:28:23 gddx ntpd[19476]: kernel time sync enabled 0001
Feb 20 17:30:35 gddx ntpd[19476]: synchronized to 132.121.150.1, stratum 6
Feb 20 17:49:32 gddx EMCPP: emcpAudit: Info: cmd=powermt: config (user ID real=0 effective=0)
Feb 20 17:49:32 gddx EMCPP: emcpAudit: Info: cmd=powermt: load file=/etc/powermt.custom (user ID real=0 effective=0)
Feb 20 17:49:32 gddx PPME: API: Info: Set IO Cloning Control in kmd: reads=off, writes=off
Feb 20 17:49:32 gddx PPME: API: Info: Set IO Cloning Control in kernel: reads=on, writes=on
Feb 20 17:49:33 gddx root: PowerPath: Missing PowerPath Management Daemon configuration file=/etc/opt/emcpower/emcp_mond.conf[root@gddx ~]#
[root@gddx ~]# cd /etc/opt/emcpower
[root@gddx emcpower]# ls
bin emcpmgr emcp_mond-sample.conf EMCpower.LINUX-5.5.0.00.00 EULA.pdf log patch.log powercf server.pem snmpd.conf
[root@gddx emcpower]# ls emcp_mond.conf
ls: emcp_mond.conf: No such file or directory
[root@gddx emcpower]#
是不是这个文件少了?安装正常,能否提供一下这个文件?