开始新对话

未解决

此帖子已超过 5 年

XJ

14000

2013年2月4日 18:00

[PowerPath问题求助]Device(s) not found.

Hi, experts

在Red Hat Linux下安装了PP不成功,以下出错信息,帮助找下原因。

按排错指导操作,以下是记录:

1、请确认是否版本差异问题:

[root@gddx ~]# lsmod |grep emc
emcpvlumd 68064  0
emcpxcrypt 166248  0
emcpdm 75272  0
emcpmpx 200872  0
emcpgpx 55376  3 emcpvlumd,emcpxcrypt,emcpdm
emcp 2173088  5 emcpvlumd,emcpxcrypt,emcpdm,emcpmpx,emcpgpx
scsi_mod 196953  9 emcp,scsi_dh,sr_mod,qla2xxx,sg,scsi_transport_fc,libata,megaraid_sas,sd_mod
[root@gddx ~]#

没有emcplib 模块,多了emcpvlumd、emcpxcrypt模块。

2、主机能看到存储分配的磁盘,但PowerPath看不到磁盘,这个是关键问题与第1点模块有没有关系?请确认!

[root@gddx ~]# powermt display
Symmetrix logical device count=0
CLARiiON logical device count=0
Hitachi logical device count=0
HP xp logical device count=0
Ess logical device count=0
Invista logical device count=0
==============================================================================
----- Host Bus Adapters ---------  ------ I/O Paths -----  ------ Stats ------
###  HW Path Summary   Total   Dead  IO/Sec Q-IOs Errors
==============================================================================

[root@gddx ~]# powermt display dev=all
Device(s) not found.
[root@gddx ~]# cat /proc/scsi/scsi

问题何在,如何解决?

3个附件

1.2K 消息

2013年2月4日 22:00

1. 从log中看,module状态不对,emcpmpx没有起来,安装过程中可能存在问题,安装时是否有报错;

2. 尝试/etc/init.d/PowerPath start

3. 如果问题仍然存在,重启系统;

4. 如果重启还是没有解决,需重新安装PowerPath,并将安装记录贴出;

5. 同时检查Red Hat和PowerPath的版本兼容性。

16 消息

2013年2月5日 00:00

1、安装时没有报错,上次发的log文件中有记录

[m[root@gddx oradata]# pr [K [Krpm -ivh EMCPower.LINUX-5.5.0.00.00-275.RHEL5.x86_64.rpm
Preparing... (100%)                                                  # (100%)                                                  ## (100%)                                                  ### (100%)                                                  #### (100%)                                                  ##### (100%)                                                  ###### (100%)                                                  ####### (100%)                                                  ######## (100%)                                                  ######### (100%)                                                  ########## (100%)                                                  ########### (100%)                                                  ############ (100%)                                                  ############# (100%)                                                  ############## (100%)                                                  ############### (100%)                                                  ################ (100%)                                                  ################# (100%)                                                  ##################

。。。。


All trademarks used herein are the property of their respective owners.
NOTE:License registration is not required to manage the CLARiiON AX series array.
[root@gddx oradata]#

2、/etc/init.d/PowerPath start 正常启动,上次发的log文件中有记录

[root@gddx ~]# lsmdo  [K [K [K [K [K [K/etc/init.d/PowerPath start
Starting PowerPath:
done

3. 如果问题仍然存在,重启系统;

已经尝试重启系统多次,重启后系统加载模块正常,lsmod | grep emc 查看情况正常, /etc/init.d/PowerPath start 正常启动,但powermt display 无法识别到HBA卡信息

4、如果重启还是没有解决,需重新安装PowerPath,并将安装记录给出;
已经根据所提供的文档,彻底删除软件后重新安装软件几次,均不能解决问题,上次发的log文件中均有记录操作。

5. 同时用命令检查列出Red HatPowerPath的具体版本号,再检查版本兼容性。
[root@gddx etc]# cat /etc/redhat-release
Red Hat Enterprise Linux Server release 5.5 (Tikanga)
[root@gddx etc]# uname -a
Linux gddx.webtrace.db 2.6.18-194.el5 #1 SMP Tue Mar 16 21:52:39 EDT 2010 x86_64 x86_64 x86_64 GNU/Linux
[root@gddx etc]# rpm -ql EMCpower.LINUX
/etc/opt/emcpower/EMCpower.LINUX-5.5.0.00.00
/etc/opt/emcpower/EMCpower.LINUX-5.5.0.00.00/.pp_build_version
。。。

605 消息

2013年2月5日 01:00

楼主建议把rpm -l 输出结果去掉。

这样一刷,实在不方便看帖子哇

605 消息

2013年2月5日 01:00

关于第二个问题:

楼主安装的是EMCpower.LINUX-5.5.0.00.00,根据PowerPath for Linux 5.5 Installation and Administration Guide

内核模块是没少的。

Capture.JPG

1、楼主的日志看起来很费劲,有纯文本的没有?

2、另外既然用了PP,楼主也可以把redhat自带的dm-mpio停用。/etc/init.d/mulitpath* stop

3、机器启动过程,内核日志提示参数有误。

[root@gddx ~]# vi /etc/modprobe.conf.pp

[?1h = [1;45r [m [m [0m [H [J [45;1H"/etc/modprobe.conf.pp"

"/etc/modprobe.conf.pp" 2L, 162C [1;1Hoptions emcpsf SfUnmanagedClasses=hphsx

options emcp managedclass=symm,vnx,clariion,hitachi,hpxp,ess,vplex,invista [7Cemcplu=0xffffffff800a97cd osfailfast=0x1

Feb  4 16:35:38 gddx kernel: managedclass: can only take 7 arguments

Feb  4 16:35:38 gddx kernel: emcp: `symm' invalid for parameter `managedclass'

Feb  4 16:35:38 gddx modprobe: FATAL: Error inserting emcpmpx (/lib/modules/2.6.18-194.el5/powerpath/emcpmpx.ko): Unknown symbol in module, or unknown parameter (see dmesg)

试试调整下options emcp这行,最多只能支持7个类别,你这里有8个类别。

4、楼主既然用得CLARiion存储,试试下面这条命令。

/etc/powermt display class="clariion"

楼主的机器是48核CPU,羡慕~ 调优好,性能那是杠杠滴

(PS. 08年曾经用过一台96核,1TB内存的机器,不过当时没有珍惜好好用!)

3.2K 消息

2013年2月5日 12:00

请问哪里48 core哦 难道偶昨天晚上喝多了?

16 消息

2013年2月5日 16:00

这里有个致命错误,“FATAL: Error inserting emcpmpx”

Feb  4 16:35:38 gddx modprobe: FATAL: Error inserting emcpmpx (/lib/modules/2.6.18-194.el5/powerpath/emcpmpx.ko): Unknown symbol in module, or unknown parameter (see dmesg)

有解决思路吗?

16 消息

2013年2月5日 16:00

OK.知道是PP V5.5.0.00.00就行。

605 消息

2013年2月5日 17:00

Xiao-Jing wrote:

这里有个致命错误,“FATAL: Error inserting emcpmpx”

Feb  4 16:35:38 gddx modprobe: FATAL: Error inserting emcpmpx (/lib/modules/2.6.18-194.el5/powerpath/emcpmpx.ko): Unknown symbol in module, or unknown parameter (see dmesg)

有解决思路吗?

这个问题应该就是你emcp内核模块参数配置有问题导致的。现在你机器接什么存储,你可以加上这个存储类型就可以了。

Linux内核模块参数一般是动态调用的,可以在用得时候再加载。参数也一样,也是可选的。

Linux内核module加载配置文件:

options emcp managedclass=symm,vnx,clariion,hitachi,hpxp,ess,vplex,invista [7Cemcplu=0xffffffff800a97cd osfailfast=0x1

dmesg日志:

Feb  4 16:35:38 gddx kernel: managedclass: can only take 7 arguments

Feb  4 16:35:38 gddx kernel: emcp: `symm' invalid for parameter `managedclass'

Feb  4 16:35:38 gddx modprobe: FATAL: Error inserting emcpmpx (/lib/modules/2.6.18-194.el5/powerpath/emcpmpx.ko): Unknown symbol in module, or unknown parameter (see dmesg

605 消息

2013年2月5日 17:00

还有一个补充。

楼主给的信息里面有下面这个提示:

[root@gddx ~]# /etc/init.d/p  [KPowerPath.  [K start
Starting PowerPath:
PowerPath could not load module emcpmpx

PowerPath devices are open.
Please close these devices and then try again.
PowerPath: unable to load PowerPath modules.

PowerPath devices are open.
Please close these devices and then try again.
failed

根据dmesg日志,楼主在启动powerpath之前已经启用了smartd这个监控磁盘寿命的服务。

Feb  4 16:28:36 gddx smartd[19780]: Device: /dev/sdz, IE (SMART) not enabled, skip device Try 'smartctl -s on /dev/sdz' to turn on SMART features

Feb  4 16:28:36 gddx smartd[19780]: Monitoring 0 ATA and 0 SCSI devices

Feb  4 16:28:36 gddx smartd[19782]: smartd has fork()ed into background mode. New PID=19782.

Feb  4 16:28:36 gddx avahi-daemon[19710]: Server startup complete. Host name is gddx.local. Local service cookie is 1952027576.

Feb  4 16:28:37 gddx pcscd: winscard.c:304:SCardConnect() Reader E-Gate 0 0 Not Found

Feb  4 16:28:37 gddx last message repeated 3 times

Feb  4 16:28:39 gddx kernel: mtrr: no more MTRRs available

Feb  4 16:28:41 gddx last message repeated 9 times

Feb  4 16:35:38 gddx kernel: managedclass: can only take 7 arguments

Feb  4 16:35:38 gddx kernel: emcp: `symm' invalid for parameter `managedclass'

Feb  4 16:35:38 gddx modprobe: FATAL: Error inserting emcpmpx (/lib/modules/2.6.18-194.el5/powerpath/emcpmpx.ko): Unknown symbol in module, or unknown parameter (see dmesg)

可以的情况下,可以先关掉smarted这个服务。(当然这个报错和那个FATAL:Error是不冲突的~)

16 消息

2013年2月6日 06:00

1、机器启动过程,内核日志提示参数有误。

后面已经重装了POWERPATH软件,现在"/etc/modprobe.conf.pp" 配置是:

[root@gddx ~]# cat /etc/modprobe.conf.pp
options emcp managedclass=symm,clariion,hitachi,hpxp,ess,invista
options emcpsf SfUnmanagedClasses=hphsx

参数已调整,未超7个。

2、既然用的是CLARiion存储,试试下面这条命令。

/etc/powermt display class="clariion"

[root@gddx ~]# powermt display class='clariion'
CLARiiON logical device count=0
==============================================================================
----- Host Bus Adapters ---------  ------ I/O Paths -----  ------ Stats ------
###  HW Path                       Summary   Total   Dead  IO/Sec Q-IOs Errors
==============================================================================


[root@gddx ~]# powermt display
Symmetrix logical device count=0
CLARiiON logical device count=0
Hitachi logical device count=0
HP xp logical device count=0
Ess logical device count=0
Invista logical device count=0
==============================================================================
----- Host Bus Adapters ---------  ------ I/O Paths -----  ------ Stats ------
###  HW Path                       Summary   Total   Dead  IO/Sec Q-IOs Errors
==============================================================================

POWERPATH还是不能识别到HBA卡,估计问题在这,烦请看看有没有类似问题解决方案,谢谢!

13 消息

2013年2月6日 18:00

个人认为powerpath版本和flare版本兼容有问题的面儿比较大,CX4-960的flare版本和LINUX的版本是什么?尝试一下降低powerpath的版本试试,试一下Powerpath5.3的版本看看

5 消息

2013年2月6日 18:00

能换一块HBA试试吗

605 消息

2013年2月6日 20:00

HBA应该是没有问题的。

存储分得盘都已经认到了~

605 消息

2013年2月6日 20:00

楼主也做了不少尝试,个人认为PowertPath跟HBA关系应该不太大。如果说系统人不到盘,那可能需要查HBA卡链路。

帮忙重新整理下。

建议操作时:

1、确认Linux自带的multipath配置正常。chkconfig --off multipathd停止multipath开机自启动。


2、chkconfig --off smartd关闭这个磁盘检测服务。

3、系统重启,并搜集一份系统/var/log/messge日志。

4、执行/etc/init.d/PowerPath start,看看有没有报错。

我觉得只能这么试试。如果不行,楼主也可以直接联系EMC售后支持吧。那样迅速点。

16 消息

2013年2月20日 05:00

各位大拿,新年好!问题未解决,继续发帖中。。。

    首先可以确认系统可以认到盘,不存在HBA卡链路问题,共划了17个LUN,每个LUN有8条路径。

    已经尝试降低powerpath的版本,实际上有两台机器在安装PP,其中一台机装的是5.7版本,正常,而这台有问题的已经降到5.5版本了,两个版本是有差异。是否有必要安装5.3版本的进行测试?

   

执行/etc/init.d/PowerPath start

Last login: Wed Feb 20 17:48:01 2013 from 132.97.50.5
[root@gddx ~]# /etc/init.d/PowerPath start
Starting PowerPath:  done
[root@gddx ~]#

[root@gddx ~]# tail /var/log/messages
Feb 20 17:26:04 gddx kernel: mtrr: no more MTRRs available
Feb 20 17:26:04 gddx last message repeated 9 times
Feb 20 17:28:23 gddx ntpd[19476]: synchronized to LOCAL(0), stratum 10
Feb 20 17:28:23 gddx ntpd[19476]: kernel time sync enabled 0001
Feb 20 17:30:35 gddx ntpd[19476]: synchronized to 132.121.150.1, stratum 6
Feb 20 17:49:32 gddx EMCPP: emcpAudit: Info: cmd=powermt: config (user ID real=0 effective=0)
Feb 20 17:49:32 gddx EMCPP: emcpAudit: Info: cmd=powermt: load file=/etc/powermt.custom (user ID real=0 effective=0)
Feb 20 17:49:32 gddx PPME: API: Info: Set IO Cloning Control in kmd: reads=off, writes=off
Feb 20 17:49:32 gddx PPME: API: Info: Set IO Cloning Control in kernel: reads=on, writes=on
Feb 20 17:49:33 gddx root: PowerPath: Missing PowerPath Management Daemon configuration file=/etc/opt/emcpower/emcp_mond.conf[root@gddx ~]#

[root@gddx ~]# cd /etc/opt/emcpower
[root@gddx emcpower]# ls
bin  emcpmgr  emcp_mond-sample.conf  EMCpower.LINUX-5.5.0.00.00  EULA.pdf  log  patch.log  powercf  server.pem  snmpd.conf
[root@gddx emcpower]# ls emcp_mond.conf
ls: emcp_mond.conf: No such file or directory
[root@gddx emcpower]#

是不是这个文件少了?安装正常,能否提供一下这个文件?

找不到事件!

Top