【专家问答】EMC存储和主机的亲密接触

本期专家问答活动已正式开启，大家有任何关于 主机和EMC存储 相关的问题，欢迎回帖来提问并和专家互动

大家好！

先简单描述一下吧。EMC的存储被广泛用在各个系统里。所以，针对每个操作系统，EMC都会有对应的连接指南。这个文档一般也是大家在做主机相连的时候需要第一参考的。

针对EMC存储连接Windows的连接指南。

https://support.emc.com/docu5134_Host-Connectivity-Guide-for-Windows.pdf?language=en_US

针对EMC存储连接Linux的连接指南。

https://support.emc.com/docu5128_Host-Connectivity-Guide-for-Linux.pdf?language=en_US

针对EMC存储连接ESX(i)的连接指南

https://support.emc.com/docu5265_Host-Connectivity-Guide-for-VMWare-ESX-Server.pdf?language=en_US

针对EMC存储连接AIX的连接指南

https://support.emc.com/docu5126_Host-Connectivity-Guide-for-IBM-AIX.pdf?language=en_US

其他平台的连接指南，您都可以在support.emc.com上搜索到。

三位专家好！

想问个问题，不少用户的主机、操作系统、存储甚至还有网络设备是来自几家不同的厂商，当主机与存储之间出现问题时，用户一般是先联系哪个厂商比较好呢？有没有一个通用的checklist来帮助缩小范围？还是说这样的问题，我们都建议一上来就联系所有的厂商？谢谢！

各位专家好：

    solaris系统powerpath管理磁盘与solaris系统format出来的盘符不一致问题，现在是否解决？

    eg: powerpath管理的的盘符为emcpower0a,而系统format出来的盘符为emcpower0h.

         造成创建分区或lable需要使用format出来的盘符，而加入zfs pool需要使用powerpath的盘符,虽然是同一块磁盘，但造成管理不便，部分客户也不太理解，解释费劲.

Roger，你好！

一般来说，是基于客户的初始判断，给他/她所怀疑的设备所在厂商，或者他们的集成服务提供商开case。我们会经常遇到开过来的case，最后问题不在EMC相关的产品上。但即使这种情况，我们还是有责任帮助客户缩小问题区域，指引到正确的支持厂商去。

当然，很多客户上case是基于有没有服务。比如有些用户暂时没有Windows的支持协议，遇到问题了。不管什么问题，先开到EMC再说。这种情况我们不推荐，但我们也尽我们所能回答客户问题，因为我们希望客户在使用EMC产品的整个solution中，有良好的体验与服务。

非常感谢！

主机和存储的相连中，多路径的选择是重要一环。Windows平台上，多路径的软件很多。大的存储厂商一般都有自己的多路径软件，并且基本都能管理其它存储厂商的主流存储。在Windows平台上，有一个好处，就是微软集中实现了MPIO。三方厂商（包括EMC，甚至纯粹的软件公司Verita）的多路径软件只要实现对应的DSM以及其他的一些高级功能即可。微软甚至也提供了通用DSM，其可以直接管理主流存储的多路径。

-选择微软MPIO（plus Microsoft generic DSM，以后就简称MPIO）还是EMC Powerpath？

毫无疑问，两者现在都能正确的管理连接到EMC各种存储的多路径。选择谁取决于您是否有（不管是购买还是赠送）Powerpath的license。Powerpath没有license，就只能工作在基本的basic failover模式下。这种模式，不管你真正有多少条路径，只会选择两条路径然后提供failover的功能，没有load balance的功能。这种情况下，MPIO应该是你的选择，它提供更多的选择以及load balance。但当您有了powerpath的license。那还是建议您使用Powerpath。Powerpath针对每个EMC存储的前端特点做了优化，充分实现failover和load balance功能。还有其他一些充分利用硬件的特性。

-同一主机连接多个厂商的存储怎么办？

之前提到，实际上主流的多路径软件都可以管理三方厂商的存储。所以您可以选择一款合适的多路径软件在管理所有存储. 拿Powerpath举例，您安装的时候选择定制，就可以列出下面的支持列表（EMC VNX/Clariion和Symmetrix是自带就支持的，没有显示在下面的列表里）

那，如果用户一定要每个厂商存储都有各自的多路径软件管理，可以么？这也是可以的，只要大家都是基于MPIO框架开发。下面就是一个列表以及相关的要求。

更多关于Powerpath在Windows上的安装和管理，请参考。

https://support.emc.com/docu56541_PowerPath-and-PowerPath-VE-for-Microsoft-Windows-6.0-and-Minor-Releases-Installation-and-Administration-Guide.pdf?language=en_US

大家好！

今天我想和大家分享一个比较常见的Symmetirx磁盘报SCSI Reservation Conflict的问题的处理过程，这种问题常见于AIX，Linux，ESXi，报错形式如下：

[AIX-errpt]

65DE6DE3 1027142115 P S hdisk2 REQUESTED OPERATION CANNOT BE PERFORMED

65DE6DE3 1027142115 P S hdisk14 REQUESTED OPERATION CANNOT BE PERFORMED

[Linux-messages]

Jan  8 20:45:32 xxxx kernel: sd 1:0:3:52: reservation conflict

Jan  8 20:45:32 xxxxx kernel: sd 0:0:3:52: reservation conflict

[ESXi-vmkernel]

WARNING: SCSI: 5532: Failing I/O due to too many reservation conflicts
WARNING: SCSI: 5628: status SCSI reservation conflict, rstatus 0xc0de01 for vmhba1:0:7. residual R 919, CR 0, ER 3
WARNING: J3: 1970: Error committing txn to slot 0: SCSI reservation conflict

首先，我先介绍一下SCSI Reservation的基本概念。在一个共享存储的环境下，多台主机共享多个物理Lun，当某一个主机在对某一个Lun进行写操作时，为了防止其他主机意外地也对这个Lun进行写操作引起的数据损坏，就引入了SCSI Reservation的机制。该机制是通过当前需要读写这个Lun的主机在Lun上放置SCSI锁，来阻止其他主机再对这个Lun进行读写操作。SCSI锁的具体放置时间和释放时间要取决于具体的操作系统和应用，例如，在AIX主机中，如果Lun是在LVM中使用，那么Lun的SCSI锁一般是在varyonvg操作时被放置，一般会在varyoffvg时被释放。当一个Lun上有主机A放置的SCSI锁，如果主机B也尝试访问这个Lun，那么在主机B上就会报这种SCSI Reservation Conflict的错误。另外，除了EMC的Symmetrix存储外，其他的一些EMC产品也支持SCSI Reservation，例如VNX/CLARiiON，Vplex，XtremIO。 

接下来，我将阐述在主机上看到Symmetrix磁盘报SCSI Reservation Conflict的错误时的处理过程。首先，要根据自己的实际使用情况，判断报错的这个主机B在报错时间是否应该访问这个Lun。

1. 如果主机B本就不应该在该时间访问该Lun，那么这个报错就是正常的，是符合工作机制的，可以忽略。
2. 如果主机B在该时间应该有访问该Lun的需求，那就需要进一步去分析报错的原因，这种情况也是我们日常在帮助客户处理问题时最常见的，解决思路如下：

        1） 在安装了SE的主机上使用symdev -sid xxx list -resv命令列出这个存储上所有有SCSI锁的磁盘，在输出中查找是否有报SCSI Reservation Conflict错的Lun，来确认当前该Lun上有无SCSI锁。然后，联系我们的Symmetrix产品支持工程师拨到存储上，用inline的命令去进一步确认该Lun上当前有无SCSI锁，如果有的话，是哪个HBA放置的。

        2）在确认有锁及放置该锁的HBA之后，客户需要找出放置该锁的HBA所在的主机A，然后查看主机A当前是否正在访问这个Lun，在确认主机A没有对该Lun进行I/O时，我们可以开始清除这个SCSI锁，清除锁的具体方法如下：

         a.使用以下SE的命令来清除锁。

symdg create testdg

symld -g testdg add dev 3C2 -sid 32

symdg show testdg（输出如下）

……

Standard (STD) Devices (1):
        {
--------------------------------------------------------------------
Sym Cap
LdevName PdevName Dev  Att. Sts     (MB)
--------------------------------------------------------------------
DEV001 /dev/rhdisk6 03C2      RW      2033
        }

symld -g testdg break DEV001 –nop（解锁的命令）

再使用symdev -sid 32 list -resv验证该磁盘的锁是否被成功清除。

b.如果使用a中的SE命令无法清除锁，则需要联系我们的Symmetrix产品支持工程师拨到存储上，使用inline命令清除。

针对主流的Qlogic和Emulex HBA卡，EMC也有对应在各个操作系统上的连接指南。下面是Windows环境的。

EMC Host Connectivity with QLogic Fibre Channel and iSCSI Host Bus Adapters (HBAs) and Converged Network Adapters (CNAs) in the Windows Environment

https://support.emc.com/docu6350_Host-Connectivity-with-QLogic-Fibre-Channel-and-iSCSI-Host-Bus-Adapters-(HBAs)-and-Converged-Network-Adapters-(CNAs)-in-the-Windows-Environment.pdf?language=en_US

EMC Host Connectivity with Emulex Fibre Channel Host Bus Adapters (HBAs) and Converged Network Adapters (CNAs) in the Windows Environment

https://support.emc.com/docu6351_Host-Connectivity-with-Emulex-Fibre-Channel-Host-Bus-Adapters-(HBAs)-and-Converged-Network-Adapters-(CNAs)-in-the-Windows-Environment.pdf?language=en_US

主机访问磁盘阵列，为了保证有效的故障转移和负载均衡，多路径管理软件（Multipath）是磁盘阵列访问环境中非常重要的部分。通常操作系统会提供自带的多路径管理软件，比如Linux DMMP，VMware vSphere ESXi NMP, Solarix MPxIO等，也有第三方的多路径管理软件提供更加健壮丰富的功能，比如EMC PowerPath, Veritas VxDMP。

随着操作系统版本的更迭和发展，很多系统自带的多路径管理软件已经非常强大，今天我们来简单介绍VMware vSphere NMP连接EMC常见存储的一些配置实践。

VMware vSphere NMP

VMware vSphere NMP是VMware上默认的多路径管理软件，包含两个部分：Storage Array Type Plug-Ins (SATPs), and Path Selection Plug-Ins (PSPs) 。

• SATP探测特定的存储阵列特性，不同的存储阵列可能使用不同的SATP。STAP负责监控路径的健康状态、报告路径状态同时在需要的时候执行必要的Failover的动作。
• PSP是路径选择策略，根据不同的存储阵列，选择相应的路径选择策略，决定哪些路径可以用于IO操作。默认通常包含三种路径选择策略：
  • MRU (VMW_PSP_MRU)
  • Fixed (VMW_PSP_FIXED)
  • Round Robin (VMW_PSP_RR)

VMware vSphere NMP连接EMC VNX实践

• 对于CLARiiON CX3及之前版本，Failover mode设置为1，VMware vSphere ESXi推荐使用MRU或者Round Robin路径选择策略。不过因为CLARiiON Failover mode 1是A/P模式，即便使用Round Robin，也只能使用在Owner SP链接的路径组内循环。
  • 对于CLARiiON CX3，MRU和Round Robin策略均不提供Auto Failback功能。注：当某条路径因为Fabric或者Array的原因导致路径错误，多路径软件会选择其他路径进行IO操作，因此对于A/P模式，LUN会Trespass到新的SP来完成IO。当原来的故障路径恢复后，LUN会继续以新的SP为Owner，而不会切换到最初的Owner SP，即没有Auto Failback功能。

• 对于CLARiiON CX4 FLARE Release 04.28.000.5.704和VNC OE for Block 05.31及后续版本，Failover mode设置为4。VMware vSphere ESXi推荐使用Fixed或者Round Robin路径选择策略。
  • 对于ESXi 4.x/5.0，Fixed策略会提供Auto Failback功能但Round Robin不提供。比如，在进行NDU的过程中，如果使用Fixed策略，当NDU结束后LUN会重新分配到各自最初的Owner SP，这样可以避免所有的LUN都在单边SP的情况。
  • 对于ESXi 5.1及后续版本，Round Robin策略得到增强，开始支持Auto Failback功能。当问题路径恢复后，会自动将LUN分配到原来的Owner SP。与此同时，VNX Block OE version 05.31.000.5.726 and VNX Block OE version 05.32.000.5.006也对VNX进行了增强，Round Robin的Auto Failback功能支持NDU。

所以，对于ESXi 5.1之后，默认推荐使用的NMP路径选择策略为Round Robin。

VMware vSphere NMP连接EMC Symmetrix实践

Symmetrix作为EMC高端存储阵列，支持A/A (Active/Active) 模式来访问磁盘阵列。因此推荐使用Round Robin作为访问Symmetrix磁盘阵列的路径选择策略。不过在vSphre ESXi 5.1之前，VMware vSphere NMP连接Symmetrix的默认路径选择策略是Fixed，需要手动修改为Round Robin。从vSphere ESXi 5.1开始，默认路径选择策略就是Round Robin。

与此同时，为了配置Symmetrix的性能保证，推荐将Symm Device的iops的参数值设置为1（默认1000）。

Path Selection Policy Device Config: {policy=rr,iops=1,bytes=10485760,useANO=0;lastPathIndex=1: NumIOsPending=0,numBytesPending=0}

注：

• 在vSphere ESXi 5.1及之前的版本，如果以RDM用作Windows虚拟机集群使用的磁盘，是不支持Round Robin的，所以这种情况下不能使用Round Robin作为磁盘的路径选择策略。从vSphere ESXi 5.5开始，Windows虚拟机集群支持使用Round Robin的磁盘用作RDM。

针对Linux系统上不同的HBA卡，相关的连接指南。

EMC Host Connectivity with QLogic Fibre Channel and iSCSI Host Bus Adapters (HBAs) and Converged Network Adapters (CNAs) for the Linux Environment

https://support.emc.com/docu6348_Host-Connectivity-with-QLogic-Fibre-Channel-and-iSCSI-Host-Bus-Adapters-(HBAs)-and-Converged-Network-Adapters-(CNAs)-for-the-Linux-Environment.pdf?language=en_US

EMC Host Connectivity with Emulex Fibre Channel Host Bus Adapters (HBAs) and Fibre Channel over Ethernet Converged Network Adapters (CNAs) for the Linux Environments

https://support.emc.com/docu6349_Host-Connectivity-with-Emulex-Fibre-Channel-Host-Bus-Adapters-(HBAs)-and-Fibre-Channel-over-Ethernet-Converged-Network-Adapters-(CNAs)-for-the-Linux-Environments.pdf?language=en_US

大家好！今天和大家分享一下AIX主机上管理EMC存储的相关知识。

AIX操作系统中的ODM（Object Data Manager），对象数据管理器，是用于存放系统信息的数据管理器，它所管理的数据主要包括：设备配置信息，SMIT显示信息，系统资源信息等。相应地，EMC提供了AIX ODM filesets，它会修改系统的ODM中关于EMC磁盘的定义。要使得AIX主机能够正确配置EMC磁盘，就必须要安装相应的filesets。

这些ODM filesets及其使用手册Readme文件都可在ftp://ftp.emc.com/pub/elab/aix/ODM_DEFINITIONS/上进行下载，其中，6.0.0.0以下的版本是支持AIX操作系统5.2，5.3，6.1，6.0.0.0及其以上的版本支持AIX操作系统7.1。对于安装Powerpath的环境，安装时，建议先安装相应的ODM fileset，然后安装Powerpath；卸载时，先卸载Powerpath，再卸载ODM fileset。

某些情况下，ODM的数据库信息发生了corruption，导致主机看到的磁盘信息不正常或者Powerpath无法正常配置磁盘。遇到这类问题时，可以使用如下2个kb尝试cleanup ODM来解决问题。

https://emcservice--c.na16.visual.force.com/apex/KB_BreakFix_clone?id=kA2j0000000QXLs

https://emcservice--c.na16.visual.force.com/apex/KB_BreakFix_clone?id=kA2j0000000R3Lw

上次我们讨论了VMware vSphere ESXi访问Symmetrix和VNX的场景，今天我们紧接着聊一聊VMware vSphere NMP连接EMC XtremIO常见需要注意的地方。

VMware vSphere NMP连接EMC XtremIO实践

XtremIO同样是这次VMware vSphere NMP多路径管理软件的，并推荐使用Round Robin作为路径选择策略。

类似于Symmetrix，为了更好的性能配置，推荐将XtremIO Device的iops的参数值设置为1（默认1000）。使用类似下列的命令：

esxcli storage nmp satp rule add -c tpgs_off -e "XtremIO Active/Active" -M XtremApp -P VMW_PSP_RR -O iops=1 -s VMW_SATP_DEFAULT_AA -t vendor -V XtremIO

另外，XtremIO作为全闪存阵列，SSD IO处理能力远高于普通的磁盘阵列。为了更好的适应和利用XtremIO的高性能处理能力，ESXi主机端可以增加HBA Queue Depth的设置，以适配每条路径上面的IO量，充分调动XtremIO全闪存的处理性能。

ESXi可以通过esxcli命令设置HBA Driver的Queue Depth值，通常参考下列设置

• Qlogic

esxcli system module parameters set -p ql2xmaxqdepth=256 -m qla2xxx # ESXi 5.x

esxcli system module parameters set -p qlfxmaxqdepth=256 -m qlnativefc # ESXi 6.x

• Emulex

esxcli system module parameters set -p lpfcn_lun_queue_depth=128 -m lpfc

• Cisco UCS

esxcli system module parameters set –p fnic_max_qdepth=128 –m fnic

还可以进一步设置vSphere ESXi上的个高级配置参数来提高ESXi访问XtremIO的性能。将下列值设置：

• Disk.SchedNumReqOutstanding: 256 (Max)
• Disk.SchedQuantum: 64 (Max)
• Disk.DiskMaxIOSize: 4096

XtremIO是支持VAAI的，所以ESXi VAAI要求置于Enabled状态. ESXi 5.x以上，VAAI应该默认是Enabled的。

注：如果VMware vSphere ESXi同时连接到XtremIO全闪存阵列和其他的磁盘存储阵列，则需要综合考虑其他磁盘存储阵列的配置推荐，否则以上XtremIO的配置会引起其他磁盘存储阵列潜在的性能问题。

各位好，

之前论坛里有一个问题”can EMC Powerpath work with linux client on hyper-v“。用户有提到一段话

”所以我现在的问题是powerpath 支持到底还是不支持虚拟机中，特别是linux 虚拟机中使用hyper-v VHBA 功能连接后端存储。因为目前我测试了linux 虚拟机使用VHBA已经接近两年，一直不成功，现在倒是怀疑是powerpath 的问题。另外我在linux(物理机）使用powerpath 连接EMC Vplex时也是成功的。“

虽然后来看样子是换了一个hyper-v linux插件，盘是看到了，多路径是不是装了powerpath就不太清楚了。

”各位，我的问题似乎解决了，目前我使用

https://github.com/LIS/lis-next 这个地方的源码来编译最新版本的hyper-v linux 集成插件（你需要安装开发工具、内核源码，然后执行目录下的install script ）

目前的hyper-v 集成插件版本如下,使用最新的lis 4.1-alpha-1 之后，使用fdisk -l 不再报错，可以看到多个盘sda,sdb etc, 我后面会尝试装上多路径软件后，看看使用效果：（因为目前lis还是alpha状态，可能还要等等4.1正式版，如果用于生产环境的话，因为我的初衷是想把oracle 跑在hyper-v 平台的虚拟机上）“

那么通常情况下，遇到这样的情况，EMC建议的做法是怎么样的？