转载请在文首保留原文出处：EMC中文支持论坛https://community.emc.com/go/chinese                         

      EMC Isilon NAS群集产品最大的特点在于可以进行线性扩展。随着节点数目的增加，Isilon的性能可以线性增长。在大数据时代，和传统的Scale-up存储相比，Isilon是一款很具竞争性的存储产品。本文将介绍如何在InfiniBand环境配置Isilon使得InfiniBand后的主机可以访问Isilon NAS存储。

InfiniBand介绍:

      InfiniBand是一种新型的总线结构，它可以消除目前阻碍服务器和存储系统的瓶颈问题，是一种将服务器、网络设备和存储设备连接在一起的交换结构的I/O技术。InfiniBand技术通过一种交换式通信组织（Switched Communications Fabric）提供了较局部总线技术更高的性能，它通过硬件提供了可靠的传输层级的点到点连接，并在线路上支持消息传递和内存映像技术。不同于PCI，InfiniBand允许多个I/O外设无延迟、无拥塞地同时向处理器发出数据请求 。 

      目前，集群计算（Cluster）、存储区域网（SAN）、网格、内部处理器通信(IPC)等高端领域对高带宽、高扩展性、高QoS以及高RAS(Reliability、Availability and Serviceability)等有迫切需求，InfiniBand技术为实现这些高端需求提供了可靠的保障。

Isilon和InfiniBand：

      通常来说，与InfiniBand相连的资源不能简单地直接访问NAS存储平台，这是因为平台的操作大量基于Ethernet以太网。然后通过引入Mellanox SwitchX系列交换机，就能提供将InfiniBand网络桥接至万兆以太网（10 GbE）的可能：

  

      在InfiniBand环境部署Isilon群集对设备的基本要求如下：

·         主机上必须运行Internet Protocol over InfiniBand (IPoverIB)服务。需要分配给IPoverIB设备一个网络地址以访问Isilon群集的接口。建议两者的地址在同一个网段以简化配置。

·         10GbE铜缆（QSFP+）接入标准的InfiniBand QDR网络。线缆长度可以任意（咨询厂商以获取配件信息）。

·         任何Mellanox SwitchX系列的交换机都可以通过Virtual Protocol Interconnect (VPI)功能成为InfiniBand至IP网络的网关。VPI是Mellanox SwitchX交换机的授权功能（咨询厂商以获取相关授权信息）。

·         本例所使用的Isilon OneFS版本是7.0.2.1，但是在InfiniBand环境部署Isilon对版本没有要求，所有OneFS版本都支持此配置。

客户端配置：

      以CentOS 6.4为例，使用了Mellanox的MLNX_OFED驱动包（咨询厂商以获取该驱动包的更多信息）。

1.     先将InfiniBand HBA卡设为AutoSense模式，可以使用MLNX_OFED驱动包里的connectx_port_config命令：

connectx_port_config -c auto,auto

2.     配置IPoverIB服务，如果MLNX_OFED已经安装，那就能自动给HBA卡提供该服务：

ifconfig ib0 inet 172.28.9.140 netmask255.255.255.0

交换机配置：

      以Mellanox SX6036交换机为例，必须先将交换机模式从Ethernet或InfiniBand改为VPI。这一操作需要额外的授权，联系Mellanox获取更多信息。

1.     SSH登录交换机，进入Enable模式

2.     设定系统模式

system profile vpi-single-switch

3.     与Isilon相连的端口需要配置成Ethernet

switch (config)# interface infiniband1/1-1/8 shutdown

switch (config)# port 1/1-1/8 type ethernet

switch (config)# interface ethernet1/1-1/8 no shutdown

注：由于Isilon不支持网口自适应，需要在OneFS Web控制界面中设定

4.     确认交换机上网关功能已启用：

switch-641b04 [standalone: master] (config) # show system capabilities

IB: Supported

Ethernet: Supported, Full L2, L3

GW: Supported

Max SM nodes: 648

IB Max licensed speed: FDR

Ethernet Max licensed speed: 40Gb

5.     关闭IP路由：

switch-641b04 [standalone: master] (config) # no ip routing

switch-641b04 [standalone: master] (config) # show ip routing

IP routing: disabled

6.     禁用IP IGMP和InfiniBand SM：

switch-641b04 [standalone: master] (config) # no ip igmp snooping

switch-641b04 [standalone: master] (config) # no ib sm

7.     为了允许两边网络的连通性，需要建立Proxy-ARP接口：

switch-641b04 [standalone: master] (config) # ip proxy-arp

switch-641b04 [standalone: master] (config) # show ip proxy-arp

Proxy-arp: enabled

8.     创建接口设备：

switch-641b04 [standalone: master] (config) # interface proxy-arp 1

switch-641b04 [standalone: master] (config interface proxy-arp 1) # ip address 172.28.9.149 /24

switch-641b04 [standalone: master] (config interface proxy-arp 1) # no shutdown

switch-641b04 [standalone: master] (config interface proxy-arp 1) # exit

9.     建立VLAN：

switch-641b04 [standalone: master] (config) # vlan 10

10.  分配接口到VLAN：

switch-641b04 [standalone: master] (config) # interface ethernet 1/7

switch-641b04 [standalone: master] (config interface ethernet 1/7) # switchport access vlan 10

switch-641b04 [standalone: master] (config interface ethernet 1/7) # exit

11.  分配Proxy-ARP接口到VLAN：

switch-641b04 [standalone: master] (config vlan10) # exit

switch-641b04 [standalone: master] (config) # interface proxy-arp 1

switch-641b04 [standalone: master] (config interface proxy-arp 1) # switchport access vlan 10

12.  映射Proxy-ARP接口到VLAN：

switch-641b04 [standalone: master] (config) # interface vlan 10

switch-641b04 [standalone: master] (config interface vlan 10) # ip proxy-arp-map 1

switch-641b04 [standalone: master] (config interface vlan 10) # no shutdown

13.  创建一个PKEY接口并将其映射到Proxy-ARP接口：

switch-641b04 [standalone: master] (config) # interface pkey 0x7777

switch-641b04 [standalone: master] (config interface pkey 0x7777) # ip proxy-arp-map 1

switch-641b04 [standalone: master] (config interface pkey 0x7777) # no shutdown

Isilon端配置：

      强烈建议使用10GbE网络，即使是捆绑之后的千兆端口，仍然会影响到主机访问NAS设备的速度。

1.     在分配IPv4地之前，需要先创建一个子网：

isi networks create subnet -n ipoibsub --netmask255.255.255.0 --gateway 172.28.9.1 --sc-service-addr 172.28.9.159 --mtu=1500

2.     子网创建后，指定对应网段的Pool：

isi networks create pool -n ipoibsub:ipoibpool1 --ranges 172.28.9.150-172.28.9.155 --dynamic

3.     然后指定对应的10GbE接口：

      isi networks modify pool -n ipoibsub:ipoibpool1 --add-ifaces 1:10gige-2

       上述步骤都完成后，就可以将Isilon NAS存储mount给主机了：

                     showmount -e 172.28.9.159

mount -t nfs 172.28.9.159:/ifs /ifscluster1

EMC技术白皮书

《Bridging EMC Isilon NAS on IP to InfiniBand Networks》

EMC Isilon