【专家问答】Isilon 工作引擎(Job Engine)大讲堂

本贴暂时锁定，将于2月27日（周一）活动开启日解锁，届时欢迎大家积极提问和分享！

本期专家问答活动正式开启，欢迎大家积极参与提问和分享～

微信用户“杨苏华”提问：

专家能介绍一下，isilon节点之间访问转发和onefs底层文件系统机制吗？ 谢谢

想问下两位专家，工作引擎(Job Engine) 主要是做什么用的？

谢谢！

Chen Cong您好，

有关节点ip的转移要结合该集群的网络池的具体配置来看。

首先在isilon上查看目前配置的网络池（network pool）信息，然后检查ip分配方式是否为动态（dynamic）。比如：

# isi networks list pools

Subnet          Pool            SmartConnect Zone                      Ranges Alloc

--------------- --------------- ---------------------- ---------------------- -------

subnet1         pool0                                  10.111.191.3-10.111... Static

subnet1         test                                   10.111.191.20-10.11... Dynamic

最后一列的Alloc即是该网络池的ip分配方式。

如果该节点的网络端口属于动态分配的网络池成员，那在节点关机之后这个IP会被重新分配到同一网络池中工作正常的端口上。

Roger您好，

Isilon OneFS属于分布式文件系统架构，其特点是能够尽可能利用每个节点的运算力来并行处理以提高业务处理的效率。比如说当一块硬盘损坏，集群中的节点会协同工作来重建校验块，从而恢复数据的保护级别。而这一类需要整个集群配合的工作，需要一个分布式的作业计划/执行框架来实现。在OneFS中，我们称之为Job Engine。

常见的作业有：

FlexProtect， 在系统中有设备故障时重建数据。

AutoBalance， 平衡节点之间存储空间的用量。

SnapshotDelete， 删除系统中过期的快照以释放空间。

FSAnalyze， 定期生成文件系统报告。 客户可以通过InsightIQ来查看。

更多信息可以参考官方白皮书：

https://support.emc.com/docu51125_White-Paper:-Isilon-OneFS-Job-Engine.pdf?language=en_US

杨先生，您好：

您的这个问题涉及到很多isilon内部核心组件，其中机制相当复杂，这边只能做一下简单介绍：

关于访问转发的问题：

一般一个访问请求（假设是读请求）发送到和这个客户端相连的节点，那么这个节点会根据请求的文件逻辑inode号找到它真实的数据存放的地方，然后通过背端的IB网络使用RPC的调用向相关节点请求数据，相关节点再将存在自己身上的数据返回给客户端连接的节点，由该节点将各个条带化的数据组合成完整的数据并返回给客户端。

关于OneFS文件系统机制的问题：

OneFS支持从N+1到8x的保护级别。

OneFS每个block是8K，每个条带是由16个8K的block组成的。

小于或等于128K的数据会按照保护级别将相应份数的副本存放于不同的节点或相同节点不同的磁盘上。如果是大于128K的数据会先将其按128K一个条带单元分成多个数据条带单元，然后根据保护级别计算出校验条带单元，然后将所有条带单元存放置相应的磁盘上。一组条带中数据条带单元最多为16个，校验条带单元最多为4个。

现在支持的OneFS文件系统（7.1及以后）引入了磁盘池（disk pool）和节点池（node pool）的概念，同一个节点池中的节点的每6块同一类型的盘分成一个磁盘池，比如节点1-3的磁盘bay1-6为一个磁盘池，1-3的磁盘bay7-12为一个磁盘池。

保护级别应用于每个磁盘池上，也就是说假设节点池（由节点1-3bay1-12组成）的保护级别是+1,那么节点1-3的磁盘bay1-6的保护级别是+1，bay7-12也是+1，磁盘bay1-6的损坏不影响磁盘bay7-12。换句话说+1的保护级别可以容忍节点1-3磁盘bay1-6和磁盘7-12各坏一快盘。磁盘池之间互不影响。

Name                      Id  Type Prot Flags    Members              VHS   HDD Used / Size       SSD Used / Size      

------------------------------------------------------------------------------------------------------------------------

x200_12tb_24gb            9   G    +2d: SDH----- 8,10                 2       60T /   72T (83%  )     0 /     0 (n/a  )

                                   1n                                                                                  

x200_12tb_24gb:10         10  D    +2d: S------- 1-7:bay7-12          -       30T /   36T (83%  )     0 /     0 (n/a  ) <---磁盘池                                  1n                                                                                  

x200_12tb_24gb:8          8   D    +2d: S------- 1-7:bay1-6           -       30T /   36T (84%  )     0 /     0 (n/a  ) <---磁盘池

                                   1n                                                                                  

------------------------------------------------------------------------------------------------------------------------

Unprovisioned drives: none

Type: D = Disk pool, G = Group, P = Policy, T = Tier, E = Empty Group or Tier

Flags: S = System, H = VHS Hide Spare, D = VHS Deny Writes,

       T = Spillover Target, M = Manual Group, E = Evacuate Pool,

       I = Force 8k inodes, G = Gna Disabled

文件系统更多内容可以参考以下两个文档：

https://support.emc.com/docu44126_White_Paper:_EMC_Isilon_OneFS:_A_Technical_Overview.pdf?language=en_US

https://support.emc.com/docu42429_White_Paper:_High_Availability_and_Data_Protection_with_EMC_isilon_Scale-Out_NAS.pdf?language=en_US

非常感谢~

感谢老师百忙之中回答我的问题，根据您给的示例，test pool中的IP是浮动的，您说：如果该节点的网络端口属于动态分配的网络池成员 。请问此句话中的该节点的网络端口这个怎么判断？如何能查到该节点的IP，可能问的问题比较low，谢谢~~

Chen Cong您好，

运行以下命令，找到你要查看的pool的配置。

# isi networks list pools -v

...

subnet1:test

          In Subnet: subnet1

         Allocation: Dynamic

             Ranges: 1

                     10.111.191.20-10.111.191.21

    Pool Membership: 1

                     1:ext-1 (up)

   Aggregation Mode: Link Aggregation Control Protocol (LACP)

        Access Zone: System (1)

       SmartConnect:

                     Suspended Nodes  : None

                     Auto Unsuspend ... 0

                     Zone             : N/A

                     Time to Live     : 0

                     Service Subnet   : N/A

                     Connection Policy: Round Robin

                     Failover Policy  : Round Robin

                     Rebalance Policy : Automatic Failback

其中有一项是Pool Membership，包含了所有属于该网络池的端口名。例子中1:ext-1代表了节点1的外部1G网口，我们可以通过查阅此列表来判断。

查询ip可以通过以下命令：

# isi networks list ifaces -w

Interface       Status      Membership                Addresses

--------------- ----------- ------------------------- ------------------------------

1:ext-1 up subnet1:pool0,subnet1:test 10.111.191.3,10.111.191.20,10.111.191.21

输出中包含了网络端口的名字，状态，所属的网络池信息，以及所对应的ip地址。

Hi Steve,

As Denny and I are not SMB expert, I discussed your questions with my colleagues familiar with SMB.

So for question 1, unfortunately, the latest documentation we have is what you find.

For question 2, we only have some perf referrence for single thread read or write, ideally it can reach 280MB/s - 300MB/s, And  if the multi-channel is applied to the SMB clients,  probably could reach over 300MB/s for a single thread read/write , but it still depends on the network bandwidth.

Thanks.

微信用户“杨苏华”提问：

请问下isilon的专家，NAS,对象，hdfs等服务都是运行在一套统一的onefs文件系统之上吗？对于对象协议，onefs最多能够管理多少个对象呢？ onefs 的 NAS最多能管理多少个文件呢？限制因素在哪里。