Highlighted
版主
版主

【专家问答】Isilon 工作引擎(Job Engine)大讲堂

好消息,新一期的“专家问答”活动已经开启啦!


坐镇专家们均为多年从事Isilon技术问题解决的高级技术工程师们,将全面和大家一起讨论和分享关于Isilon工作引擎(Job Engine)的话题。不论您有任何关于此题目相关问题,或是想更多的了解其方方面面,请抓住这个与专家直接对话的机会,以回帖的方式来参与在线提问吧。

以往所有已完成的“专家问答”活动可参考这个汇总贴

本期讨论主题:Isilon 工作引擎(Job Engine)大讲堂

本期持续时间:2017年2月27日–3月10日,为期两周。

我们邀请到的专家有:


Denny_Wu.jpg


Denny Wu 吴怿嘉

2014年3月加入EMC Isilon全球技术支持团队。负责isilon相关的故障定位处理,对OneFS文件系统,NFS文件共享协议以及相关的软硬件问题有丰富的技术支持经验。


Nicole_Zhou.jpg


Nicole Zhou  周晓芬

EMC技术支持工程师,从事远程技术支持工作3年多,目前就职于EMC全球技术中心,主要负责isilon系列产品的售后技术支持工作,对isilon相关网络、NFS(Network File System)和OneFS 文件系统的配置和排错有丰富的技术支持经验。


和专家交流,与同行畅谈。欢迎大家以回帖的方式就本次主题相关问题,来积极提问和踊跃发表自己的意见。期待您的参与!


标签 (1)
标记 (3)
0 项奖励
21 条回复21
版主
版主

Re: 【专家问答】Isilon 工作引擎(Job Engine)大讲堂

本贴暂时锁定,将于2月27日(周一)活动开启日解锁,届时欢迎大家积极提问和分享!

0 项奖励
版主
版主

Re: 【专家问答】Isilon 工作引擎(Job Engine)大讲堂

本期专家问答活动正式开启,欢迎大家积极参与提问和分享~

0 项奖励
cong_chen
1 Copper

Re: 【专家问答】Isilon 工作引擎(Job Engine)大讲堂

请问老师,在现场更换bootdrive时。需要shutdown所更换bootdirve的节点。请问在shutdown之前,现场工程师如何判定该节点的ipclient会飘走?从而不会影响到连接到该节点的业务访问。有没有什么可以share的,谢谢!

0 项奖励
版主
版主

Re: 【专家问答】Isilon 工作引擎(Job Engine)大讲堂

微信用户“杨苏华”提问:

专家能介绍一下,isilon节点之间访问转发和onefs底层文件系统机制吗? 谢谢

0 项奖励
Roger_Wu
5 Tungsten

Re: 【专家问答】Isilon 工作引擎(Job Engine)大讲堂

想问下两位专家,工作引擎(Job Engine) 主要是做什么用的?

谢谢!

0 项奖励
dennyw1
1 Nickel

Re: 【专家问答】Isilon 工作引擎(Job Engine)大讲堂

Chen Cong您好,

有关节点ip的转移要结合该集群的网络池的具体配置来看。

首先在isilon上查看目前配置的网络池(network pool)信息,然后检查ip分配方式是否为动态(dynamic)。比如:

# isi networks list pools

Subnet          Pool            SmartConnect Zone                      Ranges Alloc

--------------- --------------- ---------------------- ---------------------- -------

subnet1         pool0                                  10.111.191.3-10.111... Static

subnet1         test                                   10.111.191.20-10.11... Dynamic

最后一列的Alloc即是该网络池的ip分配方式。

如果该节点的网络端口属于动态分配的网络池成员,那在节点关机之后这个IP会被重新分配到同一网络池中工作正常的端口上。

0 项奖励
dennyw1
1 Nickel

Re: 【专家问答】Isilon 工作引擎(Job Engine)大讲堂

Roger您好,

Isilon OneFS属于分布式文件系统架构,其特点是能够尽可能利用每个节点的运算力来并行处理以提高业务处理的效率。比如说当一块硬盘损坏,集群中的节点会协同工作来重建校验块,从而恢复数据的保护级别。而这一类需要整个集群配合的工作,需要一个分布式的作业计划/执行框架来实现。在OneFS中,我们称之为Job Engine。

常见的作业有:

FlexProtect, 在系统中有设备故障时重建数据。

AutoBalance, 平衡节点之间存储空间的用量。

SnapshotDelete, 删除系统中过期的快照以释放空间。

FSAnalyze, 定期生成文件系统报告。 客户可以通过InsightIQ来查看。

更多信息可以参考官方白皮书:

https://support.emc.com/docu51125_White-Paper:-Isilon-OneFS-Job-Engine.pdf?language=en_US

0 项奖励
Roger_Wu
5 Tungsten

Re: 【专家问答】Isilon 工作引擎(Job Engine)大讲堂

非常感谢~

0 项奖励
nicole_zhou
1 Nickel

Re: 【专家问答】Isilon 工作引擎(Job Engine)大讲堂

杨先生,您好:

您的这个问题涉及到很多isilon内部核心组件,其中机制相当复杂,这边只能做一下简单介绍:

关于访问转发的问题:

一般一个访问请求(假设是读请求)发送到和这个客户端相连的节点,那么这个节点会根据请求的文件逻辑inode号找到它真实的数据存放的地方,然后通过背端的IB网络使用RPC的调用向相关节点请求数据,相关节点再将存在自己身上的数据返回给客户端连接的节点,由该节点将各个条带化的数据组合成完整的数据并返回给客户端。

关于OneFS文件系统机制的问题:

OneFS支持从N+1到8x的保护级别。

OneFS每个block是8K,每个条带是由16个8K的block组成的。

小于或等于128K的数据会按照保护级别将相应份数的副本存放于不同的节点或相同节点不同的磁盘上。如果是大于128K的数据会先将其按128K一个条带单元分成多个数据条带单元,然后根据保护级别计算出校验条带单元,然后将所有条带单元存放置相应的磁盘上。一组条带中数据条带单元最多为16个,校验条带单元最多为4个。

现在支持的OneFS文件系统(7.1及以后)引入了磁盘池(disk pool)和节点池(node pool)的概念,同一个节点池中的节点的每6块同一类型的盘分成一个磁盘池,比如节点1-3的磁盘bay1-6为一个磁盘池,1-3的磁盘bay7-12为一个磁盘池。

保护级别应用于每个磁盘池上,也就是说假设节点池(由节点1-3bay1-12组成)的保护级别是+1,那么节点1-3的磁盘bay1-6的保护级别是+1,bay7-12也是+1,磁盘bay1-6的损坏不影响磁盘bay7-12。换句话说+1的保护级别可以容忍节点1-3磁盘bay1-6和磁盘7-12各坏一快盘。磁盘池之间互不影响。

Name                      Id  Type Prot Flags    Members              VHS   HDD Used / Size       SSD Used / Size      

------------------------------------------------------------------------------------------------------------------------

x200_12tb_24gb            9   G    +2d: SDH----- 8,10                 2       60T /   72T (83%  )     0 /     0 (n/a  )

                                   1n                                                                                  

x200_12tb_24gb:10         10  D    +2d: S------- 1-7:bay7-12          -       30T /   36T (83%  )     0 /     0 (n/a  ) <---磁盘池                                  1n                                                                                  

x200_12tb_24gb:8          8   D    +2d: S------- 1-7:bay1-6           -       30T /   36T (84%  )     0 /     0 (n/a  ) <---磁盘池

                                   1n                                                                                  

------------------------------------------------------------------------------------------------------------------------

Unprovisioned drives: none

Type: D = Disk pool, G = Group, P = Policy, T = Tier, E = Empty Group or Tier

Flags: S = System, H = VHS Hide Spare, D = VHS Deny Writes,

       T = Spillover Target, M = Manual Group, E = Evacuate Pool,

       I = Force 8k inodes, G = Gna Disabled

文件系统更多内容可以参考以下两个文档:

https://support.emc.com/docu44126_White_Paper:_EMC_Isilon_OneFS:_A_Technical_Overview.pdf?language=e...

https://support.emc.com/docu42429_White_Paper:_High_Availability_and_Data_Protection_with_EMC_isilon...

0 项奖励