未解决
此帖子已超过 5 年
605 消息
2
15062
分布式文件系统发展史（动态图片，点击就能看到动态模拟）
分布式存储在大数据、云计算、虚拟化场景都有用武之地，在大部分场景还至关重要。
对于一个IT从业人员，学习分布式存储相关基础知识必不可少。
今天给大家简要介绍*nix平台下分布式文件系统的发展历史。
1、单机文件系统
用于操作系统和应用程序的本地存储。
缺点：数据无法再服务器之间共享。
典型代表：Ext2、Ext3、Ex4、NTFS、FAT、FAT32、XFS、JFS...
IO模型：
2、网络文件系统（简称：NAS）
基于现有以太网架构，实现不同服务器之间传统文件系统数据共享。
缺点：两台服务器不能同时访问修改，性能有限。
典型代表：NFS、CIFS
IO模型：
3、集群文件系统
在共享存储基础上，通过集群锁，实现不同服务器能够共用一个传统文件系统。
缺点：性能一般，扩展性很有限（小于16台服务器）。
典型代表：GFS（Redhat）、GFS2（Redhat）、OCFS（Oracle）
IO模型：
GFS、GFS2模型如下：
默认上面三种文件系统模块都位于内核里面，NFS over Inifiband可以使用kernel bypass绕开内核。
4、分布式文件系统
在传统文件系统上，通过额外模块实现数据跨服务器分布，并且自身集成raid保护功能，可以保证多台服务器同时访问、修改同一个文件系统。性能优越，扩展性很好，成本低廉。
缺点：适用场景单一，部分类型存在单点故障风险。
典型代表：lustre（Oracle）、HDFS（ASF）、gluster（Redhat）
IO模型：
主要分两大类型：一种是元数据集中管理模型；另一种是元数据分散管理模型
lustre（Oracle）
HDFS（ASF）
lustre和HDFS是元数据集中管理典型代表。实际数据分布存放在数据服务器上，元数据服务器负责IO请求调配，空间分配；非常适用于大文件存储。
元数据服务器可能成为系统扩展的瓶颈。
gluster（Redhat）
gluster是元数据分散管理模型典型代表，元数据被分散放置到所有服务器上，不存在元数据单点故障。非常适用于小文件存储。
参考资料：
http://www.stalker.com/notes/SFS.html
leecoool
89 消息
0
2012年8月21日 23:00
关于FUSE的问题，说的没错。分布式系统就是要减少系统的耦合。。。。。。。个人愚见:分布式系统所谓的性能，其实是“拿规模换性能”，只有满足一定的规模，才会有性能之说。
glusterfs确实是很依赖于网络的，所以isilon也是用infinitband互联的。。。没记错的话，EMC刚收购的xtreamio貌似也是。
低延迟，高带宽是这类系统的主流。
liulei_it
3.2K 消息
0
2012年8月21日 23:00
哈哈 EMC可以单独成立一个子公司专门给有需要的客户提供高性能的云存储。
Jun_Tan
605 消息
0
2012年8月21日 23:00
刚才说到infiniband作为分布式文件系统互连网络，可以参考下这里。
Linux + X86 + Infiniband做成的HPC。
用于分布式文件系统的服务器都是采用4x DDR或者QDR做级联。两层网络架构，最大延迟不超过5μ秒
https://computing.llnl.gov/tutorials/lc_resources/
最后说到底，性能也是用钱烧出来的。
一般企业谁舍得花钱搭建个1000多个节点的infiniband的网络。
leecoool
89 消息
0
2012年8月21日 23:00
我把三个合起来了，可能格式上不是很工整。。。。。
sunjiankirk
13 消息
0
2016年3月17日 19:00
NAS一段说"缺点：两台服务器不能同时访问修改，性能有限。"有点不解?
NAS就是要解决不同服务器共享数据问题吧.这句话是说不同服务器不能同时修改?还是说不能保证数据一致性?
数据一致性这个问题分布式文件系统GFS也保证不了吧?
Roger_Wu
4K 消息
1
2016年3月17日 21:00
NAS的两大协议NFS和CIFS都有文件锁的机制，多个用户不能同时编辑同一个文件。
可以参考论坛之前的讨论：
关于NAS文件锁疑问
个人觉得GFS (Google File System)或者GlusterFS都是在性能和数据一致性之间找取平衡甚至向某一方更加倾斜的产物，高可用性也是在互相比较时才有讨论的意义。有些场景中，客户就更注重性能而可以接受一定程度上的数据不一致风险呢？合适就好...
sunjiankirk
13 消息
0
2016年3月17日 23:00
谢谢您的回复,这么一讨论,对分布式CAP理论又有了更深的认识.
sunjiankirk
13 消息
0
2016年3月17日 23:00
分布式存储部分"主要分两大类型：一种是元数据集中管理模型；另一种是元数据分散管理模型"是不是提一下以Ceph为代表的,基于CRUSH运算数据分布,而不是基于元数据索引查找数据分布的模式
Roger_Wu
4K 消息
0
2016年3月20日 01:00
被RedHat收购了后Ceph确实越来越火热，不过这几年EMC (及VMware)也陆续推出了与其直接竞争的产品了，有机会单独开一篇介绍一下VMWare Virtual SAN (VSAN), EMC ScaleIO, Ceph, Gluster这些分布式文件系统的产品异同。