博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
分布式文件系统之GPFS
阅读量:5847 次
发布时间:2019-06-18

本文共 1136 字,大约阅读时间需要 3 分钟。

    GPFS是IBM公司通过完善和发展其Tiger Shark文件系统发展而来。GPFS通过共享磁盘结构来实现其强大的扩展性。一个GPFS系统由许多集群节点组成,GPFS文件系统和应用程序在上面运行。这些节点通过交互网络架构(Switch Fabric)网络连接磁盘。所有节点对所有磁盘拥有相同的访问权。文件被分割存储在文件系统中所有的磁盘上。这种条带化的存储不仅能够保证各个磁盘负载均衡,还能够使系统获得最高的吞吐量。

    GPFS文件系统架构图如下:

   

        将文件系统节点和共享磁盘连接起来的交互网络架构(Switch Fabric)可能包含SAN网络,例如FC和iSCSI。另外,个人本地磁盘也可以挂载到一些I/O节点,文件系统节点通过一个运行在通信网络上的软件层来对这些磁盘进行访问,例如IBM的VSD(virtual share disk),其运行在SP网络上,就是这样的一个软件层。

       来自多个节点的对磁盘进行的读和写需要进行同步,否则用户数据和元数据将会崩溃。GPFS采用分布式锁机制来同步对磁盘的访问。为了实现系统的高吞吐量,大文件需要进行分块,GPFS没有依赖额外逻辑卷管理层(logical volume manager (LVM) layer)来实现分块,而是自己实现了分块机制。通过实现分块机制,GPFS获得了对容错和负载均衡的控制。(一些LVM也有类似的功能,但是他们不可能获得网络的拓扑)。

    GPFS采用256KB(也可以是16KB-1MB)的大数据块作为磁盘块大小。当某个单线程的应用程序需要读一个文件时,GPFS采用prefetch机制预先将文件读到本地IO,后端采用并行IO的方式,最大限度的发挥带宽和磁盘的优势将文件提取到本地。同样,不再需要的脏数据缓存也采用并行IO的方式写到磁盘。GPFS能够识别顺序,反序等读写模式,对于不常见的读写模式,GPFS提供接口传递prefetch命令给文件系统。

    GPFS也是一种日志文件系统,为不同节点建立各自独立的日志。日志中记录MetaData的分布,一旦节点发生故障,可以保证快速恢复数据GPFS 通过一套复杂的信令管理机制提供数据一致性,通过这套机制允许任意节点通过各自独立的路径到达同一个文件。即使节点无法正常工作, GPFS 也可以找到其它的路径。GPFS在数据保护方面采用数据复制的方式进行,GPFS实现了一个较为简单的软件RAID模式,支持数据块级别的文件复制。

参考:

1.http://www.it165.net/admin/html/201307/1485.html

2.GPFS: A Shared-Disk File System for Large Computing Clusters

 

你可能感兴趣的文章
linux如何查看正在使用的端口
查看>>
python使用遇到的问题
查看>>
Web版PACS开发纪要一:关闭动态库中创建的线程
查看>>
熬得住,出众;熬不住,出局!
查看>>
KMP子字符串查找算法分析与实现
查看>>
Android通过Aidl调用Service实例
查看>>
找回使用Eclipse删除的文件
查看>>
rabbitmq 消息系统 消息队列
查看>>
vBulletin系统曝SQL注入漏洞 安全狗可直接防御
查看>>
Intellij IDEA神器居然还有这些小技巧
查看>>
HBase基本原理
查看>>
php使用qr生成二维码
查看>>
常用的软件
查看>>
集成spring3、hibernate4、junit
查看>>
eclipse常用快捷键
查看>>
AWK测试
查看>>
apache tomcat mod_proxy负载均衡
查看>>
php5.6.3 + apache2.4.25 安装配置
查看>>
Velocity用法记录
查看>>
通过 ulimit 改善系统性能
查看>>