RDFS 容错云存储系统开源项目

我要开发同款
匿名用户2014年06月16日
66阅读
开发技术JavaSHELL
所属分类存储系统、服务器软件
授权协议Apache

作品详情

我们开发实现了新型的基于容错编码的分布文件系统RaidDistributedFileSystem(RDFS)。创新的特色包括:高度可靠性、高可用性、低存储开销。

(1)并行编解码:显著提升了编码与解码的速率。已有的串行编码方式通常是系统的读写瓶颈。而实验显示并行优化后的编码方案不再成为系统的性能瓶颈。与串行编码相比,并行编码的加速比通常大于3。

(2)基于网络拓扑的树结构数据修复:达到低网络开销的目的。树结构重建降低了网络资源的利用率,与传统的星型修复技术相比,资源消耗降幅达20%~30%。修复速率提升了15%~20%。

(3)面向同时多数据修复的一对多修复方案:在多节点失效时有效修复数据。与逐个修复失效节点的星型结构相比,修复速率提升了30%。

(4)基于网络拓扑的线型数据修复:在部分块失效时的数据修复读取速率得到显著优化。与传统的星型修复相比,读取速率增加了50%~100%。

上述技术并不要求特别的编码方案,能够在大多数已有的编码方案下正常工作,因此具有较好的普遍适用性。

更多信息联系:xiaoqiangpei@nudt.edu.cn,xufangliang@nudt.edu.cn,wwyyjj1971@vip.sina.com,quanyongf@gmail.com

声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论