Hadoop-PDL 基于组合设计工具 PBD 的数据布局 PDL开源项目

我要开发同款
匿名用户2021年09月09日
112阅读
开发技术Java
所属分类大数据、数据处理
授权协议Apache

作品详情

该项目提出了一种有效的基于组合设计工具PBD(PairwiseBlockDesign)的数据布局PDL,以加快混合EC分布式存储系统中单节点故障的数据修复。

由于减少了机架间的通信量,并在修复过程中实现了读写I/O的负载平衡,因此它实现了几乎均匀的数据分布以及更高的修复性能。我们设计了数据的放置策略以及相应的故障恢复方案,并且在Hadoop3.1.1中实现了它们。

声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论