分布式对象存储系统

我要开发同款
misu_lee2024年04月02日
132阅读
开发技术加密解密、netty、多线程、grpc、java
所属分类大数据、对象存储、分布式

作品详情

【项目背景】
从0到1参与分布式对象存储系统的设计与开发,提供了小文件对象存储的底层能力,具备支持任意大小对象的读写、数据强一致性、服务可扩展性高。
【项目描述】
项目分三个模块,各模块之间使用grpc进行通信。
1. meta模块 负责管理副本组元数据信息及节点服务信息,使用 raft 协议保证节点之间的数据一致性。
2. gateway模块 负责对外提供 RestFul 接口,兼容 s3 协议,将用户的请求流切包、压缩成对象包发送给 datanode 模块。
3. datanode模块 负责存储block数据及对象元信息,采用 Rocksdb 存储对象元信息,分区使用 PacificA 一致性协议实现数据冗余。
【项目结果】
该项目已在线上支持6000+QPS的请求写入,毫秒级的小文件读写速度。
【负责模块】
1. gateway模块
2. datanode模块
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论