【项目背景】从0到1参与分布式对象存储系统的设计与开发,提供了小文件对象存储的底层能力,具备支持任意大小对象的读写、数据强一致性、服务可扩展性高。【项目描述】项目分三个模块,各模块之间使用grpc进行通信。1. meta模块 负责管理副本组元数据信息及节点服务信息,使用 raft 协议保证节点之间的数据一致性。2. gateway模块 负责对外提供 RestFul 接口,兼容 s3 协议,将用户的请求流切包、压缩成对象包发送给 datanode 模块。3. datanode模块 负责存储block数据及对象元信息,采用 Rocksdb 存储对象元信息,分区使用 PacificA 一致性协议实现数据冗余。【项目结果】该项目已在线上支持6000+QPS的请求写入,毫秒级的小文件读写速度。 【负责模块】1. gateway模块2. datanode模块声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!

下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态
评论