冷热分层存储系统

我要开发同款
proginn20142412352024年01月28日
74阅读
开发技术hdfs、hadoop、java
所属分类大数据

作品详情

以 HDFS 为例的分布式存储系统支持不同存储介质。由于不同文件的访问频率以及访问时间不同,使文件具有不同的文件热度。该系统通过统计 HDFS 中数据的访问记录来动态调整文件使其迁移到合适的存储介质中。负责该系统的设计及部分主体功能实现,主要包括 HDFS namenode 数据访问记录的生成,存储文件热度与访问特征的状态管理器以及基于 Ai 的调度算法的设计.

数据访问记录的生成:在namenode节点上通过不断解析日志来获取读写操作。无锁队列MpscQueue,解决高并发读写操作问题,解决单次记录发送造成的通信问题。
存储文件热度:在内存中存储每个文件的访问结果。存储元数据以及文件访问信息。记录文件热度信息,并能够按照文件热度进行排序
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论