东飞儿2022年10月11日
93阅读

作品详情

对HDFS中namenode、datanode两大模块进行适配,对原生hadoop中的这两个模块进行适配重构,对于namenode模块,将原生hadoop元数据处理流程都进行重写,直接对接分布式文件系统创建出来的文件,所以namenode将不会存在复杂的元数据记录文件,对于datanode,修改之前写数据的方式,直接将数据写到对应的分布式文件系统中
系统难点在于处理原生hadoop中权限控制、token处理等问题,而且原生hadoop之上会有很多上层应用,要适配这些应用都可以正常使用,有较大的难度
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论