京东大数据权限系统

我要开发同款
is_codeing2023年02月21日
314阅读
所属分类IT零售电商

作品详情

项目介绍:
为应对国家对大数据权限管理的各项法律发规、标准要求。满足用户与 100 万数据
表的亿万条权限策略、满足微秒级的性能要求和跨域一致性要求。实现数据使用,数
据共享过程中管控粒度更细,管控标准更严格,管控方式可灵活,同时提升平台功能
的完整性。满足“集市/业务线/账号”三级数据隔离方案、满足库、表、行、列、HDFS、
UDF 等多种权限控制、满足对数据的读、写、执行等权限的精细化管理. 满足业务灵活
多变的数据管控需求。推动了京东大数据数据权限体系升级,达到节约数据存储,提
升权限数据使用时效性,保障数据安全性的目的。开展了数据权限管理系统项目。
核心模块:
1.授权模块:
a) Hive 权限管理模块:对库,表的读、写、修改、删除权限进行管理
b) Hdfs 权限管理模块:对 hdfs 目录及文件的读、写、执行、递归管理
c) UDF 权限管理模块:对 UDF 函数的维护与使用权限进行管理
d) 账号权限模块:以账号为维度对,hive 库表,hdfs,udf 进行管理
e) 授权日志模块:对授权过程进行统一的记录,能够实时追溯授权过程
f) 数据套餐申请:通过申请拥有生产账号权限而拥有生产账号下所有资源的权限
g) 库表权限申请:账号原有的权限资源不能满足需求,对账号追加所需资源的权限
2.同步服务模块:将授权模块的 mysql 授权数据实时的同步到大数据集群底层,同时
同步至 es 满足其他系统对权限系统数据的使用。
技术架构:
前端:react+antd
后端:Springboot+mybatis-plus+Hadoop+hive+es
工作内容:
1.参与项目的关系表的设计
2.参与所用技术的框架选择调研
3.Hive 权限管理模块,hdfs 权限管理模块,账号权限管理模块,授权日志模块的功能
实现
4.线上问题排查与解决,用户反馈的问题的解决
5.项目版本更新发布部署
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论