纵腾数据中台系统

我要开发同款
咖啡加盐2022年12月14日
137阅读
所属分类 PC网站

作品详情

纵腾数据中台希望搭建一个平台,全公司数据共享,抽象,复用,为公司各个部门提供自助式的数据运营工具。公司内部由于各个业务线发展不均衡,各自都有独立的数据处理架构,导致共享数据非常困难。通过数据中台的数据汇聚、数据开发模块建立数字化运营的数据能力。所以整个数据中台的搭建过程是一个相对漫长的过程。目前迭代主要包括系统权限系统,基础配置系统,元数据管理系统,指标管理系统,即系分析系统等模块。 本人主要参与了元数据管理系统和即系分析系统。元数据管理系统主要包括数据源管理,项目管理,元数据采集,数据地图,数据建模等模块。即系分析系统主要包括数据源管理,文件上传,数据预览,自助倒数等模块。
技术框架:
1.核心框架 springboot2,安全框架 cas+token,RPC 框架 feign.
2.数据库 mysql ,doris,hdfs(hadoop),hive ,持久层 mybatisplus .
3.构建工具 maven ,版本工具 git.
4.服务注册发现/配置管理 nacos/apollo.
5.缓存使用 redis.
6.消息中间件使用的是 rabbitmq.
7.定时任务 xxl-job.
8. 大数据任务调度器 海豚dolphinscheduler
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论