数据工厂

我要开发同款
廿六2022年10月23日
203阅读

作品详情

离线计算工厂作为一个面向数据治理人员和数据分析师的数据处理工具,旨 在通过统一处理流程,规范化、可视化进行数据治理,降低使用门槛,提高数据 处理效率;主要分为任务开发、运维中心、控制台,数据地图四个模块,分别是做 hsql 的开 发,数据集成,spark jar 等任务开发;任务的常规运维,上下线等;项目、资源、 权限、数据源的管理等功能。是的整个数据处理链路从接入到输出形成一个完整的闭环。

软件架构:springboot+spring cloud+redis+mybatis plus+hive+airflow 本人职责:
数据源管理:接入 mysql、hive、doris 等数据源及元数据管理。
任务开发应用层:到目前为止,开发了 hsql、数据集成 mysql->hive, hive->mysql 等任务管理。
运维中心:任务运维和实例运维的所有研发。
权限管理:整个项目的权限模块。
数据地图:数仓元数据管理/血缘管理
可视化建表:自助创建hive/doris表
微服务之间的协调调用。
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论