数据治理

我要开发同款
hong03242023年10月18日
45阅读
所属分类Hbase、Kafka、大数据、数据治理

作品详情

1、负责公司数据治理平台设计,解决从各类数据中提取主题数据、关系数据、进行数据合并处理
2、设计整体流程,将治理拆分为多阶段任务:拆分数据任务、合并数据任务、数据入库任务
3、设计拆分任务的配置信息,灵活解决各类数据提取数据目标配置
4、利用Hbase存储拆分结果数据,利用Kafka进行通向,两任务可流式处理数据
5、提出以独立jar的加载模式,利用xxl-job任务调度,实现在不关闭服务情况下动态加载、卸载治理任务。另更有利于项目的扩展
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论