DM数据处理ETL工具开发

我要开发同款
松山湖中2023年02月08日
227阅读
开发技术java
所属分类数据处理、ETL、IT

作品详情

一、功能模块介绍
1、系统总共分为五个模块,分别是首页、映射、任务、监控、管理。
其中首页主要负责构建业务源与目标源,业务源负责连接取数系统,目标源负责连接送数系统,而业务源与目标源主要通过适配器模式与DM平台形成关联。
同时在首页中需要完成业务源与目标源的关联
2、映射模块主要负责配置构建业务源中字段与目标源中字段的关联,以及配置字段之间的转换规则
3、任务模块则主要负责构建任务,来执行前面的配置,将业务系统中的数据取到DM平台,根据定义的规则进行转换并将转换完成的数据送到目标系统中。包括任务的定义,定时的配置,预警的配置等一系列信息
4、监控模块则主要负责记录任务执行情况,及对应执行实例的情况。
5、管理模块主要包含用户管理、角色管理、权限管理、适配器管理、后台日志查看等功能
二、设计技术栈及本人做的内容
1、整个后端设计的技术栈包含spring、SpringBoot、mybatis、mysql、Oracle、elasticsearch、redis、RocketMQ、quartz、xxljob
2、此项目从2018年至今我一直参与其中,编写的功能代码设计到所有模块,同时针对上述技术栈也都能熟练运用。除了后端开发外,还使用react处理部分前端问题。
3、可以熟练在linux进行前后端部署等工作
三、遇到的难点
1、针对大数据量时,处理起来比较慢?
使用profile实时监控任务数据,分析出具体运行比较慢的代码,针对性的进行优化处理
将处理步骤解耦,并合理使用多线程与队列,同时在多个线程运行。同时合理运用hashmap等数据结构。
2、数据处理规则少?
根据不同项目反馈结果,先后新增了自动映射、普通成员映射、规则映射、一对多映射等多样化处理,到目前为止几乎涵盖了所有可能需要处理的情况
四、工作成果
截止目前,DM工具以成功在包括央视网、万达商管、牧原预算合并、碧桂园管报等60+项目成功上线运行

声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论