自研ETL工具

我要开发同款
bonamama2024年04月02日
93阅读
开发技术maven、spring、springmvc、postgres、java

作品详情

此ETL工具的特点是速度很快(kettle需要同步3个小时的数据这个工具只需要半个小时就能全同步完),分组管理比较灵活(适用于当时公司的诉求),缺点是支持的数据库字段类型不够全面,只支持最常用的,JSON等复杂类型无法处理
项目分为三个核心模块
1. 分组模块,对调度任务进行定义以及分类
2. 调度模块,每个分组会绑定一个调度任务,调度任务执行具体的定时任务,包含了corn表达式的解析功能以及定时执行任务的功能,其特点是上一个调度任务未执行完,当前调度任务会等到上个调度任务执行完之后再执行
3. SQL解析工具,此ETL工具的特点就是根据SQL来进行数据同步的,所以对源DB表的查询并解析成目标DB的insert sql是最核心功能
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论