kettle任务开发和部署

我要开发同款
251阅读

作品详情

异构数据库对接,包括ClickHouse,Greenplum,postgreSQL等新型数据库产品,传统架构游刃有余;
1,不直接要求数据库有写权限,强调不通过存储过程和函数实现的ETL交互作业能力(全面在Kettle或者代码实现)
2,内存优化和SQL优化,避免锁库锁表,避免造成业务系统阻塞;
2-1,确认使用no_lock,放弃强一致性要求;
2-2,慢SQL查询准备;
2-3,表镜像,内存重构建业务;
2-4,动态判断,增量数据(not in)业务自动冗余;
3,全面构建日志,成功触发发送企业微信;失败触发重动作(需运维介入);
4,任务超时管理;
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论