后台系统采用微服务架构,后台基本框架springcloudalibaba + springboot + mybatis,kafka做为消息中间件,zookeeper作为kafka注册中心,flink和hive作为数据处理引擎,hive提供批量计算,flink提供流处理。mysql、hdfs、和mysql和达梦做为数据库存储,git管理代码,maven做项目管理、nexus作为maven的远程私有库,redis作为分布式缓存,jenkins实现自动化部署。k8s对docker容器进行管理。
解决技术难题:发现datax的bug,对flinkx做二次开发集成到数据中台,实现异构数据源之间的数据同步。声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态
评论