后台系统采用微服务架构,后台基本框架springcloudalibaba + springboot + mybatis,kafka做为消息中间件,zookeeper作为kafka注册中心,flink和hive作为数据处理引擎,hive提供批量计算,flink提供流处理。mysql、hdfs、和mysql和达梦做为数据库存储,git管理代码,maven做项目管理、nexus作为maven的远程私有库,redis作为分布式缓存,jenkins实现自动化部署。k8s对docker容器进行管理。
解决技术难题:发现datax的bug,对flinkx做二次开发集成到数据中台,实现异构数据源之间的数据同步。