技术栈:Flink,Flink CDC,Kafka,Redis,PolarDB
随着公司越来越多的业务场景对实时性要求越来越高,传统的Java程序已无法满足业务需求,需要采用Flink实时计算框架来对业务进行支撑。Flink大数据实时计算服务内部包含了多个Flink任务流,分别处理多个不同的业务流程。并且结合Flink cdc服务进行数据同步,使得业务处理更加高效、便捷。
我在该项目中的职责:
1.构建Flink实时计算项目框架,搭建整体服务架构,包括Flink项目工程样例创建,数据库工具类、Kafka工具类、Redis工具类、日期工具类等。
2.java程序改造Flink,某些新的功能需求使用Flink实现,具体的服务有:
(1)电站潮流图秒级计算服务,实时接收设备上传的秒级测点数据,每10s一个窗口进行数据计算并推送结果给前端;
(2)通信设备时区实时纠正服务,实时接收设备升级和时区设置成功指令数据,判断是否和电站时区一致,若不一致则下发时区指令进行通信设备时区纠正;
(3)电站设备实时同步服务,实时接收Flink cdc服务推送的电站、设备相关表的变更数据,同步写入到ES索引中,