Flink大数据实时计算服务

我要开发同款
时间的时2024年06月12日
48阅读
开发技术hdfs、hadoop、kafka、javaredis
所属分类数据处理、大数据

作品详情

技术栈:Flink,Flink CDC,Kafka,Redis,PolarDB
随着公司越来越多的业务场景对实时性要求越来越高,传统的Java程序已无法满足业务需求,需要采用Flink实时计算框架来对业务进行支撑。Flink大数据实时计算服务内部包含了多个Flink任务流,分别处理多个不同的业务流程。并且结合Flink cdc服务进行数据同步,使得业务处理更加高效、便捷。
我在该项目中的职责:
1.构建Flink实时计算项目框架,搭建整体服务架构,包括Flink项目工程样例创建,数据库工具类、Kafka工具类、Redis工具类、日期工具类等。
2.java程序改造Flink,某些新的功能需求使用Flink实现,具体的服务有:
(1)电站潮流图秒级计算服务,实时接收设备上传的秒级测点数据,每10s一个窗口进行数据计算并推送结果给前端;
(2)通信设备时区实时纠正服务,实时接收设备升级和时区设置成功指令数据,判断是否和电站时区一致,若不一致则下发时区指令进行通信设备时区纠正;
(3)电站设备实时同步服务,实时接收Flink cdc服务推送的电站、设备相关表的变更数据,同步写入到ES索引中,供阳光云Web及App页面数据查询;
(4)flink-sungrow-cdc服务,使用Flink cdc技术实时监听核心业务库(PolarDB)变更数据,并根据指定规则将不同表的数据发送到不同kafka队列中,供其他业务使用;
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论