实时计算平台

我要开发同款
宇哥1232023年02月20日
210阅读

作品详情

1.功能模块
实时计算平台基于Flink计算引擎搭建,可实时处理业务数据、日志数据等,为公司提供一站式实时任务开发平台,为各业务方提供实时计算数据支持,提供计算任务实时监控数据查看。通过K8s进行任务调度,优化了K8s调度器,提高任务调度效率及允许稳定度。
2.负责部分
- 负责Flink实时任务公共模块开发:基于Flink API 与FlinkConnector封装Source、Sink等算子,屏蔽Flink任务和外部存储系统如MySQL、HDFS、HBase、ES等的交互过程。
- 开发通用的Flink UDF函数,扩展了Flink SQL的表达能力。
- 集成FlinkCDC,缩短数据源采集流程,实现业务数据全、增量接入能力。自定义checkpoint触发策略。
- 负责开发Flink作业的管理功能,如:作业创建、作业配置修改、作业调试与启停、任务失败自动恢复、作业运行状态监控与告警等。
- 引入K8s作为集群资源管理,实现了Flink on K8s的部署方式,并通过在集群部署Prometheus、Grafana、log-pilot等容器实现Flink作业的监控告警、指标可视化、日志收集等功能
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论