kafka集群消息队列平台

我要开发同款
192阅读
所属分类springboot、kafka、队列

作品详情

核心开发人员,我参与了Kafka消息队列平台的架构设计、开发和测试工作。该平台为公司提供了可靠的基于消息的异步通信服务,实现了不同应用之间的消息收发,降低了开发成本,便于维护。底层系统根据业务需求,实现了消息队列的弹性扩展,对上层业务无感知。

项目职责和功能模块:
1. 集群扩展和底层包封装:设计和实现了集群的弹性扩展机制,根据业务需求调整消息队列的队列数量和存储容量,并封装了底层包,简化上层业务的开发工作。
2. 集群指标收集和预警通知:实现了集群指标的收集和监控,通过健康检查和预警通知功能,保证集群的稳定运行。
3. 用户接入和管理中心:设计和实现了用户申请接入流程,包括系统审核和分配APPID。同时开发了管理中心,提供集群状态查看、topic管理、集群灾备管理等功能。
4. 数据收集和分析展示:收集用户连接数据、消息流量数据和消费记录,并提供数据分析和展示,包括集群JMX指标展示、topic历史消息展示和用户数据分析展示。
5. 堆积报警和健康检查:实现了消息堆积的报警功能,并通过健康检查保证集群的健康状态。

使用技术和工具:
● 编程语言和框架:Java, Spring Boot, MyBatis, Quartz, Kafka。
● 缓存:Redis用于缓存数据。
● 数据库:使用MySQL和Elasticsearch进行数据存储和查询。
● 可视化展示:使用Echarts和Grafana实现数据的可视化展示。
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论