农业部全国12316平台大数据中心

我要开发同款
Lanceright2021年07月04日
643阅读

作品详情

1.项目描述:汇总全国各省12316平台数据,进行数据挖掘、清洗、统计和展示,支持高并发数据接收处理和秒级数据状态刷新。 使用的技术、框架:springboot, RabbitMQ, mybatis, echarts, layui, tomcat, oracle, jquery等。

2.项目职责:

◇ 负责项目架构设计,使用spring boot 和springMVC,持久层使用mybatis,数据展示功能使用Redis进行缓存,监听数据变化实时刷新,提高读取性能。

◇ 功能模块微服务化,使用Zookeeper做配置管理和命名服务,互相通过JsonRPC进行调用。

◇ 负责设计平台数据接收服务,使用CXF框架提供工单、案例、专家信息等数据上报接口,接收各省12316平台上报实时数据。

◇ 负责设计平台数据清洗服务,对接收的数据进行清洗,去除信息错误或缺失、包含非法字符等无效数据,并对数据进行分类,打上个性标签。

◇ 负责数据展示服务,根据客户需求进行页面布局设计,基于Echarts图表,根据不同的统计数据特性使用了折线图、柱状图、饼图、地图、雷达图等进行实时展示。

◇ 负责高性能和高可用性设计,初期农业部只提供一个限制了最大连接数的远程共享Oracle数据库,和一台应用服务器,并且由于各省上报数据在早晨和下午有两个高并发时段,所以使用了RabbitMQ队列进行削峰处理,减轻数据库并发写入压力,这样做同时也为将来各省业务量增长时,方便进行横向扩容。

◇ 指导对JVM垃圾回收性能进行调优,打开回收日志,根据日志进行

3.项目业绩:完成了农业部12316中心对各省12316平台的数据收集,以有限的生产资源满足了客户需求,并且提供了一定的升级扩展能力。
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论