气象数据解码入库系统

我要开发同款
柳随风2023年10月31日
120阅读
所属分类大数据、高可用、高并发、气象

作品详情

该项目解决了某气象局老系统存在的问题,包括:资料数据存放不统一,入库稳定性不佳,性能差,新业务数据开发周期慢等问题。系统包含了气象数据采集、气象数据统一预处理、气象数据解码、气象数据入库、入库监控统计等模块。设计包括以下特点:
● 该系统设计中才用了分布式处理解耦了数据接收预处理与解码入库。
● 通过分布式高可用设计使整个接收,预处理,解码,入库全程高可用可扩展。
● 通过的统一的气象资料定义使结构化非结构化等各种气象数据汇集到统一的中转处理中心。
● 通过对气象产品的重新定义使开发一个新的气象产品只需简单的配置并开发解码器。
● 通过业务流与日志流的分离使业务处理稳定高效,监控实时准确。
● 该系统采用了分布式高可用架构,SpringBoot 作为接收服务,解析服务,分析服务的主体框架,采用 Zookeeper 作为分布式管理器,采用 Grpc 作为各模块间的分布式通讯协议,采用 Kafaka 作为数据中转中心,采用爱可生分布式数据库存储数据,采用 Nas 存储气象资料归档数据,采用 Prometheus+grafana 监控系统,采用 Vue 作为前端开发框架,采用 WebService 对外提供气象资料查询服务。
我在该系统中担任了架构师一职,负责系统的分析和设计,及核心模块的编码。
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论