污染源动态活动水平库

我要开发同款
proginn17331179012023年12月03日
72阅读
开发技术postgres、tidb、elasticsearch、hadoop、java

作品详情

介绍:
污染源动态活动水平库旨在为陕西省西安市生态环保局打造一个数据融合,数据分析、治理、监控的平台。打通西安市各区县间数据不完整,数据实时性差、各部分间数据流通不畅的问题,为西安市生态环保局提供可视化的数据分析,为环境治理工作开展提供重要的数据依据。
1.【项目模块】:
1)数据接入模块:http请求、tcp/udp接入,jdbc连接、excel导入等
2)数据处理模块:接入的数据入库后通过sql查询过滤方式等清晰,过滤,分组,聚合等形成数据集,数据自资产
3)数据分析模块:对整理的数据进行分析,展示
2.【我的职责】:
1)负责整个数据存储,数据分析平台的搭建
2)动态活动水平库技术架构
3)数据接入、数据清洗的负责人
3.痛点难点:
1.数据的多样化:目前西安市环保部分的数据多样化存储在各个部门的不同系统中,需要一套清晰的数据标准及接入流程使得各部分间的数据能够实时、准确地汇入到动态活动水平库中,对此,我带领小组成员为期两个月的时间,主要调查,分析各部门间的数据录入情况,各部门的系统数据情况,数据的更新周周期情况,数据的真实可靠情况等。指制定了一套专门针对不同时期平台的数据接入模块,适配了当时情况下的大部分数据的接入
3.数据量大:空气站、水站这种数据量大,数据实时性高的数据,传统的数据库根本承载不了,对此,在我的带领下,构建了一台基于大数据模型的数据存储机制及数据清洗分析机制,使得数据能够准确存储切能实时查询分析。
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论