点击空白处退出提示
作品详情
统
技术选型:前端使用Echarts和Bootstrap框架进行可视化设计使用HTML5和vue组件进行页面开发;后端技术栈
MyBatis+SpringBoot+MySQL+Git+Maven。使用Kafaka与Spark进行数据清理和数据分发
1、数据解析和分发:使用Jsoup工具,获取网页数据,同时使用Spark进行数据处理,可以快速有效地对大量的污
水数据进行处理和分析;通过Kafka与Zookeeper处理Jsoup发送的数据,并传回到Scala程序;基于搭建Kafka和
Zookeeper环境下进行数据分发功能;
2、数据处理部分:用spark框架,在scala项目中,基于StructuredStreaming执行环境,进行数据处理。结合
spark和kafka可以实现大规模、高速、实时的数据处理能力。
3、信息可视化:前端页面设计基于HTML和vue组件,同时以Bootstrap为模版,通过ECharts框架完成页面的布
局和可视化展示
4、配置和管理:利用Mybatis完成对数据库的联表查询和基本的CRUD操作,使用事务控制器,保证数据操作的
安全性和原子性。提供编写配置类添加视图控制器直接登记简单页面的跳转,减少控制器类中代码量,同时污水
企业信息的配置类接口提供配置类的管理
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态
评论