电力大数据平台

我要开发同款
籍策襄2023年06月25日
111阅读
所属分类电力大数据、 PC网站webapp

作品详情

完成身份认证与用户鉴权、电力设备故障检测、设备故障画像、用户用电分析等主要功能模块,实现对电力设备相
关数据的存储、更新和管理,并以此为基础实现基于机器学习技术的智能化人机交互,智能地检测设备故障状态,根据设备的综合信息构建电力设备的用户画像,并根据数据分析人员的需求来显示具体信息。该项目基于Hadoop、Flink 与Hudi 等大数据技术框架,结合Vue、SpringCloud 等Web 应用技术框架,采用分布式、微服务、流批一体、湖仓一体的技术架构,探索设计与实现一个集多源异构数据存储、实时计算、数据分析、权限管理于一体的大数据平台原型,为企业人员提供商务报表、数据可视化、机器学习、数据分析等多种数据支持服务,并为平台运维人员提供基于RBAC 模型的后台权限管理系统。
本人在该项目中的工作包括:
1.搭建基于Docker 的分布式大数据集群,,在各个结点安装Hadoop、Zookeeper、Flume、Kafka、Flink、Hudi 等大数据组件以及MySQL、Redis 等Web 应用部署所需的服务,搭建Hadoop 集群、Zookeeper 集群、Kafka 集群,集群的三个结点之间能够互相免密登录访问。
2.搭建基于Vue 和Vite 的Web 前端的开发环境,引入Arco Design、Echarts 等组件库,完成各模块页面的开发和数据的可视化,运用Websocket 技术实现数据的实时显示。
3.搭建基于SpringCloud 和Flask 的Web 后端开发环境,实现基于Nacos、Gateway、Feign 的微服务架构,整合基于PyTorch 的机器学习模块,编写数据接口,与Web 前端模块、大数据平台模块做交互。
4.搭建基于Flink 和Hudi 的实时数据仓库,实现基于FlinkCDC、Flume、Kafka 的ETL 过程,在FlinkSQL 客户端编写SQL 语句得到各种统计指标的流式计算结果。
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论