数据中台

我要开发同款
宿云2023年03月19日
101阅读
所属分类 PC网站IT政府文化

作品详情

项目描述:为解决数据中心大量的、杂乱无章的以及不完整的基础数据,基于分布式微服务搭建的数据中台解决了大批量基础数据不完整、杂乱无章的问题并能根据用户需求对这些数据进行分析与处理。为用户提供数据可视化、数据清洗、数据处理、数据维护、数据共享等功能业务。
项目所用技术:SpringBoot+SpringCloud+SpringCloudAlibaba+Nacos+JDK1.8+Maven+Mysql+Oracle+MyBatisPlus+Redis+SSO+Elasticsearch+Easy-Es+GoFastDFS+Knife4j+Git。
项目业绩:
1.实现将数据以树列表的形式直观展现出来并实现用户对数据进行可视化维护操作以及对数据进行统计查询生成各种统计模型图等功能。
2.实现对数据进行检索与组装,生成XML或JSON格式的文件并压缩成ZIP文件,使用IO流将文件导出到指定路径,同时根据用户导入的ZIP文件中的XML或JSON格式的文件进行解析,将解析的数据进行入库操作以及定时进行导入导出文件数据等功能。
3.基于RabbitMQ实现了数据中心想下级节点以及下级节点向其子节点传输共享数据,数据中心实时监控子节点的健康信息以及子节点接收到数据中心传输的数据后产生的回执信息等功能。
4.基于MybatisPlus的多数据源实现动态数据源切换,根据数据库IP、端口、账号、密码以及类型进行数据源连接配置并进行连接测试,实现动态切换数据源,数据源信息查询与维护等功能。
5.根据用户提供的数据源信息或者SMB、FTP等共享文件夹的连接信息对非结构化数据进行查询,实现获取非结构化数据的信息以及数据文件本身,统一上传到GoFastDFS文件服务器中并返回文件访问地址,将文件信息以及文件服务器上的文件访问地址抽取到ElasticSearch中。
6.针对ElasticSearch中的数据进行条件检索,根据用户调用检索功能所传入的参数规则,实现对数据进行检索,包括高亮、排序、分类等功能。
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论