智慧图书馆数据平台

我要开发同款
POETIZE2023年10月07日
136阅读
所属分类微服务MysqlRedis、Spring、SpringBoot大数据

作品详情

智慧图书馆数据平台,具备内外多源数据的汇聚整合、提纯加工、数据管理和数据服务的能力,形成能方便支撑数据应用的图书馆数据体系。

项目技术:
微服务组件:Nacos(服务发现),Dubbo(RPC远程调用),Apisix(网关),Spring Boot,Mybatis Plus,Redis,MySQL,Vue.js
大数据组件:DataX(离线数据同步),Hdfs(分布式文件系统),Hive(数仓工具),Spark(离线数据处理),Flink(实时数据同步处理),Powerjob(分布式任务调度)

责任描述:
1. 数据集成模块:包含数据源管理与数据同步管理。使用DataX对接各个数据源,将Mysql、Oracle、PostgreSQL、SQLServer数据同步到中台的Hdfs,管理中台所有数据同步任务。
2. 数据资产模块:包含元数据采集与元数据管理,将数据集成各个数据源的元数据定时采集到中台。还包含数据标准和数据字典模块,将不同数据源的数据进行标准化统一管理。
3. 数据ETL模块。目前中台数据主要是离线处理,数据集成定时采集的数据将通过Spark进行离线处理,将数据处理聚合,然后通过数据网关模块提供给外界。
4. 基础服务平台:包含消息服务,文件服务,分布式任务调度服务。消息模块主要接收MQ的失败报警消息,然后通过微信和邮箱发送给相关人员。文件模块负责中台的文件管理,底层使用Minio进行文件存储。任务调度模块负责整个中台的定时任务,调度数据集成、元数据采集、数据ETL的任务,使用的是Powerjob开源框架。
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论