元数据管理工具

我要开发同款
Tina7772023年04月07日
365阅读
开发技术Java
所属分类RedisMySQL、Quartz、Kafka、SpringBoot

作品详情

元数据管理作为数据治理平台的核心功能,采集汇总企业系统数据属性的信息,帮助各行各业用户获得更好的数据洞察力,通过元数据之间的关系和影响挖掘隐藏在资源中的价值。元数据采集与大数据平台有深度关联,系统通过数据源管理配置实现与大数据平台深度集成,包括单不限于MYSQL、ORACLE、HANA、HADOOP、BW等多种数据源。
现有模块:元数据、数据质量、数据标准
我负责模块描述:
● 完成对hpx、hive、kudu、bp0、bpx、mysql、oracle等数据源的采集工作
● 开发各个数据源对应的适配器项目以便支持采集不同数据源下的不同资源;
● 使用quartz完成元数据即时、定时采集任务;
● 使用Atlas RestAPI 对元数据进行存储及血缘分析;
● 消费者监控kafka消息队列不同topic消息进行自动消费,多个topic业务不同,包括元数据推送服务、创建atlas对象、采集版本的保存等业务;
● 数据质量规则管理、模型配置、任务管理、检测结果、报告管理功能模块开发;
● 数据标准业务分类管理、业务术语管理、数据元管理、主数据/指标/参考数据管理模块的开发;
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论