数据采集交换平台

我要开发同款
lapland2023年06月07日
242阅读
所属分类dockerSpringCloudspringboot

作品详情

数据采集交换平台聚焦数据底层,主要实现数据的“多源汇聚”,以标准化、模块化的方式进行多源异构数据资源的采集、转化和存储;
提供采集全面、动态可配的数据同步机制,实现数据的获取、策略配置、任务配置、任务调度等数据接入功能。
支持各种主流数据源,支持丰富的ETL场景,拥有完备的监控日志确保数据交换过程的精准、高效。
平台主要包括数据资产管理、数据采集、数据交换和运维监控等功能。

责任描述:
1. 结合需求,构建系统技术架构
2. 其中包括对底层引擎(kettle)的二次封装与改写,扩充插件,并将其内置于平台。
3. 实现了分布式任务,解决了多节点任务重复,管理混乱的情况。
4. 平台实现了多种类型数据源的接入,包含RDBMS、大数据存储、http接口及文件类型等多种数据源。
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论