Exchangis 轻量级数据交换平台开源项目

我要开发同款
匿名用户2020年05月15日
46阅读
开发技术Java
所属分类大数据
授权协议Apache-2.0

作品详情

Exchangis是一个轻量级的、高扩展性的数据交换平台,支持对结构化及无结构化的异构数据源之间的数据传输,在应用层上具有数据权限管控、节点服务高可用和多租户资源隔离等业务特性,而在数据层上又具有传输架构多样化、模块插件化和组件低耦合等架构特点。

Exchangis的传输交换能力依赖于其底层聚合的传输引擎,其顶层对各类数据源定义统一的参数模型,每种传输引擎对参数模型进行映射配置,转化为引擎的输入模型。每聚合一种引擎,都将增加Exchangis一类特性,对某类引擎的特性强化,都是对Exchangis特性的完善。默认聚合以及强化Alibaba的DataX传输引擎。

核心特点

数据源管理以绑定项目的方式共享自己的数据源;设置数据源对外权限,控制数据的流入和流出。

多传输引擎支持传输引擎可横向扩展;当前版本完整聚合了离线批量引擎DataX、部分聚合了大数据批量导数引擎SQOOP

近实时任务管控快速抓取传输任务日志以及传输速率等信息,实时关闭任务;可根据带宽状况对任务进行动态限流

支持无结构化传输DataX框架改造,单独构建二进制流快速通道,适用于无数据转换的纯数据同步场景。

任务状态自检监控长时间运行的任务和状态异常任务,及时释放占用的资源并发出告警。

与现有的系统的对比对现有的一些数据交换工具和平台的对比:

功能模组描述ExchangisDataXSqoopDataLinkDBusUI集成便捷的管理界面和监控窗口已集成无无已集成已集成安装部署部署难易程度和第三方依赖一键部署,无依赖无依赖依赖Hadoop环境依赖Zookeeper依赖大量第三方组件数据权限管理多租户权限配置和数据源权限管控支持不支持不支持不支持支持 动态限流传输支持部分支持,无法动态调整部分支持,无法动态调整支持支持,借助Kafka数据传输无结构数据二进制传输支持,快速通道不支持不支持不支持,都是记录不支持,需要转化为统一消息格式 嵌入处理代码支持,动态编译不支持不支持不支持部分支持 传输断点恢复支持(未开源)不支持,只能重试不支持,只能重试支持支持服务高可用服务多点,故障不影响使用应用高可用,传输单点(分布式架构规划中)单点服务(开源版本)传输多点应用、传输高可用应用、传输高可用系统管理节点、资源管理支持不支持不支持支持支持
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论