ChunJun 基于 Flink 的数据集成工具开源项目

我要开发同款
匿名用户2022年05月13日
45阅读
开发技术Java
所属分类数据库相关
授权协议Apache-2.0

作品详情

ChunJun是一个基于Flink提供易用、稳定、高效的批流统一的数据集成工具,既可以采集静态的数据,比如MySQL,HDFS等,也可以采集实时变化的数据,比如binlog,Kafka等。同时ChunJun也是一个支持原生FlinkSql所有语法和特性的计算框架。目前ChunJun在实际应用过程中已服务了上百家客户,经过多次迭代与沉淀,积累了大量的客户案例。

ChunJun主要应用于大数据开发平台的数据同步/数据集成模块,通常采用将底层高效的同步插件和界面化的配置方式相结合的方式,使大数据开发人员可简洁、快速的完成数据同步任务开发,实现将业务数据库的数据同步至大数据存储平台,从而进行数据建模开发,以及数据开发完成后,将大数据处理好的结果数据同步至业务的应用数据库,供企业数据业务使用。

Chunjun目前包含下面这些特性:

大部分插件支持并发读写数据,可以大幅度提高读写速度;

部分插件支持失败恢复的功能,可以从失败的位置恢复任务,节约运行时间;失败恢复

关系数据库的Source插件支持间隔轮询功能,可以持续不断的采集变化的数据;间隔轮询

部分数据库支持开启Kerberos安全认证;Kerberos

可以限制source的读取速度,降低对业务数据库的影响;

可以记录sink插件写数据时产生的脏数据;

可以限制脏数据的最大数量;

支持多种运行模式;

同步任务支持执行flinksql语法的transformer操作;

sql任务支持和flinkSql自带connectors共用;

Chunjun目前支持下面这些数据库:

 DatabaseTypeSourceSinkLookupBatchSynchronizationMySQLdocdocdoc TiDB 参考mysql参考mysql Oracledocdocdoc SqlServerdocdocdoc PostgreSQLdocdocdoc DB2docdocdoc ClickHousedocdocdoc Greenplumdocdoc  KingBasedocdoc  MongoDBdocdocdoc SAPHANAdocdoc  ElasticSearch7docdocdoc FTPdocdoc  HDFSdocdoc  Streamdocdoc  Redis docdoc Hive doc  Hbasedocdocdoc Solrdocdoc  Filedoc   StarRocks doc StreamSynchronizationKafkadocdoc  EMQXdocdoc  MySQLBinlogdoc   OracleLogMinerdoc   SqlserverCDCdoc  

 

声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论