数据异构同步系统

我要开发同款
一个靠谱的程序猿2024年11月15日
412阅读

作品详情

描述: 该项目旨在为公司的开发人员提供一个通用的、在线且实时的数据异构同步平台,目前的主要实现为将 SQLServer 中的数据在线实时或离线同步至 HBase 之中。在平台中,用户只需要进行简单的配置,便可实现数据同步的功能。除此之外,整个平台的主要功能与特点还包括:

- 使用流式数据传输,支持限流(速度控制);
- 数据同步性能指标实时监控;
- 读与写组件支持多任务运行;
- 核心同步器节点相互隔离且支持动态横向扩展;
- 支持一对多数据同步(单个 SQLServer 数据同步至多个 HBase 集群),且能保证数据的最终一致性;
- 支持可扩展的同步器组件(监听器、读取器、写入器);
- 用户友好且易于操作的前端管理平台;
- 方便的持续集成与项目发布与管理平台;
- 同环境下,各组件均为单线程的情况下可达 14000 行每秒的同步速度,多线程高于 20000 行每秒(约 10 cloumn * 10 bytes 大小每行);

实现概述: 项目主要使用 Angular、SpringBoot、Docker、ETCD、MessageQueue、SQLServer、HBase 以及公司自研的 docker 容器管理平台 Humpback、自动化 CI/CD 平台 Gensis、基于 Nginx + Redis 的网关服务 ApiGateway、基于 Mongodb 的云存储服务 CloudData、基于 Zookeeper 的配置中心 ConfigSever 等技术或服务。项目主要分 console、portal、core、master、hbaseWriter 等节点,并采用分布式部署在 docker 集群中。
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论