点击空白处退出提示
数据异构同步系统
我要开发同款作品详情
- 使用流式数据传输,支持限流(速度控制);
- 数据同步性能指标实时监控;
- 读与写组件支持多任务运行;
- 核心同步器节点相互隔离且支持动态横向扩展;
- 支持一对多数据同步(单个 SQLServer 数据同步至多个 HBase 集群),且能保证数据的最终一致性;
- 支持可扩展的同步器组件(监听器、读取器、写入器);
- 用户友好且易于操作的前端管理平台;
- 方便的持续集成与项目发布与管理平台;
- 同环境下,各组件均为单线程的情况下可达 14000 行每秒的同步速度,多线程高于 20000 行每秒(约 10 cloumn * 10 bytes 大小每行);
实现概述: 项目主要使用 Angular、SpringBoot、Docker、ETCD、MessageQueue、SQLServer、HBase 以及公司自研的 docker 容器管理平台 Humpback、自动化 CI/CD 平台 Gensis、基于 Nginx + Redis 的网关服务 ApiGateway、基于 Mongodb 的云存储服务 CloudData、基于 Zookeeper 的配置中心 ConfigSever 等技术或服务。项目主要分 console、portal、core、master、hbaseWriter 等节点,并采用分布式部署在 docker 集群中。
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态
评论