项目分为数据源配置、订阅表配置、计划管理、数据同步等模块；实现同数据库类型之间的数据实时同步；
本人负责数据源配置、计划管理、数据同步模块的开发；
前端采用vue-element框架，后端使用ssh；中间件使用zookeeper、kafka;
数据同步原理：分析数据库日志或监听数据库监听器；
难点：数据同步断点定位、大字段（clob、blob）的同步；
解决办法：重复读取末尾文件并排除已同步数据，大字段sql按数据行拼接