项目名称:快速数据集成系统
项目描述:
主要将各种数据的类型的实时或者定时进行数据转换,数据类型包括mysql,oracle等关系型数据库,以及kafka和mqs中间件,及obs及ftp文件类型,fihive和hdfs和fibase大数据类型。用分布式系统,前端react主要是数据源及任务配置,adapter任务分化,各种类型插件的reader读完之后,数据缓存在中间件kafka和mqs,再从中间件把数据拿出来,writer插件写入到目标库里面,monitor参与进行插件服务器的监控。上面的是数据分发模式,还要点对点fdiworker模式,读写在一个服务器上面,通过内存做中间件缓存。我这边主要负责fihive插件,将fihive读写性能最优化以及解决客户问题及新的需求,后置处理器的保持数据的不丢失及数据能及时到客户的api接口或者指定的mqs的topic中。adapter收集所有的任务的执行状态,收集用elk链路日志,方便追踪任务问题。Fdiworker使用的内存是有限的,使用容易出现内存溢出,需要排查与修复。红区部分的网络和绿区不通,需要整改部分代码逻辑才能使用,红区的所有的fdi的