作品简介:
可以将云外数据安全有序的接入到大数据云平台内部。采集模块支持对Mysql、Oracle、文件、文件夹、外部kafka、自定义source等进行采集，将分散在各地的数据方便快捷的采集到大数据云平台，吞吐量高达7000kb/s，同时可通过流计算组件进行实时消费处理。支持针对不同类型的采集任务，通过统一的方式来进行管理；提供数据采集任务的创建，查询，采集任务的启动与停止等功能的服务，包括：创建数据采集任务、查询采集任务状态、采集任务启动与停止、采集状态上报等功能。
项目职责:
1.以业务为核心、参与整体架构设计，制定可行计划。
2.优化采集整体吞吐量，至少上涨百分之20。
3.优化指标上报逻辑，将指标上报异步话，并实现聚合功能。
4.根据压测结果，对服务端jvm进行调优，进而提升客户端相应速度。
5.基于redis并利用刷脏技术对部分元数据实现二级缓存。
6.编写需求、技术方案、概要设计方案以及技术调研。
7.产品、研发、测试等环节推动协调。
8.日常需求评审、开发。
9.代码review。
线上问题解决跟踪。