实现了元数据管理、数据采集、数据发布、数据安全、任务调度等一系列功能离线采集支持多种数据源包括Jdbc Sql、Hive、MaxCompute、MongoDB、结构化文件等通过对Kettle插件的扩写实现了数据清洗、数据转换等功能利用xxl-job实现任务管理，单机满足日均十万次任务调度、百亿行数据采集
评论