● 项目基本构成：数据采集平台+数据共享平台+数据质量平台（每个平台外挂个基本用户权限系统）
● 项目技术点：spring微服务架构+springcloud的解决方案+关系库（Mysql+Sqlserver+Orcale+Db2+Pgsql）+非关系库（redis,mongodb，hive，hbase）
datax（数据同步重要组件）+任务调度（Apache dolphinscheduler分布式调度服务）
● 主要功能模块：
数据采集平台（重点项目，侧重在数据同步，和任务调度）：
1）数据源管理,
a)主要是各种关系库和和mongodb，hive，hbase，和文本文件之间实现二维表的数据同步
b) 文件同步（hdfs，sftp，ftp）实现文件源信息配置，通过编排同步任务，经过调度框架，实现文件同步
3) 通过webservice和restful
获取相关接口数据，编排编排同步任务，经过调度框架，实现接口数据放到目标源数据同步
2）编排管理，实现拖拉拽，在可视化界面配置数据源同步任务，也是配置同步任务，与调度任务。
3）调度管理，我们这使用时一个Apache dolphinscheduler
这个国产任务调度框架，相当不错，轻量级的，实现我们的任务调度。
4)执行日志管理和日志分析 对每个任务线程做得日志分析，能够在可视化界面看到，各种任务执行的详情。
● 数据共享平台：提供共享数据平台（这个块主要是通过微服务相关组件，来实现并发处理，和上面的采集平台侧重点不同）
1）数据源管理,这个相对简单点主要正对关系库， 定时测试连通性。
2）编排管理，实现拖拉拽，在可视化界面配置数据源共享配置任务，这个主要搭建
3）申请发布api服务，通过配置数据源信息，和动态配置接口信息发布成api接口，能够实现动态获取数据源信息的api服务
（这块就是这个子项目的重点，架构上，我们考虑并发的问题，就采用微服务相关解决方案。）
4)执行日志管理和日志分析 对任务线程做得日志分析，能够在可视化界面看到，各种任务执行的详情。
● 数据验证平台：数据质量平台（其实就是正对数据数据的过滤）
1）数据源管理,这个和数据共享平台一样，主要正对关系库， 定时测试连通性。
2）编排管理，实现拖拉拽，在可视化界面配置数据源质量检测，数据过滤任务。
3）调度管理，实现拖拉拽，在可视化界面配置数据源编排任务各种组合，实现数据调度。
4)执行日志管理和日志分析 对任务线程做得日志分析，能够在可视化界面看到，各种任务执行的详情。
● 责任描述：
个人职能：
1 担任开发小组负责人。带领开发小组满足产品设计需求的程序。在开发过程中，需求澄清，负责核心模块技术架构，核心功能开发，小组开发人员编码的代码走读，开发设计文档概要设计编写，程序使用文档设计编写。
2 和成都中科院开发小组协调相关开发事宜。以及相关交互事宜。