1.大数据能力平台是根据当下的大数据的一套理论体系所设计出来。其中包含了数据目录系统
、数据接入、数据资产、数据治理、数据开发、数据共享、以及数据可视化和数据安全8个子系统组成。目前已经完成1.0的版本。
2.工作职责:参与接入平台和数据资产平台的系统开发和维护工作，同时会参与部分需求方面的工作。接入平台主要功能是为了可以接入外部数据源最终落入本地数据存储系统。资产平台可对进来的数据进行资产注册。对于接入平台来说主要的数据采集技术是通过flume来实现。服务端实现通过spring mybatis。数据接入功能实现了对mysql 、ftp、 MQ、 kafka、 es 、hive、hdfs的数据传输