1、基于书籍研究Spark特性，完成：对于SparkCore提供的算子研究和SparkSQL中DataFrame和DateDataSet结构的研究。完成：最受欢迎的电影（TOP10），观看人数最多的电影，各个类型TOP10电影，所有电影中平均得分最高的电影，多次排序所有电影中特定年龄群最喜爱电影，最受男性和女性喜爱的电影TOP10等需求 2、数据源使用Java随机生成业务数据，包括用户信息，电影信息，评分信息等 3、通过Scala中函数式编程进行实现，研究Spark官方中提供的Api。

1、参与建设基础数仓平台（ADP），包括数据源层，明细层，统计层，历史层，应用层。 2、开发客户画像模块涉及到的 HIVE 脚本，保证脚本运行在数据中台的正确性和效率性。负 责 sqoop 中增量抽数和全量抽数并且维护与 Oracle 交互的稳当性。 3、开发系统所需接口，也参与开发用到的报表。开发 Oracle 存储过程，掌握 SQL 优化，数据清 洗，常用函数等。

1、负责员工效能指标体系的维护和开发，包括 （1）考核查询不同维度的应用 （2）绩效指标年，月，周 排行榜，支持动态配置 2、负责***模块的需求开发，包括 （1）使用 xxl-job 开发***订单实时数据，每天清洗量几百万。 （2）老版本 spark 程序迭代，优化为使用 java 用 es 客户端进行数据同步。效率优化了两倍。 3、日常 SQL 优化，夜间跑批优化。