项目架构：CM+ZooKeeper+HDFS+Yarn+Hive+Spark+Sqoop+DS+Springboot
项目描述：本项目是一个国联人寿保险的重构项目，由于整个精算系统重构之前是基于Oracle 计算的，计算过程过于复杂，而且需要专业的Oracle DBA参与，项目维护非常麻烦。项目负责人选择更换使用 Spark SQL 进行迭代计算操作完成整个精算计算操作。该项目对计算流程进行了拆解，简化难度，提升维护性，以及提升效率，通过维度建模及数仓分层来简化SQL的难度，提升维护性，减低成本。为此通过 CDH 平台整合多险种业务源数据，利用大数据海量数仓的分析能力，精细化处理保险业务，达到精算保险的目的。
职责描述：1.参与需求文档分析阶段，根据产品提供的去求划分主题，辅助构建需求文档
2.根据业务关联关系分析指标，建立数仓分层模型
3.负责实现将业务数据划分全量及增量，构建全量及增量同步脚本实现ODS层数据同步
4.负责保费参数因子计算，以及后续的保费计算
5.负责项目中业务指标统计分析，现金价值指标计算工作
6.开发数据同步、数据主题的Shell脚本，基于DS实现任务流调度的设计及测试
7.负责解决临时的一些问题，例如数据同步不一致、数据倾斜等问题