DSP（需求方平台），帮助广告主全面的进行广告服务, DSP出现之后，广告主由以前的针对媒体上的广告位进行广告投放，改变为针对自己想要的目标受众、针对受众的标签投放广告，效率上产生了质的提升。本项目功能：1.收集用户数据并进行ETL；2.生成报表数据；3.为用户打标签，生成用户画像。4.向DSP提供数据服务。 开发工具： Idea，Git，Maven，JDK 1.8，Scala 2.11 系统架构： Hadoop-2.6.0-cdh5.16.1，Zookeeper-3.4.5-cdh5.16.1，Spark 2.2.0，Kudu-1.7.0-cdh5.16.1，Hive-1.1.0-cdh5.16.1，Impala-2.12.0-cdh5.16.1，MySQL 5.7，Hue-3.9.0-cdh5.16.1，Flume 1.8，Azkaban 3.51，Scala + Java + SLF4J + JUnit + GeoLite + ip2region + ECharts + Json4S 责任描述： 1. Spark分析ODS层数据，生成报表，比如数据集的地域分布报表数据、广告投放的地域分布报表数据、广告投放的APP分布报表数据、广告投放的设备分布报表数据等，并持久化(保存到Kudu)； 2. Spark计算商圈库：高德逆地理编码API获取地理位置的Json数据，然后用Json4S解析该数据，得到商圈数据，并持久化； 3. Spark打标签：生成标签和权重的数据，包括广告标识、渠道信息、关键词、省市、性别、年龄、商圈等，然后进行图计算，将同一个受众的数据分到一组，然后聚合，得到受众标签数据和标签权重，并持久化； 4. 解答用户的疑惑，解决用户提出的问题。随时随地根据用户需求，提供模块的维护和更新；并开发其他定制化功能模块； 5. 编写使用说明文档。

主导或参与了十几个类似项目，以此为例描述。 该项目是一套企业管理系统，主要是为用户公司的安全生产标准化管理提供信息化支撑，使用户更高效、便捷地管理公司的安全、健康、环境方面的状况，同时实现了无纸化办公，更是为客户公司通过安全标准化评审提供了有力的依据。 系统架构： Java + Jsp + CSS + Js + jQuery + HTML5(移动端APP页面)，Linux，Tomcat，SSH(Spring + Hibernate + Struts)，MySQL主从复制，Web Service，Ajax，FusionCharts(图形报表插件)，Flex(流程控制和在线预览)，Jxl(Excel表格操作插件)，JSTL，EL 主要工作内容： （1）设置项目环境，部署“数据库、系统、需要用到的插件软件”到Linux服务器，设置开机自启、自动备份、外网映射等。 （2）核心代码编写。编写各类电脑端和移动客户端app的前端页面代码和后台java代码，开发和修改模块；编写单点登录和数据传输接口；初始化系统各个模块的数据，编写批量导入、导出功能模块。 （3）培训管理员和用户使用该系统，举行培训会议。 （4）解答用户的疑惑，解决用户提出的问题。 （5）跟进项目进度，协调用户需求，整合开发资源，给项目组成员分配任务。 （6）随时随地根据用户需求，提供模块的维护和更新；并开发其他定制化功能模块。

该项目目标是将全国各地（包括港澳台）的薪资统计数据汇总起来，进行统计分析，并生成各种统计图和报表。包括以下几个模块： 1. 远程从数据中心获取基础数据记录列表，并调用远程API下载需要的基础数据到本地。 2. 导入基础数据。导入后需要将数据插入到各个业务表，期间包含了多轮业务逻辑处理的模块。并且数据量达到千万级，起初导入时出现了内存溢出以及事务不生效的错误，本人通过对Spring事务进行优化/问题修复后解决。 3. 定时任务生成报表数据。其中计算统计数据的业务逻辑非常复杂，而且统计模块非常多。 4. 各个报表的页面展示。后端通过REST API的方式，将需要展示的数据通过JSON格式传递给前端。 使用技术：SpringBoot, SpringSecurity, OAuth2, Hibernate, logback, Swagger2, Redis, AOP通过注解进行切面编程，校验并解密请求参数，全局异常处理。