DSP（需求方平台），帮助广告主全面的进行广告服务, DSP出现之后，广告主由以前的针对媒体上的广告位进行广告投放，改变为针对自己想要的目标受众、针对受众的标签投放广告，效率上产生了质的提升。本项目功能：1.收集用户数据并进行ETL；2.生成报表数据；3.为用户打标签，生成用户画像。4.向DSP提供数据服务。

开发工具：
Idea，Git，Maven，JDK 1.8，Scala 2.11

系统架构：
Hadoop-2.6.0-cdh5.16.1，Zookeeper-3.4.5-cdh5.16.1，Spark 2.2.0，Kudu-1.7.0-cdh5.16.1，Hive-1.1.0-cdh5.16.1，Impala-2.12.0-cdh5.16.1，MySQL 5.7，Hue-3.9.0-cdh5.16.1，Flume 1.8，Azkaban 3.51，Scala + Java + SLF4J + JUnit + GeoLite + ip2region + ECharts + Json4S

责任描述：
1. Spark分析ODS层数据，生成报表，比如数据集的地域分布报表数据、广告投放的地域分布报表数据、广告投放的APP分布报表数据、广告投放的设备分布报表数据等，并持久化(保存到Kudu)；
2. Spark计算商圈库：高德逆地理编码API获取地理位置的Json数据，然后用Json4S解析该数据，得到商圈数据，并持久化；
3. Spark打标签：生成标签和权重的数据，包括广告标识、渠道信息、关键词、省市、性别、年龄、商圈等，然后进行图计算，将同一个受众的数据分到一组，然后聚合，得到受众标签数据和标签权重，并持久化；
4. 解答用户的疑惑，解决用户提出的问题。随时随地根据用户需求，提供模块的维护和更新；并开发其他定制化功能模块；
5. 编写使用说明文档。