项目架构：Hadoop+spark sql+spark streaming+Mysql+Kafka+kylin+MonogDB
项目描述：主要使用SparkSQL对旗下五家子公司的数据进行数据清洗并导入到hdfs，增量数据通过spark streaming接入到hdfs，搭建数据中台数据仓库，给用户打标签，构建中台用户画像，对用户画像进行统计和聚合，做群组管理以及中台画像开启精准营销。
技术流程：
1. 使用Spark将数据采集到HDFS近源层中，用spark sql将数据清洗到ods层
2. 增量数据导入到kafka，然后spark streaming消费数据，形成小文件，合并到近源层
3. 每天对用户数据增量打标签，并形成中台画像
4. 按标签抽取用户群组，形成中台用户画像群组
5. 对部分用户群组开启精准营销活动，并统计营销活动，和用户反馈数据统计
6. 将聚合后的数据导入到kylin，kylin做预计算，后端去从kylin抽取数据
7. 对于用户基本信息、车辆信息和标签信息 则推送到MongoDB，供后端查询