开发环境：IntelliJIdea+Git+Maven+Jdk1.8
运行环境：Linux+Java+Hadoop+Hbase+Hive+Redis
项目描述：采集，梳理，集中移动运营系统中记录的用户业务使用日志数据，对数据进行分
类处理，内容分析，挖掘出用户的行为轨迹，分析用户访问互联网内容的类型、
频率等行为习惯，
分析用户使用手机APP的行为特征等，
对移动客户进行用户画
像，为公司营销策划和各类业务模型报表统计做数据支持。
工作描述：

参与“预处理”、“用户行为轨迹增强和内容识别”、“内容分类树梳理平台”用
户移动轨迹分析”等模块架构设计、文档编写及编码实现。

“预处理”、“SCA内容分析”等模块在生产环境下的部署、割接、上线，运营监
控。

项目设计文档，项目说明文档等文档的编写。
技术要点：

将需要去重的数据结果写入Redis,通过LRU策略提高数据库可用性。

使用mapPartitions算子代替map算子减少和数据库的连接。

transform算子在Driver端周期性读Redis数据,通过广播变量发往Executor。