开发环境：IntelliJIdea+Git+Maven+Jdk1.8运行环境：Linux+Java+Hadoop+Hbase+Hive+Redis项目描述：采集，梳理，集中移动运营系统中记录的用户业务使用日志数据，对数据进行分类处理，内容分析，挖掘出用户的行为轨迹，分析用户访问互联网内容的类型、频率等行为习惯，分析用户使用手机APP的行为特征等，对移动客户进行用户画像，为公司营销策划和各类业务模型报表统计做数据支持。工作描述：参与“预处理”、“用户行为轨迹增强和内容识别”、“内容分类树梳理平台”用户移动轨迹分析”等模块架构设计、文档编写及编码实现。“预处理”、“SCA内容分析”等模块在生产环境下的部署、割接、上线，运营监控。项目设计文档，项目说明文档等文档的编写。技术要点：将需要去重的数据结果写入Redis,通过LRU策略提高数据库可用性。使用mapPartitions算子代替map算子减少和数据库的连接。transform算子在Driver端周期性读Redis数据,通过广播变量发往Executor。