该项目的核心功能是通过Spark SQL分析用户基础信息及用户的行为日志信息,来给用户打上相关画像标签,形成的用户画像数据,将用户画像数据存储到HBase中,供后续查询。项目有一个web端的标签管理系统,在系统中除了有标签的管理,还有对标签的计算任务的管理,项目中使用Oozie进行Spark Job任务调度,并将任务提交到Yarn上执行。
评论