古德菲力是全国连锁的大型健身会所,本项目利用大数据实时统计会员运动数据。
1flume 采集tomcat 日志,需要离线计算的数据放到hdfs 上,需要实时计算的数据,发给kafka集群
2 离线数据从hdfs 上定期导入到hive,spark连接 hive 利用sparkSql 进行离线计算(包括会员的入场纪
录,离场记录,会员使用的器械.热门(冷门器械统计,活跃会员统计沉默会员统计,器械的日月 周使用总结),把计
算好的数据放到mysql 中
3spark 连接 kafka 进行实时计算(包括会员消耗的卡路里,会员跑步里程,会员心率
会员运动时长,会员做举重个数)把计算好的数据放入redis,供javaEE 程序员展示
4 利用 spark 的udf 简化sparkSql 操作
5 自定义累加器实现会员跑步历程,运动时长数据累加
6 利用广播变量 分发运动数据,提高计算效率