本次项目的处理工具首次选用flink框架,借助flink高吞吐,低延迟,高性能的流式处理的思想,根据用户的行为信息对web端和app端的各种类别的榜单进行实时更新
项目职责:
1. 负责搭建flume架构把数据导入kafka的指定topic,并参与实时架构的
构建.
2. 使用flink消费kafka数据,进行数据清洗,过滤,分流.
3. 根据各自榜单的业务逻辑综合分析进行排名.
4. 负责少年榜,青年榜的分析结果，利用flink的cep编程监控恶登陆现象
5. 将结果导入到es中,数据格式规范化.
技术实现：
1. 通过JS埋点以及相关的数据接口把app端和web端的用户行为日志信
息上传到Nginx服务器中
2. Flume采集数据并保存到Kafka中，同时利用canal采集MySQL中的相
关业务数据,保存到kafka的不同分区中
3. 利用flink流处理的API进行操作,并根据榜单进行分流,以流为单位
进行具体分析
4. 利用flink的cep编程实现复杂事件流的处理
5. 将最后结果保存到es中,以便利用es特性实现交互式查询