本次项目的处理工具首次选用flink框架,借助flink高吞吐,低延迟,高性能的流式处理的思想,根据用户的行为信息对web端和app端的各种类别的榜单进行实时更新项目职责: 1. 负责搭建flume架构把数据导入kafka的指定topic,并参与实时架构的 构建. 2. 使用flink消费kafka数据,进行数据清洗,过滤,分流.3. 根据各自榜单的业务逻辑综合分析进行排名.4. 负责少年榜,青年榜的分析结果，利用flink的cep编程监控恶登陆现象 5. 将结果导入到es中,数据格式规范化.技术实现：1. 通过JS埋点以及相关的数据接口把app端和web端的用户行为日志信 息上传到Nginx服务器中2. Flume采集数据并保存到Kafka中，同时利用canal采集MySQL中的相 关业务数据,保存到kafka的不同分区中3. 利用flink流处理的API进行操作,并根据榜单进行分流,以流为单位 进行具体分析4. 利用flink的cep编程实现复杂事件流的处理 5. 将最后结果保存到es中,以便利用es特性实现交互式查询