本次项目的处理工具首次选用flink框架,借助flink高吞吐,低延迟,高性能的流式处理的思想,根据用户的行为信息对web端和app端的各种类别的榜单进行实时更新 项目职责: 1. 负责搭建flume架构把数据导入kafka的指定topic,并参与实时架构的 构建. 2. 使用flink消费kafka数据,进行数据清洗,过滤,分流. 3. 根据各自榜单的业务逻辑综合分析进行排名. 4. 负责少年榜,青年榜的分析结果，利用flink的cep编程监控恶登陆现象 5. 将结果导入到es中,数据格式规范化. 技术实现： 1. 通过JS埋点以及相关的数据接口把app端和web端的用户行为日志信 息上传到Nginx服务器中 2. Flume采集数据并保存到Kafka中，同时利用canal采集MySQL中的相 关业务数据,保存到kafka的不同分区中 3. 利用flink流处理的API进行操作,并根据榜单进行分流,以流为单位 进行具体分析 4. 利用flink的cep编程实现复杂事件流的处理 5. 将最后结果保存到es中,以便利用es特性实现交互式查询

1.参与设计模型架构 2.负责总部大数据平台物资模型空间的建设工作 3.对接用户针对于模型表业务需求 4.监控和治理业务标准表的数据质量问题 5.参与智慧供应链运营平台基于业务标准表的功能开发工作 6 对接用户,了解用户需求 设计开发数据管理相关功能 如一致性监控,业务活跃率，质量达标率等等,提供数据基础管理, 数据运营管理,数据指标管理等数据资产管理功能

本项目主要是通过收集用户的行为数据，根据用户的登录，搜索，点击，阅读，收藏等行为分析用户的喜好，做出不同维度下的相关统计，针对不同用户群体，做到更加精准高效的漫画推荐，提高用户满意度，避免对用户产生垃圾消息，降低流失率, 另一方面针对App以及PC端的固定板块以及漫画分类模块的定向推荐，不仅可以增加项目的可使用性，增加用户的活跃量；而且可以帮助用户发现一些用户想要发现但是很难发现的内容，进而做到提高一些冷门内容的曝光率。同时抽象出用户的尽量完整的信息，做成用户画像。 项目职责: 1. 参与相关数据采集以及主题设计和开发，参与数据仓库的搭建 2. 负责高频浏览主题的建设,负责高频浏览主题的数据填充 3. 用户画像模块：结合用户的基本信息，并从日志中抽取用户的各种行为信息，通过当天的数据和历史数据，抽象出一个用户的全貌，通过不断的对用户打标签，更加全面的了解用户，进而为推荐做数据支持 4. 负责相关指标的实现,为用户专属推荐做数据支持,生成用户的追踪报表，分析用户满意度,统计浏览量前20的漫画种类，以及漫画在不同时间端点，用户访问总量等 技术实现： 1. 首先通过JS埋点和JavaSDK采集用户的行为数据，并保存到Nginx日志服务器中 2. 使用Flume监控日志目录，将多个数据源的汇总保存到HDFS中，使用sqoop同步 MYSQL中的业务数据到HDFS 3. ETL过程，把原始数据进行处理，导入原始数据层,确定主题，并拉取各自主题 下的数据 4. 使用SparkCore，完成日志数据的清洗，将用户的信息进行提取，针对不同事 件进行分类，并将数据保存到HDFS中，方便后续使用。 5. 编写hql语句进行分析,运用Azkaban作为调度工具。 6. 将处理结果使用Sqoop导出到MySql中，用于前端的展示 7. 将用户画像数据保存到HBase中，方便查询和修改