个人介绍
工作经历
2020-10-01 -至今上海六界信息技术有限公司高级爬虫工程师
主要负责爬虫框架研究与开发 各个平台数据弹幕礼物爬取 小平台数据破解与爬取 工作分配与人员安排 安排上级非配任务 进行整合拆分 为工作周期进行预估
教育经历
2011-09-01 - 2016-07-01蚌埠学院计算机科学与技术本科
于蚌埠学院计算机科学与技术专业毕业 热爱计算机
技能
项目描述: 该游戏主要包括三款游戏:1、天天红中麻将 2、天天斗牛 3、跑得快。 游戏亮点: 1、好友代开功能。玩家可以创建房间,但不参与游戏分享给好友。让好友可以在该房间进行游戏。 并且开放玩家可以查看到这个房间的游戏记录。 责任描述: 1、负责游戏的项目搭建 2、游戏主要逻辑的编写 3、界面的排版 4、数据库搭建
项目描述: 以上几款*小游戏属于益智、创新类型小游戏。玩法创新、操作简单 具有良好都养成线。 责任描述: 1、负责部分以上游戏部分功能优化与实现。 2、完成部分数据统计功能对接阿拉丁功能。 3、部分功能后台控制功能,根据服务器下发数据前端实现不同显示。 4、根据要求实现服务器搭建与服务器主要业务流程。主要包括登录、数据存储、好友链、Redis、与后台控制等功能。
一款直播爬虫通用框架,大致分成四大模块,在线模块、平台模块、爬虫模块、数据模块。 通过各个平台间的相互配合,实现对当前主流直播平台的数据抓取(斗鱼、虎牙、yy、企鹅、b站、快手等)。 责任描述: 1、对主框架进行搭建,实现数据间通信。并对各个模块进行基础代码、公共代码进行构造。 2、在线模块主要分成两大部分组成,官网在线直播主播,对已存在白名单进行监控。将在线主播数据发送至平台模块。 3、平台模块主要实现对在线主播统计与分派,将各个主播分配到不同爬虫模块,并监控每个直播间统计直播间状态。 4、爬虫模块,主要为接受平台模块分配到的直播信息,并对该主播进行爬取,将websocket连接,对主播直播间进行监控,并将接收到数据放置于redis中,并将直播间状态发生至平台模块。 5、数据模块,定时将redis数据推送中kafka中,发送至kafka中,供后续数据统计。