个人介绍
任职经历: 人人网、百度、今日头条
所用语言:c++(服务端),python(脚本,web服务)
熟悉常见后端组件:linux、redis、mysql、kafka、docker、shell、RPC、微服务框架、
熟悉前端知识、node.js
自学区块链
积极主动,乐于学习新知识,敢于解决技术难题
工作经历
2018-06-06 -2018-09-16抖音视界有限公司研发
今日头条 data-搜索--Spider (搜索离线) 后端c++ 2018.06-2018.09 1、基础服务搭建。 搭建url_dedup服务(url查重)、dispatcher(分发抓取任务)、screener(链接筛选),接手link_checker(存储死链和黄反链接)。 2、建设spider内部网站。 使用vue+Django+Mysql+python,扩展网站功能,包括添加死链、死链检测、链接轨迹查询。
2016-04-01 -2018-01-04百度研发
百度互联网数据研发部Spider (搜索离线) 后端c++ 2016.04-2018.01 1、Saverng重构。 Saverng是spider业务流上负责链接数据写DB的服务 (1)架构流程改造,通过前置模型和规则,来过滤大量链接,从而达到减小对L2读压力的效果。 (2)L1L2合并的架构改造,通过将L2中有用的链接合并到L1,并且降低L2数据的有效期,达到降低L2存储的作用。 (3)收益:linkbase读压力降低,存储使用降低(ssd) 3、Saverng日常升级/稳定性。 4、saverng从mimo框架升级到chord框架。 MIMO是单机的消息队列,且无应答机制,会存在丢数据情况,因为有状态,所以无法通过容器去调度。 Chord:组内高T自研,afs、nexus、FIFO+ACK、输出FIFO、监控与trace、批量读写、pb、baiduRpc 5、SLA脚本。 完成一个python脚本,周期性收集环上各个模块的发/收包数和延迟信息,计算各个环节的丢包率和延迟,生成报表每天汇报,并且推送数据到第三方平台来生成更多样
2015-06-15 -2016-03-10千橡网景研发
人人网-新鲜事 后端c++ 实习2014.11—2015.05 正式2015.07-2016.03 1、新鲜事服务改动。 2、2014年11月开始见习,在公司完成了毕设,开发了一个内部使用的网站 python+tornado
教育经历
2011-09-01 - 2015-06-15武汉大学计算机科学与技术本科
计算机科学与技术,全日制本科,2011-2015
技能
人人网-新鲜事 后端c++ 实习2014.11—2015.05 正式2015.07-2016.03 1、新鲜事服务改动。 2、2014年11月开始见习,在公司完成了毕设,开发了一个内部使用的网站 python+tornado
百度互联网数据研发部Spider (搜索离线) 后端c++ 2016.04-2018.01 、Saverng重构。 Saverng是spider业务流上负责链接数据写DB的服务 (1)架构流程改造,通过前置模型和规则,来过滤大量链接,从而达到减小对L2读压力的效果。 (2)L1L2合并的架构改造,通过将L2中有用的链接合并到L1,并且降低L2数据的有效期,达到降低L2存储的作用。 (3)收益:linkbase读压力降低,存储使用降低(ssd) 3、Saverng日常升级/稳定性。 4、saverng从mimo框架升级到chord框架。 MIMO是单机的消息队列,且无应答机制,会存在丢数据情况,因为有状态,所以无法通过容器去调度。 Chord:组内高T自研,afs、nexus、FIFO+ACK、输出FIFO、监控与trace、批量读写、pb、baiduRpc 5、SLA脚本。 完成一个python脚本,周期性收集环上各个模块的发/收包数和延迟信息,计算各个环节的丢包率和延迟,生成报表每天汇报,并且推送数据到第三方平台来生成更多样性的图表。 6、接手dump-linkbase(shell、c++、离线map-reduce任务),日常维护。