水中央
1月前来过
全职 · 500/日  ·  10875/月
工作时间: 工作日20:00-23:00、周末08:00-23:00工作地点: 远程
服务企业: 3家累计提交: 0工时
联系方式:
********
********
********
聊一聊

使用APP扫码聊一聊

个人介绍

·Web端:基于Tornado和Django搭建网站。
·爬虫:基于 Scrapy 的爬虫开发,实现 电商平台、新浪,知乎 等网站的数据抓取。
.大数据:基于spark实时处理爬虫采集处理。

工作经历

  • 2016-10-30 -至今北京奥维高级后端工程师

    根据需求开发分布式爬取爬虫。 对爬取的大批量数据进行清洗入库。 维护vps代理池资源 管理部署爬虫的服务器集群,优化采集框架,提高爬虫程序的稳定性。 带领管培生做数据采集的岗位实践,辅导新人。

教育经历

  • 2009-09-30 - 2013-10-31天津理工大学计算机科学与技术本科

    优秀学生

技能

爬虫
0
1
2
3
4
5
0
1
2
3
4
5
作品
抖音app及web爬虫

采集的有抖音电商、抖音本地生活、抖音直播、抖音视频 每日采集数据量近亿条。 解决了抖音app的算法 x-gorgon、x-khronos、x-argus、x-ladon以及网页端算法X-Bogus、_signature 解决了抖音滑块问题

0
2023-03-28 22:25
电商网站商品评论采集

采集各电商网站的商品评论和评论的图片信息。每天进行增量采集。分布式部署

0
2018-10-31 11:04
电商网站商品价格采集

每20分钟采集一次需要监控的商品价格和促销信息,分布式部署采集。

0
2018-10-31 11:03
更新于: 2018-10-31 浏览: 306