使用APP扫码聊一聊
2016-10-30 -至今北京奥维高级后端工程师
根据需求开发分布式爬取爬虫。 对爬取的大批量数据进行清洗入库。 维护vps代理池资源 管理部署爬虫的服务器集群,优化采集框架,提高爬虫程序的稳定性。 带领管培生做数据采集的岗位实践,辅导新人。
2009-09-30 - 2013-10-31天津理工大学计算机科学与技术本科
优秀学生
采集的有抖音电商、抖音本地生活、抖音直播、抖音视频 每日采集数据量近亿条。 解决了抖音app的算法 x-gorgon、x-khronos、x-argus、x-ladon以及网页端算法X-Bogus、_signature 解决了抖音滑块问题
采集各电商网站的商品评论和评论的图片信息。每天进行增量采集。分布式部署
每20分钟采集一次需要监控的商品价格和促销信息,分布式部署采集。
技术经理
1000元/天
豆包网
技能:nodejs,区块链,C,Python,Redis,MySQL,MongoDB,机器学习
后端开发
500元/天
北京化工大学
技能:Python,小程序
高级后端工程师
800元/天
lbe
技能:Python,Vue,PostgreSQL,Redis,Tornado,MySQL,系统架构,K8S
研发经理
1500元/天
北京
技能:Python,Nginx,MySQL,爬虫
您好 👋
我们能提供什么帮助?
向我们发送消息
常见问题、使用帮助、人工咨询等
使用微信扫一扫