爬虫
0
1
2
3
4
5
0
1
2
3
4
5
1月前来过
爬虫工程师
成都全职 · 300/日 · 6525/月信用正常
工作时间: 工作日19:00-23:00、周末09:00-18:00工作地点:
远程
服务企业:
12家累计提交:
1工时
联系方式:
********
********
********
****************
查看联系方式
个人介绍
两年数据采集经验，擅长web端的逆向，可以熟练的解决各种常见的疑难采集问题。
1.擅长使用python作为主要开发语言，了解javascript、node.js 等。
2.了解网络传输协议、http、socket、tcp等
3.熟悉使用mongo、redis搭建分布式采集架构、主要使用scrapy框架作为主体采集框架
4.了解验证码、cookie池的解决和搭建、同时也熟悉代理ip池的搭建。
5.了解常见的对称加密和非对称加密算法，如aes、rsa等加密算法
工作经历
2020-08-06 -2022-05-01北京大学信息技术高等研究院爬虫工程师
1.负责news信息的采集，主***以及百度、搜狗等搜索引擎收集相关的news信息 2.负责公司各类数据的收集需求，如商品信息和企业信息等。 3.负责招投标数据的采集，完成全国省市县主要机构的招投标信息收集
教育经历
2017-09-17 - 2021-07-07杭州电子科技大学信息工程学院通信工程本科
在校期间成绩良好，无不良违纪，认真学习。
技能
作品
1.搜索指定关键词相关新闻 2.完成了对最新的新闻关键词热门趋势新闻的相关收集 3.实现了对突发性新闻和火爆新闻的相关收集 4.采用分布式的方式实现部署和运行。
02023-04-21 00:55
1.采集指定用户历史推文和最新推文 2.收集了推文的各类量化数据如喜欢数、评论数、转推数等 3.收集了推文的媒体数据（图片、视频） 4.根据用户推文发布时间的活跃性制定指定的定时采集任务
02023-04-21 01:02
1.可采指定公众号历史发布文章 2.监控指定公众号最新推送的文章 3.可以将文章内容保存为pdf/html，并且将内容里的媒体信息（图片、视频、音频）完整采集下来。
02023-04-21 01:06
