python数据采集
0
1
2
3
4
5
1月前来过
爬虫工程师
合肥全职 · 300/日 · 6525/月信用正常
工作时间: 工作日08:30-17:30、周末09:00-18:00工作地点:
远程
服务企业:
8家累计提交:
0工时
联系方式:
********
********
********
****************
查看联系方式
个人介绍
1、在校自学Python熟练掌握基础知识
2、掌握MongoDB、Mysql相关操作
3、掌握Scrapy爬虫框架
4、使用selenium爬取数据动态页面数据
5、掌握高效爬虫获取数据
6、熟练使用xpath、re提取页面信息
7、可以解决大部分post请求以及带cookie请求
8、具有独自编写代码爬取网站数据信息的能力
9、熟悉scrapy-redis的部署
10、熟练使用Pycharm
工作经历
2020-03-01 -至今安徽大侠网络科技有限公司爬虫工程师
1、根据任务安排获取指定数据 2、清洗数据入库 3、查看app上的数据格式及时调整数据格式 4、主要获取各个省市公共资源交易中心中标、招标内容
教育经历
2016-09-01 - 2020-07-01安徽新华学院软件工程本科
本人于2016年至2020年在安徽新华学院接受大学本科教育
技能
作品
根据任务安排对目标网站进行爬取，补充数据量，分析目标网站的网站结构和一些反爬手段 通过requests、scrapy、xpath等技术手段编写爬虫程序进行内容抓取 通过分析解决目标的post请求限制 通过携带cookie对建设通进行访问，获取相关内容 通过django框架编写对数据库进行操作的工具 维护服务器爬虫脚本的每天定时更新 负责对爬取的业绩进行相关信息的提取 负责对数据库企业信息的补充，主要从爱企查更新目标信息 使用logging模块根据日期定向输出日志文件
02021-01-21 21:37
1、这个项目是通过scrapy爬取信息，爬取列表页每一项下的子页获取数据。 2、通过在scrapy框架下编写代码获取所需数据， 3、通过编写脚本获取新闻内容 4、对获取的数据清洗、入库
02021-01-20 22:06
1、这个项目是通过scrapy-redis搭建分布式爬虫爬取房天下所有城市房源信息，爬取列表页每一项下的子页获取数据。 2、通过在scrapy框架下编写代码获取所需数据，部署项目通过redis爬取房源信息。 3、最后通过编写脚本将redis数据库中的数据读取存入json文件和mysql数据库中。
02021-01-20 22:07
