0
1
2
3
4
5
0
1
2
3
4
5
1月前来过
爬虫工程师
广州全职 · 800/日 · 17400/月信用正常
工作时间: 工作日09:30-21:30、周末09:30-21:30工作地点:
远程
服务企业:
6家累计提交:
0工时
联系方式:
********
********
********
****************
查看联系方式
个人介绍
1. 掌握 python 的基础知识，有良好的编码习惯。
2. 熟悉 Scrapy 和 Scrapy-redis 框架，有海量数据爬取经验。
3. 熟悉 pyppeteer、requests、selenium，fiddler、Charles、mtim、appium 获取网络数据信息。
4. 熟悉正则表达式、xpath、lxml 模块提取数据。
5. 熟悉前端 HTML、CSS、JS 页面结构，知晓 web 交互流程及原理。
6. 熟悉网站常见反爬策略，有 ip 池、cookie 池、js 解密、css 解密等经验，能根据网页分析出常见反爬手段。对各类验证码的破解有深刻理解。
7.&nbs***、拼多多、苏宁易购、唯品会、京东等手机 app 的爬取经验
8. 了解逆向工程，能够使用 androidkiller 分析 APP 结构以及 IDA 断点调试分析9．熟练使用 mysql，mongodb，redis，pgsql 有集群搭建和管理经验。
10. 熟练使用 linux，docker、git、Gerapy 版本管理工具11．了解数据分析 Numpy、Pandas 数据处理模块的使用。12．了解后端框架 flask、django、tornado 并编写后端。13．曾参与公司内部爬虫管理系统开发
工作经历
2021-05-16 -至今某科技股份有限公司广州分公司爬虫工程师
-研究目标网页探寻特点和规律，开发数据爬虫，完成数据采集、解析处理及入库； -负责爬虫服务架构的设计和研发，完善现有的爬虫体系； -负责现有爬虫和服务的维护和优化； -参与公司数据采集与分析项目工作； -参与数据采集与分析代码编写、单元测试和 bug 修复工作； -获取、洗、修复、建模、将数据可视化生成报告 -根据产品和项目情况，优化及维护代码； 根据产品开发规范，完成相关技术文档编写；
教育经历
2013-09-01 - 2017-07-01西南财经大学天府学院计算机科学与技术本科
资质认证
技能
作品
该功能个点共有两个大的模块 1、新增店铺数据， 根据关键字区域等条件探索数据库不存在的数据，并采集存储 2、更新历史数据， 对现有店铺数据的易改变数据实时更新
12023-04-09 06:28
创建爬虫框架，通过rabbit队列监听用户行为输入商品链接，采集商品数据，并进行清洗编辑，最后自动发布于1688店铺平台
02023-04-09 06:30
1.使用 scrapy 创建爬虫项目编写爬虫代码 2.创建 cookie 池，IP 池 3.对各个网站历史数据采集，以及定时获取增量获取信息，及时更新现有数据拍卖状态信息 4.处理淘宝风控反爬机制，工行融 e 购图片防盗链等破解各个网站反爬策略 5.对现有的数据使用 pandas 进行清洗处理，以及使用 pyecharts 进行数据可视化分析处理， 项目期间日常的爬虫管理维护
02023-04-09 06:35
