0
1
2
3
4
5
0
1
2
3
4
5
4天前在线
python爬虫工程师
天津全职 · 300/日 · 6525/月信用正常
工作时间: 工作日21:00-24:00、周末7:00-23:00工作地点:
服务企业:
15家累计提交:
1工时
联系方式:
********
********
********
****************
查看联系方式
个人介绍
● 熟悉大规模高性能抓取技巧，熟悉 scrapy、feapder 爬虫框架，能够部署分布式爬虫
● 掌握逆向分析技能（JS 逆向破解）
● 熟悉各反反爬原理和解决方法
● 各网页/APP 端复杂抓包技能
● 能使用 set ，布隆过滤器，MD5，哈希 算法等对数据进行去重）
● 熟悉 jsvmp，webpack，ast 等技术以及各种标准加密算法
● 熟悉瑞数、加速乐、阿里等安全产品处理与逆向
● 熟悉验证码破解、能处理极验等平台产品，能过抖音、企查查等
● 掌握逆向分析技能（JS 逆向破解）
● 熟悉各反反爬原理和解决方法
● 各网页/APP 端复杂抓包技能
● 能使用 set ，布隆过滤器，MD5，哈希 算法等对数据进行去重）
● 熟悉 jsvmp，webpack，ast 等技术以及各种标准加密算法
● 熟悉瑞数、加速乐、阿里等安全产品处理与逆向
● 熟悉验证码破解、能处理极验等平台产品，能过抖音、企查查等
工作经历
2024-04-01 -至今悟空易职教育科技有限公司python爬虫工程师
1.负责搭建公司的爬虫系统，对数据进行爬取 2.进行数据清洗，编写通用数据清洗模块，在文章中公告中清洗出准确的需求数据，并且进行去重处理 3.将去重、清洗后的数据存入mysql数据库,设计数据库结构，连接池，提高数据储存效率 4.将所编写的爬虫程序部署到公司服务器上，实现每天自动运行，并且将运行结果发送***实时查看，记录运行失败网页改版的爬虫程序，后续进行维护或重新编写 5解决编写爬虫过程中遇到的反爬虫，包括但不限于 ip风控，登录逆向，cookies反爬，以及各种标准非标准加密算法，js混淆等，目前这些反爬都遇到过，并且全部解决了。
教育经历
2016-09-01 - 2020-07-01中国地质大学长城学院电子信息工程本科
1.全日制本科大学，电子信息工程 2.c语言计算机二级证书、对编程有兴趣 3.社会实践先进个人，孝老爱亲先进个人
技能
作品
获取全国疫情数据，数据清洗，储存为csv 1. 用pprint模块格式化输出，数据更直观，方便清洗 2. 动态加载，json提取数据 3. 用pandas模块，保存为csv文件 4. 处理反爬，寻找规律，删除无用字段，拼接url
02023-05-06 00:49
获取京东商品的价钱、标题、店铺名、付款数、分类等信息、保存csv 1. selenium模拟登陆网站 2. 获取登录验证图片，通过算法分析出缺口点坐标 3. Selenium模拟滑动验证 4. Js模拟下滑操作 5. 获取所需数据，筛选清理，保存csv
02023-05-06 00:52
豆果美食app 爬取分享达人信息，菜谱信息，用料、做法，筛选清洗信息，保存mongodb数据库和csv文件 1. 用fiddler抓包工具抓取app数据包 2. 清洗筛选数据，提取有用信息 3. 携带代理ip，采用多线程处理 4. 保存mongodb数据库
02023-05-06 00:54
