0
1
2
3
4
5
1月前来过
爬虫工程师
深圳全职 · 350/日 · 7612/月信用正常
工作时间: 工作日10:00-0:00工作地点:
远程
服务企业:
2家累计提交:
0工时
联系方式:
********
********
********
****************
查看联系方式
个人介绍
1.具备 js 逆向能力，
2.擅长 scrapy_redis 进行分布式爬虫，URL 去重、数据去重、数据清洗、入库
3.能够处理一些反爬问题（如 IP 封禁 IP池、验证码、滑块验证等、URL 参数、UESR_AGENT池）。
4.能处理 sign 签名、AES、DES、MD5、SHA、RSA、JA 3指纹、加速乐 cookie 、字节流、简单的补环境。
5.熟悉 mysql、redis， mongodb 等数据库的使用
6.熟悉 xpath、re 正则表达式数据提取
2.擅长 scrapy_redis 进行分布式爬虫，URL 去重、数据去重、数据清洗、入库
3.能够处理一些反爬问题（如 IP 封禁 IP池、验证码、滑块验证等、URL 参数、UESR_AGENT池）。
4.能处理 sign 签名、AES、DES、MD5、SHA、RSA、JA 3指纹、加速乐 cookie 、字节流、简单的补环境。
5.熟悉 mysql、redis， mongodb 等数据库的使用
6.熟悉 xpath、re 正则表达式数据提取
工作经历
2023-09-01 -至今全职爬虫爬虫工程师
项目总结： 1.sign 签名1688女装找工厂 2.sign+js 补环境监测，热点头条 3.sign 建设库，企业解密工商信息 4.雪球，热帖数据解密 5.字节流，产业政策大数据平台 6.攻防世界，赛事数据解密 7.巨潮股票资讯，hash 算法解密 8.考古加，粉丝达人数据解密 9.拉钩 data 参数解密 10.毛毛租房，data 数据解密 11.去哪儿网，机票信息数据 12.加速乐 cookie ，马蜂窝旅游数据 13.网易云音乐音乐地址加密，歌曲下载 14.汽车之家，二手车数据 15.华声论坛，散文数据
教育经历
2019-03-01 - 2021-06-01国家开放大学电子商务专科
1.荣获体育3000米长跑比赛第一名 2. 参加篮球校队，比赛小前锋
技能
作品
设计爬虫，请求、反爬、逆向、提取数据、分布式爬虫，数据去重、储存数据库、续爬 落地方案实施：目前使用 scrap_redis 做分布式爬虫增量式，数据去重，清洗，入库。
02024-03-25 18:07
