个人介绍
在公司担任爬虫工程师,在工作的六年内,爬取过瑞数全家桶(中国海关,药监局,国家电网,欧冶,紫金保险,中国联通,深圳大学,深圳房地产),加速乐和阿里系cookie破解,破解过极验验证码和易盾验证码,爬取过抖音,拼多多,企查查,淘宝,苏宁,京东,美团,饿了么,今日头条,腾讯,爱奇艺,qq音乐,酷狗,网易云音乐,前程无忧,智联招聘,吉祥航空等,还解决爬虫遇到的风控,能够解决反爬问题(如IP封禁(添加代理)等)。
1、熟悉大规模高性能抓取技巧,熟悉多线程,异步
2、掌握逆向分析技能(Js逆向破解/APP逆向破解)
3、熟悉各反反爬原理和解决方法
4、各网页/APP端复杂抓包技能 ;
5、熟悉scrapy、aiohttp、mysql、redis、MongoDB的开发和使用,能用set,布隆过滤器,MD5,哈希算法对数据去重;
6、能部署搭建gerapy和scrapyd进行爬虫监控管理;
7、熟悉Django,Flask等开发框架,能熟练的使用flask开发接口
如果我能帮上您的忙,请点击“立即预约”或“发布需求”!
工作经历
2023-03-27 -2024-02-29上海择仕信息科技有限公司高级爬虫工程师已认证
给公司客户破解网站请求的cookie(加速乐,阿里系),极验和易盾的验证码,爬取阿迪达斯全网站的商品信,qq音乐下载等
2017-05-08 -2021-10-06思特奇信息技术股份有限公司爬虫工程师
给公司客户破解瑞数产品网站,包括瑞数4,5,6,网站包括国家电网,中国海关,药监局,中国联通,深圳大学等
教育经历
2012-09-01 - 2016-12-30河南科技大学畜牧兽医本科已认证
资质认证
技能
帮客户破解极验平台的点选,滑动,无感验证码,还有易盾平台的滑动验证码 使用python获取到平台的验证码图片,然后使用图片识别网站识别滑块的距离,或者需要点选的文字,分析js代码并使用js代码加密请求的数据,再次使用python对网站发送请求,成功获取验证码通过之后获取到的数据,然后带着数据登录网站,能够登录成功
主要是给客户破解瑞数产品,包括瑞数4,5,6,相关网站有中国海关,国家电网,药监局,中国联通,深圳房地产,深圳大学等 首先抓包分析网站请求信息,使用python请求对应的地址获取到js代码,分析js代码,把js代码抠下来拿到本地node环境运行,使用补环境技术,让js代码在本地能够运行成功,最后获取到cookie,再次带上cookie对网站发请求,顺利获取到网站的信息