1. 熟悉爬虫原理,熟悉pc、app、小程序端数据爬取,有过大规模、高并发爬虫开发经验。
2. 熟练掌握python,fiddler、charles等抓抓包改包工具,擅长验证码加密处理/代理池等爬虫相关技术。
3. 有一定逆向分析能力,熟悉Android、Js逆向、反编译、设备指纹、混淆、脱壳、静态分析、动态分析、HOOK,Js混淆、ollvm混淆等。
4. 项目经验:
美团、拼多多、闲鱼、链家、亚马逊、淘宝、抖音、飞猪、新浪、优酷、58、BOSS直聘、各类公众号小程序等。v: pycode2016
分析高德地图app,进行抓包分析,找到指定地点的餐饮数据,进行数据的爬取,可视化,突破反爬,开发相应api,并定期更新数据。
0 2023-06-05 20:04
分析美团app端,pc端,小程序端数据抓包,并进行数据解密,根据各类测试,获取稳定的爬取策略,进行关键字搜索,按区域分类等方式的店铺信息详情爬取。
0 2023-06-05 20:00
分析拼多多app店铺抓包情况,找到加密字段,进行各类解密测试,找到稳定的店铺接口,进行动态ip调整,找到稳定的店铺信息详情获取方法。
0 2023-06-05 20:08