0
1
2
3
4
5
1月前来过
python爬虫工程师
南京全职 · 750/日 · 16312/月信用正常
工作时间: 工作日19:00-23:30、周末10:00-16:30工作地点:
服务企业:
6家累计提交:
0工时
联系方式:
********
********
********
****************
查看联系方式
个人介绍
1、对工作认真负责，努力学习，为公司创造更多价值。
2、善于沟通，积极响应各级号召，完成上级交付的任务与挑战。
3、熟练掌握request、scrapy、scrapy-redis爬虫流程，熟练掌握xpath、bs4、正则、css等数据解析方法。
4、熟悉网站常见反爬策略USER-AGENT、Headers、Referer等，能根据网页分析出常见反反爬对策。
5、熟悉前段代码 bs64加密 AES，可以通过抓包工具分析出真实request请求与response响应内容。
2、善于沟通，积极响应各级号召，完成上级交付的任务与挑战。
3、熟练掌握request、scrapy、scrapy-redis爬虫流程，熟练掌握xpath、bs4、正则、css等数据解析方法。
4、熟悉网站常见反爬策略USER-AGENT、Headers、Referer等，能根据网页分析出常见反反爬对策。
5、熟悉前段代码 bs64加密 AES，可以通过抓包工具分析出真实request请求与response响应内容。
工作经历
2022-04-01 -至今的卢技术有限公司python爬虫工程师
抓取知乎上关于自动驾驶的提问与回答 1、通过抓包发现三个参数比较可以：x-zse-93、x-zse-96、x-zst-81，刷新页面再次查看数据接口参数发现96参数会随着页面刷新发生变化，其他两个值为定值 2、 通过全局搜索x-zse-96参数确定对应JS文件，搜索发现两处均打上断点，调试发现只运行一个，继续分析发现（F(r).encrypt)(f()(s))）可疑，打上断点，刷新调试,通过跟栈进入F(r).encrypt)方法，判断此处参数x-zse-96加密位置（return __g._encrypt(encodeURIComponent(e))），f()为编码函数，s的值为i:101_3_3.0、c:/api/v4/topics/19635352/best_answerers?limit=3、o:"AFAeIjRtgBSPTpSQudQaa4i-eiRP22VxXGM=|1644995945"、x-zst-81字段拼接而成。且S参数经过了MD5加密为16进制。 3、 参数分析完毕抠取，拷贝此生成方法所有JS代码到notepad++，格式化折叠所有代码搜索return __g._e
教育经历
2016-03-01 - 2018-07-01中国海洋大学继续教育学院应用英语专科
在校期间主要学习应用英语，与邮轮相关的知识，最后分配到海事局，要么邮轮工作
技能
作品
企名片公司项目、业务抓取 1、抓包获取接口链接发现为encrypt_data加密数据 2、 全局搜索encrypt_data定位所在JS 3、 在js搜索encrypt_data位置打上断点跟栈，发现d.a可以点击进入 4、 可见此方法为加密算法 5、 补全此方法所需要参数，改写a.a.decode 6、 带入加密参数解析完成。
02023-04-17 19:14
懂车帝整站车辆详细信息参数抓取 1.分析网页发现对应车型和车型参数接口链接的关系，车型参数连接拼接车型id就位车型对应参数的接口链接。 2. 通过请求发现并无什么加密，正常三剑客就可以请求到数据 3. 使用scrapy框架进行抓取任务并存入sql库 4.通过车型id构建车型与相应配置的关联表，方便后期数据改动，增删改查操作。
02023-04-17 19:15
抓取知乎上关于自动驾驶的提问与回答 1、通过抓包发现三个参数比较可以：x-zse-93、x-zse-96、x-zst-81，刷新页面再次查看数据接口参数发现96参数会随着页面刷新发生变化，其他两个值为定值 2、 通过全局搜索x-zse-96参数确定对应JS文件，搜索发现两处均打上断点，调试发现只运行一个，继续分析发现（F(r).encrypt)(f()(s))）可疑，打上断点，刷新调试,通过跟栈进入F(r).encrypt)方法，判断此处参数x-zse-96加密位置（return __g._encrypt(encodeURIComponent(e))），f()为编码函数，s的值为i:101_3_3.0、c:/api/v4/topics/19635352/best_answerers?limit=3、o:"AFAeIjRtgBSPTpSQudQaa4i-eiRP22*XGM=|1644995945"、x-zst-81字段拼接而成。且S参数经过了MD5加密为16进制。 3、 参数分析完毕抠取，拷贝此生成方法所有JS代码到notepad++，格式化折叠所有代码搜索return __g._encrypt(encodeURIComponent(e))，点击对应花括号，显示开始与结束，按照括号颜色抠取Js 4、 python实现：构建响应请求头，拼接对应s参数，经过处理的s参数要通过MD5加密，调用JS文件传入S参数，再将生成的参数传入请求头发现可以正常请求到数据 5、 接下来就是网页数据提取操作。
02023-04-17 19:16
