0
1
2
3
4
5
爬虫工程师
深圳全职 · 400/日 · 8700/月信用正常
工作时间: 工作日18:00-22:00、周末9:00-18:00工作地点:
远程
服务企业:
0家累计提交:
0工时
联系方式:
********
********
********
****************
查看联系方式
个人介绍
我是一名专业的爬虫工程师，拥有扎实的计算机基础与编程能力，熟悉 Python、Node.js 等多种语言，精通网络爬虫与数据采集相关技术。在实际项目中，我掌握了从前端页面解析、反爬虫策略对抗，到代理池管理、数据清洗与存储等完整流程，能够针对不同网站或平台灵活设计爬虫方案。除了常规的 HTML 数据抓取，我也有处理 JavaScript 动态加载页面、App 接口解析以及分布式采集架构部署的实战经验。
在技术栈方面，我深入使用过如 Scrapy、Requests、Selenium、Playwright 等主流框架或库，也熟悉 Redis、MySQL、MongoDB 等多种数据库与缓存工具，能高效管理与清洗数据。此外，我对于系统化的反爬虫手段也有所研究，能够定制相应的对抗措施并保证数据采集质量。
我可提供从需求分析、爬虫开发到数据存储与后续数据挖掘的全流程服务，能够帮助企业与个人快速获得高质量的外部数据，实现数据驱动的商业价值。
在技术栈方面，我深入使用过如 Scrapy、Requests、Selenium、Playwright 等主流框架或库，也熟悉 Redis、MySQL、MongoDB 等多种数据库与缓存工具，能高效管理与清洗数据。此外，我对于系统化的反爬虫手段也有所研究，能够定制相应的对抗措施并保证数据采集质量。
我可提供从需求分析、爬虫开发到数据存储与后续数据挖掘的全流程服务，能够帮助企业与个人快速获得高质量的外部数据，实现数据驱动的商业价值。
工作经历
2024-06-01 -至今深圳天泰网络技术有限公司爬虫工程师
主要负责国际航空网站这一块的航班生单、行李购买和航班值机，解决反爬措施后做成接口给内部人员调用，主要逆向为akamai、reese84和顶象验证码。
2023-04-01 -2024-06-01深圳胖达摸鱼科技有限公司爬虫工程师
主要爬取各酒店平台数据，解决网站反爬措施得到想要的数据进行分析处理后保存到mysql数据，部署上线服务器，实现定时爬取大量数据。
教育经历
2020-09-01 - 2023-06-01广东工贸职业技术学院汽车智能技术专科
成绩一般，后面转计算机学习，从事python工作
技能
作品
之前做的ihg,万豪等酒店平台, 比较难的反爬用自动化去获取的, 其他的基本上是小加密, 处理完后就可以获得酒店信息, 酒店数据是要半个小时更新一次各个酒店平台的数据, 数据量较多, 用的是进程加协程进行高并发, 每个平台5个进程配50个协程, 同时爬取10个酒店平台, 分别部署在香港服务器运行.因为离职,所以暂时无图片展示!
02025-01-13 10:29
处理的是h5网站, 首先要对登录进行逆向, 请求头和密码被加密,登录成功后对航班行李搜索接口进行顶象验证码处理,他是随机3种变化,滑块、点选和旋转, 处理成功后用对应客户的信息进行行程确认, 购买相对应行程的行李, 同样也是在支付接口那里逆向银行卡接口加密信息, 购买完成后到腾讯*保存凭证, 返回给后台。
02025-01-13 10:28
处理航班搜索接口，逆向reese84成功后才有数据返回，要带上代理，不然请求多了会被封ip，接下来就是处理数据，分析整理成一一对应的行程返回给后台进行筛选，根据客户的需要进行选择，选完对应行程后提交信息到爬虫这边后再进行行李额的添加，爬虫选择对应的银行卡进行帐号密码逆向，然后用协议请求进行下单出单，成功返回给后台。
02025-01-13 09:54
