0
1
2
3
4
5
1月前来过
数据开发
合肥全职 · 300/日 · 6525/月信用一般
工作时间: 工作日00:00-24:00、周末00:00-24:00工作地点:
远程
服务企业:
1家累计提交:
0工时
联系方式:
********
********
********
****************
查看联系方式
个人介绍
大家好，痴迷于爬虫技术。精通 Python、Java 等语言，对分布式爬虫、深度学习反反爬有深入研究。曾利用分布式爬虫技术，将数据抓取效率提高 5 倍，完成大规模数据采集。在反爬对抗中，引入深度学习模型识别验证码，成功率超 90%。我热衷于探索新技术，不断优化爬虫性能，期待在新平台挑战更多高难度任务 。
工作经历
2018-07-01 -2022-11-01上海诺其数据开发
编程语言精通：熟练掌握 Python 语言，能够运用其丰富的库，如requests、Scrapy、BeautifulSoup等，高效完成各类爬虫项目。例如，在为某电商企业构建数据采集系统时，通过requests库定制化请求头，模拟真实用户访问，成功突破反爬机制，采集到精准的商品信息数据。同时，利用Scrapy框架强大的异步处理能力，将数据采集效率提高了 30% 以上，大幅缩短了项目周期。 应对反爬策略：面对复杂多样的反爬机制，我总结出了一套行之有效的应对方法。通过分析网站的反爬规则，灵活运用 IP 代理池、用户代理随机切换、设置合理的请求间隔等手段，成功绕过反爬措施。在处理某新闻资讯网站的爬虫任务时，网站采用了动态验证码反爬策略，我通过引入 OCR 技术和机器学习模型进行验证码识别，配合 IP 代理池的轮换使用，实现了稳定、高效的数据采集，保障了项目的顺利推进。 数据存储与处理：熟悉多种数据库的使用，包括 MySQL、MongoDB 等。能够根据项目需求，合理设计数据存储结构，确保采集到的数据能够安全、高效地存储和调用。在处理大规模数据时，通过优化数据库查询语句和索引设置，显著提升了数
教育经历
2014-09-01 - 2018-07-01南昌理工学院计算机科学与技术本科
