爬虫
0
1
2
3
4
5
无
杭州全职 · 300/日 · 6525/月信用一般
工作时间: 工作日18:00-24:00、周末10:00-22:00工作地点:
远程
服务企业:
0家累计提交:
0工时
联系方式:
********
********
********
****************
查看联系方式
个人介绍
本人是一名具备丰富经验的Python爬虫及数据分析工程师，擅长使用Scrapy、BeautifulSoup等工具进行数据抓取，熟练掌握Pandas、NumPy进行数据清洗和分析，具备良好的数据处理和可视化能力，致力于从海量数据中挖掘有价值的信息，助力企业决策。
工作经历
2024-07-02 -2024-07-17xx无
作为一名拥有三年爬虫程序员工作经验的专业人士，我在XX科技有限公司担任爬虫工程师一职。以下是我在该公司的主要工作经历： 1. 负责设计并实现高效稳定的爬虫系统，针对不同网站结构和反爬策略，制定相应的解决方案，成功抓取了数千万条数据。 2. 参与公司爬虫项目的需求分析，与技术团队共同探讨爬虫架构的优化方案，提高爬虫系统的性能和可扩展性。 3. 熟练掌握Python、Scrapy、Selenium等爬虫相关技术，实现对目标网站的数据抓取、解析、存储和清洗。 4. 针对动态加载数据的网站，运用JavaScript逆向分析、模拟登录等技术，突破反爬限制，确保数据抓取的完整性。 5. 负责监控爬虫系统的运行状态，发现并及时解决爬虫过程中遇到的问题，如IP封禁、数据抓取异常等。 6. 参与搭建分布式爬虫集群，实现多节点协同工作，提高数据抓取效率。 7. 优化爬虫策略，降低服务器负载，提高爬虫系统的资源利用率。 8. 遵循我国相关法律法规，确保爬虫行为的合规性，维护公司利益。 9. 与团队成员保持良好的沟通与协作，分享爬虫经验，提升团队整体技术水平。 通过这三年的工作经历，我积累了丰富的爬虫项目经
教育经历
2007-06-08 - 2024-07-17杭州电子科技大学信息与通信工程本科
技能
作品
运用senlenium与数据库技术将根据淘宝搜索框搜索获取所需要的店铺信息，当然验证码滑块需要自己手动滑动，由于时间原因和一些考虑，认为验证码只需要几秒自己划一下就行，所以并没有写绕过验证码的程序。如果有所需要，将所获取的数据进行分析形成可视图形也是可以做到的。这个作品还有一些不足之处，但基本使用应该是没有问题的。
02024-07-29 22:15
