0
1
2
3
4
5
目前是一名爬虫工程师,专注于数据抓取和自动化技术。在我的工作中,我通过设计高效的爬虫系统,帮助企业从网络中提取关键信息,以支持数据分析、商业情报等各类需求。
我的技术栈主要包括:
编程语言:精通 Python 和 JavaScript,能够熟练使用 Python 的爬虫框架(如 Scrapy、BeautifulSoup、Requests),并在 JavaScript 环境下运用 Puppeteer 进行动态页面抓取。分布式架构:掌握 Celery 和 Redis,用于分布式任务调度,处理大规模数据抓取任务。浏览器模拟与反爬:熟练运用 Selenium 和 Puppeteer 进行浏览器自动化操作,能够通过多种方式绕过反爬机制,如代理池、User-Agent 伪装、验证码处理等。数据处理:擅长使用 Pandas、NumPy 处理和清洗抓取的数据,常用 SQL 和 MongoDB 存储数据,并能运用正则表达式、XPath 等技术高效提取信息。性能优化:能够优化爬虫的运行效率,通过异步编程(如 asyncio、aiohttp)加速抓取,减少网络延迟。我乐于解决复杂的抓取难题,不断提升自己的技术水平,期待在未来的项目中继续贡献我的爬虫技术和经验。
2024-03-01 -2024-09-01华丽科技有限公司爬虫实习生
对大型电商平台商品信息进行收集和数据处理,并使用分布式框架去保存大量的数据,使用逆向技术去对抗反爬虫机制
2022-09-07 - 2024-07-01深圳职业技术学院计算机网络技术专科