Scim
全职 · 300/日  ·  6525/月
工作时间: 工作日09:00-22:00工作地点: 远程
服务企业: 0家累计提交: 0工时
联系方式:
********
********
********
聊一聊

使用APP扫码聊一聊

个人介绍

目前是一名爬虫工程师,专注于数据抓取和自动化技术。在我的工作中,我通过设计高效的爬虫系统,帮助企业从网络中提取关键信息,以支持数据分析、商业情报等各类需求。

我的技术栈主要包括:

编程语言:精通 Python 和 JavaScript,能够熟练使用 Python 的爬虫框架(如 Scrapy、BeautifulSoup、Requests),并在 JavaScript 环境下运用 Puppeteer 进行动态页面抓取。分布式架构:掌握 Celery 和 Redis,用于分布式任务调度,处理大规模数据抓取任务。浏览器模拟与反爬:熟练运用 Selenium 和 Puppeteer 进行浏览器自动化操作,能够通过多种方式绕过反爬机制,如代理池、User-Agent 伪装、验证码处理等。数据处理:擅长使用 Pandas、NumPy 处理和清洗抓取的数据,常用 SQL 和 MongoDB 存储数据,并能运用正则表达式、XPath 等技术高效提取信息。性能优化:能够优化爬虫的运行效率,通过异步编程(如 asyncio、aiohttp)加速抓取,减少网络延迟。

我乐于解决复杂的抓取难题,不断提升自己的技术水平,期待在未来的项目中继续贡献我的爬虫技术和经验。

工作经历

  • 2024-03-01 -2024-09-01华丽科技有限公司爬虫实习生

    对大型电商平台商品信息进行收集和数据处理,并使用分布式框架去保存大量的数据,使用逆向技术去对抗反爬虫机制

教育经历

  • 2022-09-07 - 2024-07-01深圳职业技术学院计算机网络技术专科

技能

0
1
2
3
4
5
作品
bitcoin数据抓取

bitcoin参数逆向加密,具体就是解决标准加密算法md5还有一个非对称加密算法即可,然后再采用scrapy-redis 加速多线程,和大规模数据多爬取和去重,抓包工具使用charles,network面板都可以,然后解析一下json即可

0
2024-09-21 17:39
下载次数:0
¥500
更新于: 2小时前 浏览: 3