不再迷茫
1月前来过
全职 · 500/日  ·  10875/月
工作时间: 工作地点: 远程
服务企业: 0家累计提交: 0工时
联系方式:
********
********
********
聊一聊

使用APP扫码聊一聊

个人介绍

编程技能:熟练掌握Python编程语言,并且了解相关的库和框架,如Scrapy、BeautifulSoup、Requests等,以便开发和管理爬虫程序。


网络协议和通信:了解HTTP、HTTPS、TCP/IP等网络协议,理解Web请求和响应的过程,能够模拟浏览器行为发送请求并处理响应。


反爬虫对策:熟悉常见的反爬虫机制,如验证码、IP封禁、User-Agent检测等,能够分析并应对这些反爬虫手段,保证爬虫的稳定性和持续性。


数据解析和提取:具备解析HTML、XML、JSON等数据格式的能力,能够使用XPath、CSS选择器或正则表达式等工具从网页中提取所需的数据。


逆向工程技术:了解逆向工程的基本原理和方法,能够分析目标网站的JavaScript代码、加密算法、接口参数等,以便实现数据的逆向工程和抓取。


数据存储和处理:熟悉数据库操作,能够将爬取到的数据存储到数据库中,并进行数据清洗、去重、转换等处理,以便后续的分析和应用。


高效率和稳定性:具备编写高效率和稳定性爬虫程序的能力,包括使用多线程或异步编程提高爬取速度,处理异常情况和错误日志,保证爬虫的可靠性和健壮性。


法律和道德意识:了解网络爬虫的法律风险和道德规范,遵守相关法律法规,尊重网站的合法权益,不进行非法的数据采集和滥用。


持续学习和创新精神:紧跟技术发展的步伐,关注新的爬虫技术和工具,不断学习和探索新的方法和思路,提升自己的技术水平和解决问题的能力。

工作经历

  • 1970-01-01 -至今电信python

    网络爬虫开发: 使用 Python 编写网络爬虫,从互联网上收集和提取数据,并进行数据清洗和处理。 反爬虫对抗: 分析和绕过常见的反爬虫机制,如验证码、IP封锁、动态内容等,确保爬虫能够稳定高效地获取目标数据。 数据解析和提取: 使用 BeautifulSoup、Scrapy 等库解析 HTML、XML 和 JSON 数据,提取所需信息,并存储到数据库或文件中。 动态网页逆向工程: 使用工具如 Selenium、Puppeteer 等模拟用户行为,自动化操作网页,获取动态生成的内容和数据。 API 逆向工程: 分析和逆向工程 Web API 接口,了解其参数、请求方式和返回数据结构,以便与其他系统进行集成或开发相关工具。 安全评估和漏洞挖掘: 对 Web 应用程序进行安全评估,发现潜在的漏洞和安全风险,并提供相应的修复建议。 反编译和代码审计: 使用工具如 Burp Suite、IDA Pro 等对 Web 应用程序进行反编译和代码审计,以发现潜在的安全问题和漏洞。 技术支持和培训: 向团队成员提供技术支持和培训,分享爬虫和逆向工程方面的知识和经验

教育经历 和TA聊聊

APP扫码和程序员直接沟通

  • 该用户选择隐藏教育经历信息,如需查看详细信息,可点击右上角“和TA聊一聊”查看

技能

0
1
2
3
4
5
作品
facebook登录逆向

处理国外facebook网站数据,过程中用到了逆向,逆向过程中用到webpack加密以及AES-GCM算法,熟练掌握逆向扣代码技术,vpn熟练运用等

0
2023-08-11 10:55
头条公示栏

处理头条网站数据,过程中用到了逆向,逆向过程中因为查询参数有加密所以用到了补环境,熟练掌握补环境技术,浏览器指纹,以及存储技术

0
2023-08-11 10:43
51job招聘网

处理招聘网站数据,过程中用到了逆向,逆向过程中因为cookie中有加密所以用到了补环境,熟练掌握补环境技术,浏览器指纹等

0
2023-08-11 10:40
更新于: 2023-08-11 浏览: 226