0
1
2
3
4
5
0
1
2
3
4
5
1月前来过
爬虫/自动化工程师
杭州全职 · 500/日 · 10875/月信用正常
工作时间: 工作日20:00-22:00、周末10:00-22:00工作地点:
远程
服务企业:
4家累计提交:
0工时
聊一聊
个人介绍
1.擅长Python爬虫和自动化软件开发。
2.独立项目经验，具备需求分析、框架设计能力。
3.关心代码质量，是否足够优雅和Pythonic。
4.第三方库的英文文档和源码阅读能力。擅用Google和stackoverflow，能够独立解决问题。
5.终身学习者。
工作经历
2019-05-01 -2020-01-01厦门乐榜科技Python爬虫/逆向工程师
负责爬虫数据源接口的逆向及开发。工作内容包括： 1. 根据 API 需求，分析对应平台的接口。 2. 协议分析及接口种类、接口参数分析。 3. 接口加密参数逆向。 4. 接口开发，基于 Redis 队列实现任务的分布式执行，供服务端调用。 5. 根据平台接口是否更新和用户需求，做后续的接口维护。
2018-11-01 -2019-05-01厦门隐谷科技爬虫/自动化工程师
负责爬虫程序及自动化脚本开发。工作内容包括： 1. 根据爬虫需求，做相关接口的协议分析。 2. 分析反爬机制，做出对应的反反爬方案。 3. 爬虫系统设计，根据需求选取合适的技术框架。 4. 爬虫系统开发。 5. 数据处理与清洗。 6. 基于Airtest框架，做一些 App 自动化脚本的定制化开发。
2016-09-01 -2018-09-01杭州互软科技.net工程师
工作内容 1.参与项目的需求分析即文档撰写。 2.概要设计、数据库设计文档的撰写。 3.项目开发和代码实现。 4.项目交付与测试。 5.技术运维。 工作业绩 1.做过许多大型项目的开发，包括IDC服务器租用、DNS域名解析、防火墙后台管理等。 2.参与过浙江省自学考试系统的设计和开发。
教育经历
2012-09-01 - 2015-07-01浙江商业职业技术学院旅游英语专科
大专，浙江商业职业技术学院，旅游英语专业，2012.9~2015.7 通过 CET4 英语等级考试
技能
作品
基于Playwright框架，改写巨量算数中的js加解密算法并替换，暴露API供外部调用。目前支持请求参数signature生成，结果data参数解密等服务。
02023-04-27 15:57
基于Pyppeteer浏览器框架，实现字节加密算法的同域调用，暴露API接口供外部调用。目前支持今日头条sign参数获取、巨量百应signature获取、抖音罗盘信息获取等服务。
02023-04-27 16:02
代理池包括四个基本功能模块：获取模块、存储模块、检测模块和接口模块。 ● 获取模块：需要定时在各大代理网站抓取代理。代理既可以是免费公开代理，也可以是付费代理，代理的形式都是 IP 加端口。此模块尽量从不同来源获取，尽量抓取高匿代理，抓取成功之后将可用代理保存到数据库中。 ● 存储模块：负责存储抓取下来的代理。首先要保证代理不重复，要标识代理的可用情况，还要动态实时处理每个代理，所以一种比较高效和方便的存储方式就是使用 Redis 的 Sorted Set，即有序集合。 ● 检测模块：需要定时检测数据库中的代理。这里需要设置一个检测链接，最好是爬取哪个网站就检测哪个网站，这样更加有针对性。如果要做一个通用型的代理，可以设置百度等链接来检测。另外，我们需要标识每一个代理的状态，如设置分数标识，100 分代表可用，分数越少代表越不可用。检测一次，如果代理可用，我们可以将分数标识立即设置为 100 满分，也可以在原基础上加 1 分；如果代理不可用，可以将分数标识减 1 分，当分数减到一定阈值后，代理就直接从数据库移除。通过这样标识分数，我们就可以辨别代理的可用情况，选用的时候会更有针对性。 ● 接口模块：需要用 API 来提供对外服务的接口。其实我们可以直接连接数据库来取对应的数据，但是这样就需要知道数据库的连接信息，并且要配置连接，而比较安全和方便的方式就是提供一个 Web API 接口，我们通过访问接口即可拿到可用代理。另外，由于可用代理可能有多个，所以我们可以设置一个随机返回某个可用代理的接口，这样就能保证每个可用代理都可以取到，实现负载均衡。
02023-04-27 16:10
