0
1
2
3
4
5
0
1
2
3
4
5
2017-06-01 -至今广东叁玖捌大数据科技有限公司爬虫工程师
使用Python,熟悉Scrapy、Flask、Pandas等框架和相关工具,使用OpenCV、TensorFlow破解验证码,熟悉MongoDB、MySQL等数据库,熟悉Docker,熟悉SVN和Git。
2012-09-01 - 2016-06-01广州大学数学与应用数学本科
在校期间做过桌面3D扫描仪,获得挑战杯省一。做过Arduino机器人,并推广为中小学机器人比赛项目。
参与该框架爬虫相关组件后端开发。该爬虫框架主要的功能包括几个方面:爬虫web开发系统,爬虫服务管理系统,爬虫后台服务监控系统,爬虫数据存储系统,爬虫调度系统,验证码集成识别系统,IP代理服务系统。用户可通过web端页面,图形化配置数据抓取规则和流程,后端通过Redis管理并调度爬虫任务。
负责该项目的爬虫开发和数据分析部分。该系统将审计常用的海关各个业务系统进入端口集成到一个平台,充分利用信息化技术,对缉私、稽查、监管、关税、加贸、统计、财务、关保等线条的系统数据进行智能汇总分析;将审计数据分析运用系统数据通过显示屏的方式进行显示。