2019-05-01 -2020-02-29深圳追一科技有限公司python

前期负责爬虫项目，后标准化成爬虫平台，后期接触后端业务。负责项目组所有api服务搭建，对已有的项目构建优化 项目描述： 负责项目组api服务，重构已有的快速教育服务，优化项目构建 一、项目结构优化 1．弃用falsk注册路由，改用falsk-restful注册和管理路由 2．加入PYTHONPATH统一模块导入方式，统一配置解析优化 3．弃用print打印，改用logging统一日志打印，自定义HTTPHandler发送告警中心 4．减少子进程调用，改用python内置的模块 5．弃用手动参数校验，改用reqparse统一参数校验 6．弃用多层异常处理，改用abort做统一异常处理 7．faiss加载优化，弃用启动时全部加载，改用用户访问时动态加载 8．接口调试优化，一个接口查看全局变量的数据结构 二、构建优化 1．弃用pyenv和anaconda，改用编译好的python，解压即用 2．弃用hadoop和java sdk，改用python hdfs模块 3．api服务多实例优化

2018-03-01 -2019-05-01深圳呗佬智能有限公司高级爬虫工程师

在该公司担任爬虫组负责人，组员4人。爬取拉勾网、智联招聘、boss直聘等职位信息爬取百度百科、搜狗百科、互动百科等爬取CSDN、github接口、wiki、google schola等公开数据 项目描述： 负责公司数据爬取、爬虫架构设计搭建、后台对接。 ● 搭建docker分布式异步协程爬虫集群架构 ● tasker短信转发破解短信验证码 ● 调用打码平台破解滑动验证码、点选验证码 ● 深度学习卷积神经网络破解字符验证码

2017-03-01 -2018-02-01深圳市电陶思创科技有限公司爬虫工程师

爬取顺企网全站数据、1688黄页全站数据、净水类数据、天眼查、企信宝等企业信息 利用已爬取的企业信息做数据分析，为公司销售部提供支持 项目描述： 负责深智云搜索引擎数据支持，爬取顺企网、企查查、1688黄页等网站 ● 基于scrapy、scrapy-redis分布式爬虫架构搭建和优化 ● docker分布式爬虫 ● bloomfilter去重和队列优化 ● elasticsearch后台接口对接

2010-09-01 - 2015-06-30江西理工大学材料物理本科

2010年至2015年，就读于江西理工大学-材料物理专业