wyp
1月前来过
全职 · 700/日  ·  15225/月
工作时间: 工作日19:30-1:30、周末0:00-0:30工作地点: 远程
服务企业: 22家累计提交: 13工时
联系方式:
********
********
********
聊一聊

使用APP扫码聊一聊

个人介绍

半年后端开发经验,三年爬虫开发经验,

熟练掌握爬虫开源框架scrapy的使用,对常见的字体反扒、IP封锁、JS加密、滑块验证码反扒技术等都能攻克

熟练掌握web、app抓包

熟练掌握re、xpath、beautifulsoup等页面解析工具

有能力独立开发爬虫管理系统,实时监控数据采集质量

熟悉numpy、pandans等数据处理工具

熟悉机器学习sk-learn库的使用

熟悉ETL工具kettle

熟悉Mysql、Mongo、redies数据库的使用

工作经历

  • 2019-06-01 -至今广东数鼎科技有限公司爬虫工程师

    1.爬虫的开发 2.反爬技术的攻克 3.爬虫管理系统的开发 4.ETL流程的开发 目前在开发自己维护的爬虫任务有50+个左右,程度稳定,无出现过重大失误。

  • 2016-04-01 -2019-04-01广东链动科技有限公司爬虫工程师

    1.后端开发:负责电商网站注册、登录功能的开发,使用框架是Django 2.爬虫任务需求分析、爬虫程序的开发、爬虫程序的维护,使用框架是scrapy 3.爬虫采集数据的检查、核对、交付

教育经历

  • 2011-09-01 - 2015-06-01广东石油化工学院电子信息科学与技术本科

    在校期间表现良好,曾担任班级学习委员,大学生社团联合会网络编辑部成员,文学社技术部部长

技能

kettle
numpy
pandans
sk-learn
Flask
Django
scrapy
0
1
2
3
4
5
0
1
2
3
4
5
作品
58二手车-数据采集

全站二手车源数据的采集,涉及的反爬技术是“IP限制”,解决方案:用代理IP维护成自己的IP池(最低成本的消耗代理IP),数据量70W+

0
2020-05-20 20:14
汽车之家网站数据采集

汽车之家全站数据采集,涵盖: 1.汽车品牌、车型、型号、配置 2.车辆口碑 3.经销店、经销店报价 等等…… 设计反爬技术:JS+字体反爬

0
2020-05-20 20:09

好评度
  • 专业(强烈推荐)
  • 按时(强烈推荐)
  • 态度(强烈推荐)
成功率 0 % 1 人评论
用户评价

用户657056
zosen
不错 期待继续合作
更新于: 2020-05-20 浏览: 713