0
1
2
3
4
5
0
1
2
3
4
5
2小时前在线
爬虫工程师
长沙全职 · 500/日 · 10875/月信用一般
工作时间: 工作日18:00-23:00、周末00:00-24:00工作地点:
服务企业:
0家累计提交:
0工时
联系方式:
********
********
********
****************
查看联系方式
个人介绍
熟悉scrapy、scrapy-redis分布式爬虫框架
熟悉搭建gerapy爬虫监控平台以及实现任务调度
熟悉JS逆向破解
熟悉图像识别
熟悉pc、app、小程序端数据爬取，处理过大规模爬虫开发
熟悉应用反反爬虫机制，代理IP、User-Agent代理、ajax请求分析、cookie登录、模拟浏览器登陆
熟悉selenium、appnium、playwright等自动化框架
熟悉requests、xpath、正则re模块，熟悉urllib、Beautifulsoup等数据包的库
熟悉搭建gerapy爬虫监控平台以及实现任务调度
熟悉JS逆向破解
熟悉图像识别
熟悉pc、app、小程序端数据爬取，处理过大规模爬虫开发
熟悉应用反反爬虫机制，代理IP、User-Agent代理、ajax请求分析、cookie登录、模拟浏览器登陆
熟悉selenium、appnium、playwright等自动化框架
熟悉requests、xpath、正则re模块，熟悉urllib、Beautifulsoup等数据包的库
工作经历
2023-01-01 -至今能信安爬虫工程师
1、负责整个爬虫系统搭建 2、负责爬虫监控平台搭建 3、负责各手机app应用市场的数据采集 4、负责七麦数据采集 5、负责公众号数据采集
2020-05-01 -2022-12-01圣禾堂爬虫工程师
1、负责公司数据采集，主要采集电子元器件相关网站信息。 2、 采集流程：爬虫任务调度开启，对数据进行清洗、去重、落地、入库，最后分析数据价格、库存等相关信息，生成重要指标数据再进行推送。
2017-03-01 -2020-04-01湖南乐旅旅游有限公司爬虫工程师
1、负责爬取航司相关数据，对数据进行清洗、去重、落地、分析 2、实现机票自动比价、登录、下单、支付、信息回填等功能 3、自动抢票工具开发。
教育经历
和TA聊聊APP扫码和程序员直接沟通
该用户选择隐藏教育经历信息，如需查看详细信息，可点击右上角“和TA聊一聊”查看
技能
作品
通过关键词进行搜索得到搜索结果列表，遍历匹配指定的公众号名称，再通过API接口搜索得到公众号详情数据，比如公司信息、*号、介绍、文章详情、浏览量、转载量等数据
02024-10-17 16:41
