proginn0659186690
1天前在线
全职 · 300/日  ·  6525/月
工作时间: 工作日21:00-24:00、周末7:00-23:00工作地点:
服务企业: 15家累计提交: 1工时
联系方式:
********
********
********
聊一聊

使用APP扫码聊一聊

个人介绍

● 熟悉大规模高性能抓取技巧,熟悉 scrapy、feapder 爬虫框架,能够部署分布式爬虫 
● 掌握逆向分析技能(JS 逆向破解)
● 熟悉各反反爬原理和解决方法
● 各网页/APP 端复杂抓包技能
● 能使用 set ,布隆过滤器,MD5,哈希 算法等对数据进行去重)
● 熟悉 jsvmp,webpack,ast 等技术以及各种标准加密算法
● 熟悉瑞数、加速乐、阿里等安全产品处理与逆向
● 熟悉验证码破解、能处理极验等平台产品,能过抖音、企查查等

工作经历

  • 2024-04-01 -至今悟空易职教育科技有限公司python爬虫工程师

    1.负责搭建公司的爬虫系统,对数据进行爬取 2.进行数据清洗,编写通用数据清洗模块,在文章中公告中清洗出准确的需求数据,并且进行去重处理 3.将去重、清洗后的数据存入mysql数据库,设计数据库结构,连接池,提高数据储存效率 4.将所编写的爬虫程序部署到公司服务器上,实现每天自动运行,并且将运行结果发送***实时查看,记录运行失败网页改版的爬虫程序,后续进行维护或重新编写 5解决编写爬虫过程中遇到的反爬虫,包括但不限于 ip风控,登录逆向,cookies反爬,以及各种标准非标准加密算法,js混淆等,目前这些反爬都遇到过,并且全部解决了。

教育经历

  • 2016-09-01 - 2020-07-01中国地质大学长城学院电子信息工程本科

    1.全日制本科大学,电子信息工程 2.c语言计算机二级证书、对编程有兴趣 3.社会实践先进个人,孝老爱亲先进个人

技能

加密解密
MySQL
MongoDB
爬虫
0
1
2
3
4
5
0
1
2
3
4
5
作品
疫情数据

获取全国疫情数据,数据清洗,储存为csv 1. 用pprint模块格式化输出,数据更直观,方便清洗 2. 动态加载,json提取数据 3. 用pandas模块,保存为csv文件 4. 处理反爬,寻找规律,删除无用字段,拼接url

0
2023-05-06 00:49
京东商品爬虫

获取京东商品的价钱、标题、店铺名、付款数、分类等信息、保存csv 1. selenium模拟登陆网站 2. 获取登录验证图片,通过算法分析出缺口点坐标 3. Selenium模拟滑动验证 4. Js模拟下滑操作 5. 获取所需数据,筛选清理,保存csv

0
2023-05-06 00:52
豆果美食爬虫

豆果美食app 爬取分享达人信息,菜谱信息,用料、做法,筛选清洗信息,保存mongodb数据库和csv文件 1. 用fiddler抓包工具抓取app数据包 2. 清洗筛选数据,提取有用信息 3. 携带代理ip,采用多线程处理 4. 保存mongodb数据库

0
2023-05-06 00:54
更新于: 07-27 浏览: 371