个人介绍
熟练使用 Django等主流Web框架,了解Django底层原理;
MySQL、Oracle等数据库应用开发经验和优化经验;
熟练掌握爬虫requests,scrapy,scrapy-redis,selenium等,掌握正则表达式,xpath提取网页资源方法就练构建分布式爬虫。
熟悉各个网站常见反爬简略,如图片验证码,模拟登陆,js逆向等。
了解numpy,pandas等数据分析库。
逻辑思维能力强,善于沟通,责任心强,良好的团队合作精神。
工作经历
2018-04-05 -至今阿思拓电子商务python开发
网站开发、app开发、数据爬取
2017-07-01 -2018-03-01郑州科瑞思拓软件有限公司python
1、负责 python web 开发工作。 2、根据新需求进行方案设计与技术文档的编写 3、相关软件模块的完善及性能优化
教育经历
2013-09-01 - 2017-06-01河南农业大学计算机科学与技术(软件技术)本科
河南农业大学 软件工程本科
技能
编写爬虫程序,想出反反爬策略,数据清洗,分表存储,维护代理ip池项目简介: 普工职位信息公司名称,地址**,招聘要求,招聘人数,已报名人数等技术手段: 1requests发送请求,获取响应 2.购买代理ip,实现代理ip池,定期检测ip的可用性,维护代理ip池的质量 3、通过正则,xpath等捍取网页幸要的内容 4、保存为字典,通过PyMongo操作数据库,保存数据并存CSV 5.使用logging模块编写监控程序进行爬虫监控,并根据日期定向输出日志到log文件
zz91是一款专业的再生资源综合服务平台,主要内容:再生资源的咨询发布,为客户定制企业主页,提供客户最全面的再生资源信息,物流的调配的等。负责部分模块的设计与后台开发以及日常维护,包括web端与app端。网站网址 www.zz91.com 主要使用python+Django+mysql/redis 构建。 主要负责: 一、网站 1、用户模块,包括用户登录、注册以及会员管理模块等。 2、行情报价模块,业务逻辑以及数据库数据交互。 3、简单数据分析后,在前台页面展示结果。 二、爬虫 1、跟据需要把取的数探进行需求分析,分析目标网站的网站结构和一些反爬手段 2、通过requests,scrapy,scrapy-redis,xpath等技术手段编写犯虫程序进行内容抓取 3、采用asyncio+aiohttp以达成高并发,异步请求。通过继承aiohttp.ClientSession类来保存cookie对象,以应对基于cookie的反扒策略 4、通过timeout设置超时重发机制,考虑网站能否打开和打开时间问题,一般能要加异常判断。超时,retry等成少报措。 5、对抓取到的数探进行清洗去重,分表存储,以供其他部门使用 6、根据爬取过程中遇到的一些反爬手段,优化自己的程序 7、不断学习新技术,满足业务需求