bewhy
1月前来过
全职 · 300/日  ·  6525/月
工作时间: 工作日19:00-00:00、周末10:00-21:00工作地点: 远程
服务企业: 0家累计提交: 0工时
联系方式:
********
********
********
聊一聊

使用APP扫码聊一聊

个人介绍

精通python,以及第三方库使用;
熟练使用 Django等主流Web框架,了解Django底层原理;
 MySQL、Oracle等数据库应用开发经验和优化经验;
熟练掌握爬虫requests,scrapy,scrapy-redis,selenium等,掌握正则表达式,xpath提取网页资源方法就练构建分布式爬虫。
熟悉各个网站常见反爬简略,如图片验证码,模拟登陆,js逆向等。
了解numpy,pandas等数据分析库。
逻辑思维能力强,善于沟通,责任心强,良好的团队合作精神。

工作经历

  • 2018-04-05 -至今阿思拓电子商务python开发

    网站开发、app开发、数据爬取

  • 2017-07-01 -2018-03-01郑州科瑞思拓软件有限公司python

    1、负责 python web 开发工作。 2、根据新需求进行方案设计与技术文档的编写 3、相关软件模块的完善及性能优化

教育经历

  • 2013-09-01 - 2017-06-01河南农业大学计算机科学与技术(软件技术)本科

    河南农业大学 软件工程本科

技能

Django
Ajax
爬虫
0
1
2
3
4
5
0
1
2
3
4
5
作品
某劳动网站数据爬取

编写爬虫程序,想出反反爬策略,数据清洗,分表存储,维护代理ip池项目简介: 普工职位信息公司名称,地址**,招聘要求,招聘人数,已报名人数等技术手段: 1requests发送请求,获取响应 2.购买代理ip,实现代理ip池,定期检测ip的可用性,维护代理ip池的质量 3、通过正则,xpath等捍取网页幸要的内容 4、保存为字典,通过PyMongo操作数据库,保存数据并存CSV 5.使用logging模块编写监控程序进行爬虫监控,并根据日期定向输出日志到log文件

0
2023-03-31 22:58
YouTube 数据爬取

根据关键词搜索视频并爬取视频信息,标题,时长,名称,发布时间,视频链接,订阅量,以及评论内容,评论发布者,发布时间以及下级评论等

0
2023-03-31 22:40
91 再生

zz91是一款专业的再生资源综合服务平台,主要内容:再生资源的咨询发布,为客户定制企业主页,提供客户最全面的再生资源信息,物流的调配的等。负责部分模块的设计与后台开发以及日常维护,包括web端与app端。网站网址 www.zz91.com 主要使用python+Django+mysql/redis 构建。 主要负责: 一、网站 1、用户模块,包括用户登录、注册以及会员管理模块等。 2、行情报价模块,业务逻辑以及数据库数据交互。 3、简单数据分析后,在前台页面展示结果。 二、爬虫 1、跟据需要把取的数探进行需求分析,分析目标网站的网站结构和一些反爬手段 2、通过requests,scrapy,scrapy-redis,xpath等技术手段编写犯虫程序进行内容抓取 3、采用asyncio+aiohttp以达成高并发,异步请求。通过继承aiohttp.ClientSession类来保存cookie对象,以应对基于cookie的反扒策略 4、通过timeout设置超时重发机制,考虑网站能否打开和打开时间问题,一般能要加异常判断。超时,retry等成少报措。 5、对抓取到的数探进行清洗去重,分表存储,以供其他部门使用 6、根据爬取过程中遇到的一些反爬手段,优化自己的程序 7、不断学习新技术,满足业务需求

0
2023-03-31 22:34
更新于: 2023-03-31 浏览: 6