0
1
2
3
4
5
1月前来过
爬虫
北京全职 · 300/日 · 6525/月信用正常
工作时间: 工作日08:00-24:00、周末08:00-24:00工作地点:
远程
服务企业:
4家累计提交:
1工时
联系方式:
********
********
********
****************
查看联系方式
个人介绍
基本情况:一名python开发工程师，现在自由职业，可以随时工作，随时接单
掌握技能如下:
1、前端：html、css、js、jquery(js框架)、bootstrap(前端框架)等熟练使用
2、后端：框架：Struts2（对Filter的封装）、springMVC（对Servlet的封装）、spring（AOP切面编程）、springBoot（起步依赖和自动配置）、Hibernate（ORM|全自动化）、Mybatis（ORM|半自动化）
3、数据库：mysql、redis、mongoDb
4、 爬虫：HttpClient（原始爬虫）、WebMagic（对HttpClient的封装）、Selenium（浏览器模拟组件）
5、分布式：redis、Zookeeper、rabitMQ
6、其他开发语言：python
工作经历
2016-08-01 -2022-01-05北京前锦众程人力资源有限公司爬虫
在公司从事爬虫工程师岗位，因为在职的情况，不便透漏更多信息，工作主要是航司数据采集，接口制作，方便提取使用熟练使用python js解析，app逆向
教育经历
2016-09-01 - 2019-06-30广西科技大学计算机本科
本科，计算机专业，以优秀毕业生毕业
技能
作品
因公司自主研发的*APP“点多多”项目，需要增加商城功能，需要商品展示，按照公司的要求对京东商城的七类商品进行了采集，包括商品类别，商品ID，名称，价格，品牌，参数，折扣价，主图，详情图等相关信息进行了采集；并将数据保存在数据库，图片需上传到OSS上。 1.分析项目网页的结构，制定爬虫的方式； 2.根据项目需求用Scrapy搭建爬虫框架，根据项目需求制定爬取计划； 3.通过Scrapy.Request发送请求，并设置ip代理，用Xpath解析页面，使用正则进行特殊的页面解析，如：js渲染的价格数据和图片链接； 4.对数据进行采集，然后将采集下的数据进行分析处理，清洗； 5.将采集的数据存储到MySql数据库中； 6.将图片先下载到本地，然后在上传到阿里云的OSS储存器中； 7.对代码和数据进行维护和相关的处理。
02022-01-05 15:18
批量爬虫，进行爬取招标网站的信息，其中技术方面涉及到生成日志，并且抓取日志错误信息，设置代理池这些反爬操作，也是使用xpath抓取信息，抓取的数据是保存到数据库。
02022-01-05 15:15
用户评价
河北领尚信息科技有限公司
特别优秀
