0
1
2
3
4
5
0
1
2
3
4
5
1月前来过
python爬虫全职 · 300/日 · 6525/月信用正常
工作时间: 工作日09:00-18:00、周末11:00-18:00工作地点:
远程
服务企业:
0家累计提交:
0工时
联系方式:
********
********
********
****************
查看联系方式
个人介绍
我是程序员客栈的小二，一名爬虫工程师以及运维工程师，曾在上海传音公司担任过爬虫，之前做过运维工作对python和linux具有一定的了解，如果我能帮上您的忙，请点击“立即预约”或“发布需求”！
工作经历
2021-05-13 -2023-05-10上海传言python爬虫
负责公司资讯类app数据拿取，拿取海外新闻网站bbc，cnn，youtube等内容
教育经历
2013-08-07 - 2016-09-01安徽电子信息职业技术学院计算机专科
技能
作品
1服通过scrapy框架拿取国内外新闻资讯，视频等 展现在公司app内 2.主要负责新闻以及视频的拿取，通过xpath去除脏数据，playright拿取评论，并存储带mysql中 3.部分网站有http2的反扒以及对header请求头的识别，通过升级http请求和可动态添加header请求头等方法解决
02024-05-29 12:58
1服务器维护，配合开发稳定运行项目 2.主要负责项目相关配置，项目更新，域名维护等，项目使用nginx，tomcat，php，mysql，jenkins，jumpserver等 3.面对不明原因的网络缓慢，异常内存使用过高，cpu使用过高以及不明程序长时间占用资源等问题
02024-05-29 12:05
1.项目整体分为数据拿取，脏数据去除，去重，入库 2.整个项目当中基本都有涉足，主要在于数据拿取和脏数据去除，数据去重通过数据的md5以及scrapy框架和redis进行去重，采用了scrapy分布式进行爬取数据，最终实现每隔几分钟进行一次更新数据拿取 3.部分网站会有验证码需要解决，通过网上开源代码进行破解以及第三方验证码公司进行破解
02024-05-29 11:54
