python爬虫
0
1
2
3
4
5
1月前来过
爬虫开发
上海全职 · 500/日 · 10875/月信用正常
工作时间: 工作日10:00-22:00、周末10:00-22:00工作地点:
远程
服务企业:
6家累计提交:
1工时
联系方式:
********
********
********
****************
查看联系方式
个人介绍
提供爬虫开发服务和数据清洗服务，有多年相关工作经验，对于各类公开数据的知识采集、ETL及数据包装有丰富经验，对于各类结构化数据产品有深刻认识，能提供快速有效的解决方案—-针对不同行业及不同发布平台都有相应经验。
技能说明：熟悉各类爬虫框架，数据流处理，数据监控，数据清洗抽取挖掘分析。
各类数据看板，tableau开发，pyecharts定制数据看板。
数据库：mongodb、mysql、sqlite，pg，及其他文件形式csv等交付方式
申明：不爬去非公开数据，涉及他人隐私等，请勿打扰。本人也可提供web开发相关需求。。。
个人相关代码贡献：有码云相关学习分享代码，
技能说明：熟悉各类爬虫框架，数据流处理，数据监控，数据清洗抽取挖掘分析。
各类数据看板，tableau开发，pyecharts定制数据看板。
数据库：mongodb、mysql、sqlite，pg，及其他文件形式csv等交付方式
申明：不爬去非公开数据，涉及他人隐私等，请勿打扰。本人也可提供web开发相关需求。。。
个人相关代码贡献：有码云相关学习分享代码，
工作经历
2018-07-01 -2019-07-01政普科技有限公司爬虫开发
主要从事爬虫相关平台建设和维护，开发定向爬虫，对数据的一些监控，实时显示相关日志报表。 主要成果：对亿级数据的平台一期二期建设，保证数据正常，对其他流程和部门的数据支持微服务化，能有效改善数据的质量，防止脏数据影响
教育经历
2013-07-01 - 2017-07-01武昌理工学院计算机科学与技术本科
在校期间了解各类爬虫工具，独立开发了一些定向爬虫
技能
作品
ip代理池项目属于微服务项目，采用开源的可视化地图进行展示相关ip的存活率，实时更新ip代理源，并对其进行测试分类。 提供相关测试接口及多个或一个ip地址接口，灵活使用，对单个ip请求一次更新一次。
02020-12-03 00:09
pyechats定制化看板； 数据使用公共服务平台公开数据，数据量10w级别， 正对垂直行业的数据爬取聚合，数据库使用mysql， 消息队列使用rabbitMQ， 项目构建使用docker， 显示使用pyecharts开源框架定制
02020-12-02 23:41
采用tableau数据看板显示相关维度指标的变化 数据来源：公司内部数据，从excel表格获取后，对数据进行结构化存储； 数据加工，使数据格式统一，剔除异常数据； 采样分析； 数据集市建模； 使用tableau对接相关数据，并进行分析处理，形成智能看板。
02020-12-02 23:28
