个人介绍
我的是一名爬虫爱好者,目前工作年龄已有7年,最初是以Java实习生开始,接触到数据爬虫;后面的工作就换到运维,一直至今;虽然是运维,但一直与数据打着交道,说是数据运维也不过分。也不是一直接触爬虫至今,运维工作开始后,第4年又想起网络爬虫这一职业,就开始不断学习、不断了解这一方向,就越发觉得喜欢这个技术,自此开始自学python及相关行业知识,专业知识的积累,也让运维本职工作好做了不少,现在有更多的时间来接触爬虫。
我做过的大大小小项目-网络接单:某商城店铺数据爬取、某地图的店铺数据信息爬取、除国内外,国外某公开信息网站信息爬取、公司内部数据爬取并自动填写到相关web网站等。
我个人熟练使用的技术栈主要是:python网络爬虫开发,webjs逆向比较熟练,QT界面制作及其他自动化也有做过。服务器程序部署、系统维护之类的一直再做的工作,当然主要希望能接到更多爬虫数据相关的工作。以上是我的个人介绍,如果我能帮上您的忙,请点击“立即预约”或“发布需求”!
最后,感谢您的关注,祝您工作顺利,生活愉快!
工作经历
2018-04-01 -至今南京通达海科技股份有限公司数据运维工程
● 负责程序部署、补丁升级、服务器维护等工作,确保系统的稳定性和安全性; ● 线上/线下用户问题巡回调研,业务系统需求收集,需求文档编写整理,产品售后支持,指导客户软件应用,现场系统培训解答等; ● 熟悉 Oracle、Sybase 等数据库,包括数据的备份和恢复、性能优化、SQL 语句调优等方面的工作以及公司内部 ETL 数据工具维护、数据清洗、数据迁移、SQL 指标脚本制作等; ● 省级/市级多类型数据报表统计,数据指标体系报表制作,以及用户数据需求对接等; ● 基础设备(系统触摸屏、平板 pad等)维护调试,保障院级领导系统使用正常; ● 网关系统维护,接口文档整理,负责所有与第三方公司接口对接调试工作(通常为:xml和 json 作为常用的数据交换); ● 使用 Python 编程语言开发自动化脚本,提高工作效率和自动化程度。 ● 熟练使用 Windows/Linux 操作系统,包括系统安装、配置、维护和故障排除等方面的工作。
2016-12-01 -2017-02-01武汉烽火普天信息技术有限公司Java实习生
1、负责数据爬虫维护 2、负责部分基础性 java 开发工作 3、协助直接上级完成其他数据相关工作
教育经历
2014-09-15 - 2017-07-01武汉软件工程职业学院软件技术专科
技能
1、项目分为:QT面板设计、采集逻辑分析、数据存储+日志记录等功能,地区基础数据通过网络爬虫清洗预备着; 2、技术类型:python异步协程爬取,QT面板,IP池模块等
1、项目主要有以下几类模块: 1)QT界面设计制作(简易);2)数据爬取逻辑设计;3)数据存储方式及清洗等。 2、QT主要使用python的pyqt5模块技术实现;主要通过python语言作为主项,然后通过node环境处理提前整理好的JavaScript作为辅项,实现整个数据逻辑;最终数据存储方式未mongodb数据库中作为第一数据,通过中间脚本(提前制作好的清洗数据模块),将清洗后的数据放入MySQL数据库中。 3、本次项目的难点主要是,数据爬取逻辑模块:涉及第三方逆向处理,耗时较长;账号池的维护:(账号来源、维护逻辑等);在账号的前提下,IP显得比较容易。