0
1
2
3
4
5
1月前来过
Python开发工程师
青岛全职 · 500/日 · 10875/月信用正常
工作时间: 工作日18:00-24:00、周末8:00-24:00工作地点:
远程
服务企业:
7家累计提交:
0工时
联系方式:
********
********
********
****************
查看联系方式
个人介绍
熟练使用Python，各自媒体平台网站数据采集及分析。掌握网络编程，HTTP、TCP/UDP协议、socket，多进程，多线程编程，熟悉正则表达式，xpath，CSS提取数据方式。网页数据爬取方面掌握urllib、requests基本库使用；会使用selenium模拟用户行为对于javascript、Ajax网页数据的提取；掌握Charles、mitmproxy分析app数据包来对于app的爬取，并配合使用APPium模拟行为自动爬取；熟练使用Scrapy框架及Scrapy-redis分布式架构部署；掌握Cookie登录原理；MongoDB、Mysql数据库熟练使用；Django DRF、Flask后端设计开发
工作经历
2018-10-01 -至今青岛安铭科技有限公司Python开发工程师
各大自媒体平台新闻网站数据采集，包括抖音 今日头条 微博 腾讯新闻 网易新闻 搜狐新闻 百家号 大鱼号 头条号 企鹅号等平台的文章及视频数据采集
教育经历
2014-09-01 - 2018-06-01青岛理工大学网络工程本科
c语言 数据结构 计算机网络 计算机操作系统 计算机网络管理 网络安全
技能
作品
这个项目是通过scrapy-redis搭建分布式数据挖掘架构。 我的职责 ● 多台服务器部署scrapyd、logparser,使用scrapydweb做可视化管理工具。 ● 开发增量采集算法模型，redis记录账号最近发文时间。 ● scrapy pipelines配置Twisted adbapi异步存储MYSQL数据库。
02023-04-24 18:55
该平台主要是实现挖掘海尔的舆情数据、清洗、正负面研判、入库、分析等功能，以及业务分析报表导出。 我的职责 ● 通过django rest ful搭建业务API接口，并开发分析报表导出模块，接受前端请求，根据接收时间范围参数使用openpyxl、pptx、pyecharts绘制业务报表。 ● 用过使用Tkinter设计开发GUI应用，根据填写日期采集导出文章报表。
02023-04-24 18:57
该项目针对主流媒体做数据的统计、管理、预警、热榜、研判等功能。 我的职责 ● 负责数据挖掘、信息研判分析模型的设计 ● 使用scrapy-redis+scrapyd分布式爬虫框架，同时使用BloomFilter去重算法对数据及链接进行重复筛选，降低了内存占用。 ● 数据推送Kafka做生产者，供后端接口调用。 ● 使用numpy、pandas、pyecharts对数据进行可视化分析。
02023-04-24 18:58
