个人介绍
接web数据爬虫项目 熟练使用requests,selenium,scrapy,appium爬虫工具包 熟悉 mysql,hadoop,hive等数据库 爬取过美团,饿了么,抖音视频等app数据 爬取过前程无忧,智联招聘,拉勾网等网站数据 熟练使用pandas,matplotlab,numpy等工具包
工作经历
2020-09-10 -至今58同城数据分析师
负责公司 B 端数据产品的数据采集、加工、分析等工作; 负责商办市场季度、月度数据报表开发迭代; 支持公司企业咨询报告的数据分析需求; 参与数据分类模型的建模与迭代。
教育经历
2014-09-01 - 2018-07-04内蒙古农业大学园林本科
技能
网页数据爬虫,用于房产数据研究,利用python爬虫技术采集土地拍卖数据,并对数据进行过滤处理,筛选出需要的数据,根据事先预定好的数据格式输出数据,并保存至数据库中。
★全国政策产业项目(58 同城) 2022.9~2023.02 项目技能: python SQL 指标拆解 数据产品 项目背景: 公司企业产业服务产品要添加企业政策支持新模块,现有内部数据库缺失数据,需要我与用 户需求为前提给出并实施政策模块产品的数据采集、加工方案。 项目职责: 1. 方案设计:拆解用户痛点,分析产品现状,设计数据采集、加工方案; 2. 数据采集:使用 python 编写爬虫脚本,采集全国政策数据; 3. 数据加工:使用 python 针对政策数据产业与产业链标签分类进行建模。; 4. 数据落地:与产品共同完成政策产品的展现方式,并陆续跟进产品的迭代。 项目成果: 1. 爬取到 180 万条政策数据,经过清洗去重获得到 130 万条政策数据,通过产业标签赋分模型使标 签模型准确率达到 95%以上; 2. 提出政策产品后期跟新建议以及数据解决方法。