政策数据采集分类

我要开发同款
康康II2024年04月16日
79阅读
开发技术mysqlpython
所属分类爬虫

作品详情

★全国政策产业项目(58 同城) 2022.9~2023.02
项目技能: python SQL 指标拆解 数据产品
项目背景: 公司企业产业服务产品要添加企业政策支持新模块,现有内部数据库缺失数据,需要我与用
户需求为前提给出并实施政策模块产品的数据采集、加工方案。
项目职责:
1. 方案设计:拆解用户痛点,分析产品现状,设计数据采集、加工方案;
2. 数据采集:使用 python 编写爬虫脚本,采集全国政策数据;
3. 数据加工:使用 python 针对政策数据产业与产业链标签分类进行建模。;
4. 数据落地:与产品共同完成政策产品的展现方式,并陆续跟进产品的迭代。
项目成果:
1. 爬取到 180 万条政策数据,经过清洗去重获得到 130 万条政策数据,通过产业标签赋分模型使标
签模型准确率达到 95%以上;
2. 提出政策产品后期跟新建议以及数据解决方法。
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论