某东数据采集

我要开发同款
王海东2022年01月05日
170阅读

作品详情

因公司自主研发的*APP“点多多”项目,需要增加商城功能,需要商品展示,按照公司的要求对京东商城的七类商品进行了采集,包括商品类别,商品ID,名称,价格,品牌,参数,折扣价,主图,详情图等相关信息进行了采集;并将数据保存在数据库,图片需上传到OSS上。 1.分析项目网页的结构,制定爬虫的方式; 2.根据项目需求用Scrapy搭建爬虫框架,根据项目需求制定爬取计划; 3.通过Scrapy.Request发送请求,并设置ip代理,用Xpath解析页面,使用正则进行特殊的页面解析,如:js渲染的价格数据和图片链接; 4.对数据进行采集,然后将采集下的数据进行分析处理,清洗;
5.将采集的数据存储到MySql数据库中; 6.将图片先下载到本地,然后在上传到阿里云的OSS储存器中; 7.对代码和数据进行维护和相关的处理。
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论