点击空白处退出提示
作品详情
2.框架:scrapy;
3.需求:爬取当当网选定类型下所有商品的信息,包括书名、作者、封面图片,爬取的数据进行持久化存储;
4.实现方案:采用scrapy框架创建项目,利用框架自带的xpath方法抓取需要的Html标签,在pipelines文件中设置2中管道,1个负责将书名、作者信息保存为json数据,另一个负责将获得的封面图片二进制数据保存到本地。
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态
评论