用scrapy框架爬取京东的书籍,我使用擅长的scrapy_redis的分布式爬虫,非常方便,多节点爬取,速度非常之快,然后我也有使用我的代理ip,防止被封禁ip,最后可以将几万数据很快保存下来,而且可以选择自己的保存方式
评论