1、这个项目是通过scrapy-redis搭建分布式爬虫爬取房天下所有城市房源信息，爬取列表页每一项下的子页获取数据。2、通过在scrapy框架下编写代码获取所需数据，部署项目通过redis爬取房源信息。3、最后通过编写脚本将redis数据库中的数据读取存入json文件和mysql数据库中。
评论