这个项目参考scrapy企业级开源爬虫框架，目标为链家租房，由于scrapy下载速度过快，有很少的网站对这方面不做限制。该项目创建完成后就有一个总项目目录和几个分页面，主要代码是在spiders文件下的链家.py写入，主要是settings里面的相关配置一定要开启。
评论