1.使用Scrapy爬取豆瓣电影Top250的数据;2.爬虫逻辑:在movie_top250页面中爬取详情页链接,并生成Request请求,随后在详情页中定位数据并爬取;3.使用SQLAlchemy模块建立数据模型,并将爬取的数据分别保存至MySQL数据库和json文件。
评论