该项目为简单的数据爬取，主要分为Spider模块，Item和PIpeline模块，以及爬虫中间件其中Spider模块主要是用来向目标网址返回的数据进行处理，item模块进行筛选，Pipeline模块将数据持久化用的技术栈为Scrapy框架+Xpath+re+MySQL。
评论