项目描述：该项目主要爬取各网站新闻的热门，头条，时事热点等信息
项目技能：scrapy_redis，Xpath，Redis，json
1.分析url地址，分析反爬策略，实现反反爬抓取数据。在下载中间键（Downloader）的_process_request方法中配置user-Agent和代理ip地址池，实现基本的反反爬策略。 
2.由于爬取新闻网站多，爬取数据量大。数据请求url地址多，使用scrapy_redis来进行分布式爬取，由于redis非关系型数据库，读写更快，将请求的request对象保存到redis中。同时scrapy_redis能够实现去重持久化，请求对象持久化去重，实现分布式，能够有效提高爬虫效率 
 3.使用scrapy_redis的RFPDupeFilter方法来实现request对象的加密，使用sha1加密算法生成16位字符串指纹，在使用RedisPipline方法来进行数据的存储保存到redis前，查看redis中是否已经有相同的指纹，有就不保存。 
4.爬取到的数据保存到MongoDB中，来实现数据的持久化。