weixin.sogou.com 是一个反爬极其严厉的站点。 在不登录的情况下只能浏览前十页。 在登录的情况下只能爬取前一百页。 搜狗* 的反爬措施是封 IP 和封 Cookie。 如果每五秒翻一页，大概翻二十页你会触发反爬

找到特定电影的评论在其移动门户中的url，然后按页面爬取且随机生成页码 每休眠2s后再进行爬取，以免过于频繁 还有就是需要注意将网络数据写入本地时需指明编码方式为utf-8否则会出现编码错误的问题

我们需要爬取的是懂球帝新闻中英超，西甲，意甲，德甲的新闻，由于这是四个结构一样的板块，所以解析一个就可以了，以英超为例。进入英超新闻第一页列表页，需要先获取到当前页所有的新闻链接等内容，再对链接进行筛选，然后将筛选通过的链接存入设置了唯一索引的数据表，如果存入成功，说明以前没有爬取过这条新闻，然后就通过成功存入的链接获取到新闻详情页，解析新闻详情页，获取到我们需要爬取的内容，然后存入数据库。解析完第一页列表页后，获取下一页列表页的链接，然后获取下一页页面，就像第一页这样爬取，这样不断循环，就可以爬取很多页了。最后再将其余三个板块的新闻都加进去，这样就差不多了。嗯，大概逻辑就是这样。。。当然还有很多细节，需要在代码中体现。