我们需要爬取的是懂球帝新闻中英超，西甲，意甲，德甲的新闻，由于这是四个结构一样的板块，所以解析一个就可以了，以英超为例。进入英超新闻第一页列表页，需要先获取到当前页所有的新闻链接等内容，再对链接进行筛选，然后将筛选通过的链接存入设置了唯一索引的数据表，如果存入成功，说明以前没有爬取过这条新闻，然后就通过成功存入的链接获取到新闻详情页，解析新闻详情页，获取到我们需要爬取的内容，然后存入数据库。解析完第一页列表页后，获取下一页列表页的链接，然后获取下一页页面，就像第一页这样爬取，这样不断循环，就可以爬取很多页了。最后再将其余三个板块的新闻都加进去，这样就差不多了。嗯，大概逻辑就是这样。。。当然还有很多细节，需要在代码中体现。