项目要求:1、使用selenium将网易云音乐网站——》发现音乐——》排行榜——》热歌榜的评论爬取,只需要前10页的数据2、数据字段包括:评论人、评论内容、点赞数,并将数据保存到csv文件中项目实现:1、利用selenium模块获得浏览器对象、自动打开浏览器网页2、利用xpath语法抓取数据字段,然后将数据存入csv文件中3、再利用xpath语法找到“下一页”元素并点击,从而实现切换页面4、循环10次,即可爬取前10页的数据项目实现的关键1、网页源代码中有内嵌框架,需要切换到内部的iframe框架才能拿到数据2、切换下一页时需要等待页面刷新,此时应做延时处理3、如果没有评论内容或者点赞数值,需要进行处理,如将评论内容文本设为“暂无”,点赞数设为“0”声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!

下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态
评论