python爬取豆瓣读书数据,并将数据可视化

我要开发同款
littlefox_232023年02月03日
498阅读
所属分类可视化、爬虫

作品详情

一、项目介绍
1、爬取豆瓣读书榜单数据,数据包含:排名、图书名、图书链接、封面链接、作者/译者、出版社、出版时间、图书售价、评分、评价人数、简要介绍,这11个数据。

2、将爬取的数据保存到sqlite数据库中。

3、可视化爬取的数据。
二、项目实现
1、爬取实现:test01.py实现爬取数据并保存到sqlite数据库,通过beautifulsoup4实现解析网页,通过re正则表达式提取网页数据,编写sql语句创建sqlite数据库,并将数据保存到该数据库中。

2、运行test01.py生成book.db数据库以及豆瓣读书Top250.xls数据表。

3、templates文件夹下包含几个html文件,static文件夹中包含前面所述网页的样式及内容图片、图标。

4、app.py是网页页面服务的实现,book_worcloud.py实现词云的生成。

5、页面的实现应用了Flask框架、Echarts图表、wordcloud词云等。
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论