爬取了某瓣阅读全部小说的详细信息,书名作者售价等等,该页面的真实数据是由js动态渲染而成,此处采用抓包的方式寻找出真实数据的数据包,然后对其进行抓取,获得所有数据后用mongdb进行持久化存储,使用padnas对数据进行清洗并找出异常数据
评论