1、某大型电商网站数据爬取,项目分为根据链接分析页面结构,获取当前页面数据包含多少个商品元素,并检查当前页面是否有分页功能,如果有分页则分页爬取需要的元素,爬取出来的数据包含标题、评分、商品图片和一些其他响应的唯一性数据;通过分析上一步获取到的商品数据,整理成列表,放到excel文件内,并且提供从本网站下载excel的功能;还有一个生成二维码的功能,可以根据自己的商品链接,自动生成二维码,并保存到本地。2、自己从零到一,完成上述功能的研发,使用bootstrap、python和django完成整个项目的开发。
评论