由于使用淘宝api获取的商品数据非常少，而且每天调用会有限制，所以就自己写爬虫爬取数据。
1、由于要获取大量的淘宝数据，需要涉及到数据的去重，增量爬取，持久化，分布式。所以就选择用scrapy-redis框架爬取数据
2、在中间件中构建user-agent池和ip代理池来防止淘宝的反爬策略
3、考虑到爬取的过程中会出现爬取数据异常，设置了 异常判断、超时、retry机制
4、使用logging日志系统监控出错的信息
5、使用mongodb存储获取的数据
6、在获取商品评论和通过搜索关键字获取商品数据的地方，会在中间件中设置selenium，通过结合selenium来获取数据
7、爬取数据后，会对数据做分析和排名。比如不同分类下，商品的销量、评论量的排名。通过numpy、pandas对数据进行清洗，最后通过pyecharts可视化工具在后端展示