用户通过粘贴淘宝、天猫、京东、考拉等商品链接,小程序将链接上传服务器,服务器下达给docker容器内的基于Scrapy框架的爬虫系统,执行爬虫任务,将结果存储在redis,服务器获取redis中爬虫结果,返回给用户,并存储到数据库中,以天为单位进行爬取商品价格信息,从而提供价格提醒,历史价格查询等功能
评论