项目主要通过scrapy进行采集，redis作为中间件存储任务队列，写入json文件，通过脚本读取json文件入库mysql本人负责该站点从0到1的采集开发，开30个进程可达到日入20W的数据量。其中的主要难点在于列表页的采集存在极验3的滑块验证，通过逆向，轨迹模拟等破解W参数加密最终拿到数据
评论