1.根据网站API采用定时爬取内容
2.采用selenium自动化爬取
3.为了提高爬虫效率，采用多线程方式进行不同页面的抓取
4.针对做了反爬的网站，可以添加请求头、请求体，IP池等方式进行处理声明：本文仅代表作者观点，不代表本站立场。如果侵犯到您的合法权益，请联系我们删除侵权资源！如果遇到资源链接失效，请您通过评论或工单的方式通知管理员。未经允许，不得转载，本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态
评论