爬取ip代理

我要开发同款
今晚十一点睡2022年09月13日
94阅读

作品详情

项目描述:Xml,redis,requests爬取代理ip,自己建造免费ip代理池(个人项目)
项目功能:添加代理ip,定时判断已添加的代理是否能够使用,在其他项目中能够调用此api获取代理ip。
项目职责: 1.使用requests爬取各个代理网站的免费ip。然后对于爬取数据的有效性,进行简单的测试。然后放入redis中而对于爬取的数据。由于不能出现重复的代理ip,其次,爬取的数据量较小,我使用redis数据库进行保存。对于重复的代理ip,使用redis中的set来进行去重。
2.对于存入redis中的代理ip,同时写了一个测试函数,主要对其中的代理ip进行数据定期的有效性的测试。以访问百度为测试为例,对于访问百度不通,代理无效的,从redis中删除数据
3.对于给外部调用此爬虫结果,我给此爬虫了一个接口return。用random的方式随机从爬取的数据中获取代理ip
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论