点击空白处退出提示
作品详情
主要负责爬虫系统技术选型及以下功能模块的开发工作
使用Selenium操作Chrome进行数据爬取。
IP池构建；扩容缩容机制及IP去重功能，为数据爬虫提供高质量代理IP。
负责任务构建模块开发，生成任务推送MQ。负责任务上报模块及异常报警模块的开发。
搭建ELK日志收集平台，对异常信息及任务完成情况进行统计分析。
声明：本文仅代表作者观点，不代表本站立场。如果侵犯到您的合法权益，请联系我们删除侵权资源！如果遇到资源链接失效，请您通过评论或工单的方式通知管理员。未经允许，不得转载，本站所有资源文章禁止商业使用运营!
评论