参与该框架爬虫相关组件后端开发。该爬虫框架主要的功能包括几个方面:爬虫web开发系统,爬虫服务管理系统,爬虫后台服务监控系统,爬虫数据存储系统,爬虫调度系统,验证码集成识别系统,IP代理服务系统。用户可通过web端页面,图形化配置数据抓取规则和流程,后端通过Redis管理并调度爬虫任务。
评论