crawlerstack-spiderkeeper

我要开发同款
86阅读
开发技术跨域、rabbitmq、多线程、pythonreact
所属分类爬虫
授权协议MIT许可

作品详情

"采集平台(crawlerstack-spiderkeeper)"专注于简化爬虫开发流程的任务调度、日志数据收集、采集程序管理解决方案
,让爬虫开发者更专注于爬虫本身
前端技术栈:TypeScript、React、Material-UI(MUI )、Caddy 等技术栈
后端技术栈:Python、FastAPI、SQLAlchemy、MongoDB、RabbitMQ、Kubernetes、Docker、MySQL 等技术

当前功能实现页面进行相关配置以及日志展示调度控制等。调度管理(类似 airflow),支持 mongdb、mysql、s3的
数据流转方案,接管数据持久化等功能。

声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论