Dagster 数据编排器开源项目

我要开发同款
白开水不加糖2021年10月12日
87阅读
开发技术Python
所属分类大数据、数据处理
授权协议Apache-2.0

作品详情

Dagster是一个用于机器学习、分析和ETL的数据编排器。

Dagster让你以可重复使用的逻辑组件之间的数据流来定义管道,然后在本地测试并在任何地方运行。通过对管道和它们产生的资产的统一视图,Dagster可以调度和编排Pandas、Spark、SQL或任何其他Python可以调用的东西。

Dagster是为数据平台工程师、数据工程师和全堆栈数据科学家设计的。用Dagster构建数据平台,使你的利益相关者更加独立、系统更加强大。用Dagster开发数据管道可使测试更容易,部署更快。

特性:

笔记本电脑上开发和测试,随处部署

对每个步骤产生和消耗的数据进行建模和输入

将数据链接到计算

搭建自助数据平台

避免依赖噩梦

从丰富的UI调试管道

声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论