数据调度平台

我要开发同款
azurewater2024年04月20日
76阅读
开发技术低代码java
所属分类服务框架/平台、大数据

作品详情

该项目在容器化Airflow上封装,支持各种离线实时数据任务的标准化接入,以满足在不同集群上流程化的数据调度需求。相对于原有的Airflow调度项目,大大降低了开发、测试、部署和运维的难度。

项目职责
1.参与容器化Airflow和operator的开发,以及原有Airflow任务的迁移
2.负责实现任务血缘分析和Git版本管理
3.参与Hive和Sqoop任务标准化的开发

项目业绩
完成80% Airflow任务的迁移;标准Hive和Sqoop任务上线
解决了Git版本管理任务的问题。
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论