该项目在容器化Airflow上封装,支持各种离线实时数据任务的标准化接入,以满足在不同集群上流程化的数据调度需求。相对于原有的Airflow调度项目,大大降低了开发、测试、部署和运维的难度。项目职责1.参与容器化Airflow和operator的开发,以及原有Airflow任务的迁移2.负责实现任务血缘分析和Git版本管理3.参与Hive和Sqoop任务标准化的开发项目业绩完成80% Airflow任务的迁移;标准Hive和Sqoop任务上线解决了Git版本管理任务的问题。声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!

下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态
评论