离线计算平台

我要开发同款
宇哥1232023年02月20日
183阅读

作品详情

1.功能模块
离线计算平台负责公司离线ETL任务的开发、管理、调度等,包括业务数据的采集与转换、离线分析与计算、离线任务的调度等,可实现数据抽取与清洗,多个任务的调度开发,包括MapReduce任务,SparkSql任务,任务计算及结果输出,实现了可视化大屏展示。
2.负责部分
- 负责数据传输模块开发:基于Sqoop传输组件,实现业务数据在Hive数据仓库与关系型数据库之间的增量、全量传输,简化了离线数据传输流程。
- 负责调度模块开发:基于开源调度系统Azkaban做二次开发,实现离线作业的T+1调度,实现了任务依赖自动配置等功能,提高了任务上线效率,简化了数据入仓流程。
- 负责WebIDE开发,通过提供编辑器、文件树、工作空间等,实现了离线任务的创建、配置、调试、发布上线、版本控制等功能,提高了离线计算任务的开发与配置效率,使得公司各业务线的报表、模型训练、API调用等数据需求能得到及时的响应。
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论