数据中台,任务调度二次开发,找钢网电商平台迭代开发

我要开发同款
写程序的阿兵2023年12月22日
108阅读
开发技术springcloud、多线程、hadoop、rocketmq、java

作品详情

1.数据中台提供了元数据管理,数据采集,数据开发,ai建模,数据质量,数据地图,任务调度,ide数据查询等能力,作为企业众多数据安全产品的数据基座,为数据安全产品提供快捷的访问大数据方式,能够快速获取数据并对数据进行权限管理,数据质量管理,数据资产量化。
2.主要负责元数据管理,数据开发,ai建模,数据质量四个模块
3.元数据管理,管理整个任务血缘管理,任务中各个节点字段管理,上下游维护更好的展示整个任务以及相关表数据的加工流程,数据开发模块主要通过java去实现各种统计算子,转换算子提交job到yarn执行,数据落地到hive,es或者关系型数据库中。
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论