数据湖实时架构

我要开发同款
68阅读
开发技术scala、hdfs、django、kafka、java
所属分类flinksql、数仓、数据湖、hudi、flinkcdc

作品详情

该项目用于同策实时数仓建设,主要包括数据入湖、数仓分层、数据集市和数据展现

1.基于数仓分层标准实现 ods/dwd/dws/ads 层间数据流转

2.基于 flink cdc+hudi+kudu 构建数据湖准实时架构、应用架构搭建、maven 分层和多环境部署(开源)

3.基于 hudi+impala+hive 构建数据湖批次架构、应用架构搭建、maven 分层和多环境部署(开源)

4.基于 cdas+flinksql+hologres 构建数据湖实时架构、技术调研和多环境部署(阿里)

5.基于 dataworks+hologres 构建数据湖批次架构、技术调研和多环境部署(阿里)

6..基于阿里云构建高可用、高性能、高并发数据湖架构

项目职责:

1.架构设计、架构评审、技术选型

2.项目搭建、项目分层、核心代码编写

3.代码质量把控、code review

项目业绩:

1.实现同策数据湖平台搭建并上线

2.实现同策数仓开发规范,包括分层规范、数据集市划分规范和数据流转交互规范

3.由传统的基于 java 代码开发的模式转换到 flinksql 开发模式,大大提升了开发上线效率
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论