点击空白处退出提示
作品详情
职责:产品架构设计与实施 面向客户(东方航空/上海银行等)定制化需求设计数仓架构并实施
应用模块主要包含:
1. 实时数仓:canal/flinkCDC/flume/flink + zk + kafka /hadoop(hdfs) + hudi/hbase(OLAP:Clickhouse)/Springboot Scheduler)
2. 离线数仓: flume + zk + hadoop/hive/impala + DolphinScheduler
3. 需求任务主体流程: 数据研发任务开发测试、准生产测试、打包投产、数据治理、元数据管理、数据资产目录管理 数据资产管理 Springcloud 微服务架构:Consul/Openfeign/hystrix/Sleuth/Stream/Gateway/LXN/Oauth)
4. 统一调度: 作业相关与重调(DolphinScheduler) 对接大数据平台 Hadoop Impala等
5. 统一运维: Docker + Harbor + K8s + Kuboard(V2/V3)
6. 监控:zipkin (全链路流量) + Prometheus (集群) + kuboar(K8s)
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态
评论