天正智能大数据中台

我要开发同款
mozvil2024年04月16日
84阅读
开发技术go语言springclouddocker、hadoop、java
所属分类即时查询、数据中台

作品详情

天正智能研发部数据中台产品面向的是客户(上海银行/浦发银行/兴业银行/东方航空等)数据洞察与数据治理部门,提供业务源系统数据到数据湖流转的智能化管理和研发平台。
职责:产品架构设计与实施 面向客户(东方航空/上海银行等)定制化需求设计数仓架构并实施
应用模块主要包含:
1. 实时数仓:canal/flinkCDC/flume/flink + zk + kafka /hadoop(hdfs) + hudi/hbase(OLAP:Clickhouse)/Springboot Scheduler)
2. 离线数仓: flume + zk + hadoop/hive/impala + DolphinScheduler
3. 需求任务主体流程: 数据研发任务开发测试、准生产测试、打包投产、数据治理、元数据管理、数据资产目录管理 数据资产管理 Springcloud 微服务架构:Consul/Openfeign/hystrix/Sleuth/Stream/Gateway/LXN/Oauth)
4. 统一调度: 作业相关与重调(DolphinScheduler) 对接大数据平台 Hadoop Impala等
5. 统一运维: Docker + Harbor + K8s + Kuboard(V2/V3)
6. 监控:zipkin (全链路流量) + Prometheus (集群) + kuboar(K8s)
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论