数据平台项目

我要开发同款
chenshangzuan2023年09月24日
84阅读
所属分类 PC网站

作品详情

介绍:项目基于Akka Cluster构建,旨在为了管理和集中存储我们的数据资产,同时会提供了包括采集、计算、分析、可视化等一系列的开放能力,确保系统之间数据的互通和共享。
职责:负责人,从0到1搭建数据平台,提供数据采集、数据接入以及DataAPI等多项数据服务,同时落地了数据平台及采集代理的K8S一键快速部署的解决方案(Helm Chart)。其中,数据接入服务包括日志采集代理和HTTP采集代理两者模式;数据接入服务实现数据从Kafka到Clickhouse的自动化接入;DataAPI对接Doris数据库,对业务系统提供HTTP接口查询服务。
技术栈:Scala、Play、Akka、PostgreSQL、SBT
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论