新渠道数据服务平台

我要开发同款
阿才love2024年12月24日
215阅读

作品详情

项目描述:
一个基于实时计算、统一服务API、报表于一体的数据化服务平台,旨在为业务提供高
性能的、高稳定的、跨多数据源的数据治理、服务、展示平台
工作内容:
1.
调研市场当前的数仓搭建方案,制定符合我们部门的数仓搭建方法
2.
经过反复调研、POC,决定使用基于Flink流、FlinkSql、Kafka、TiDB、D一体化
的实时数仓方案
3.
主要负责搭建基于公司微服务框架ARK的统一服务API平台与报表平台,后台、
前台框架搭建、流水线部署、公司公共服务接入等
4.
统一服务API平台中实现项目自定义添加数据源、
可基于数据源的配置化API接口,
目前支持的数据源有MySql、
Oracle、
Druid、
PG、
Hive、
Presto、
Doris、
Hbase、
TiDB等
5.
报表平台目前主要实现了报表的页面可配置化、定期执行、缓存等功能,可实现业务
报表的快速上线运行
6.
对于现有的离线hive数据与实时关系型数据库无法聚合查询的问题,
目前使用的是
Presto进行跨库查询,目前正在POCDoris方案,希望其能替代Hadoop组件复
杂的问题
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论