数据分析平台

我要开发同款
lll42023年03月25日
239阅读
所属分类离线分析、实时分析、大数据

作品详情

项目简介:数据分析平台由四大系统组成,数据分析系统:灵活的自助分析、画像分析、人群管理、数据源管理等功能;埋点管理系统:埋点的统一管理和校验等功能;标签画像系统:标签的元数据管理,标签画像分析,和运营人群圈定管理等功能;指标管理系统:负责业务指标的统一定义,逻辑说明,和相关的库、表、字段关联信息。

涉及技术:SpringBoot + MySQL + Redis + impala等
任务描述:
1.自主分析系统分析功能包含多维分析、漏斗分析、提取分析等功能,主要是通过抽象的对象转化为ast语法解析树,将解析树再转化为相应的sql提交到impala集群进行准实时分析、kudu进行实时分析、hive中进行离线分析。
2.埋点系统主要完成定义上报的事件定义以及事件维度定义管理;标签系统元数据包含标签数据定义,以及人群包推送所需标签圈定人群功能等;指标则定义指标的元数据以及计算口径(大数据的库、表、聚合方式等);自主分析平台通过事件、维度、指标、人群等对数据进行分析提取。
3.进行系统优化,接口优化(缓存),慢查询优化(批量sql、去掉函数、预计算),内存优化(多线程大对象)。
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论