1

Spark NRT广告数据聚合及报表生成

我要开发同款
PonX2023年09月10日
182阅读
所属分类scala、spark

作品详情

使用 Spark 完成近实时广告数据聚合,数据经前序作业整合后数据量约 50 GiB/分钟,根据配置文件定义的聚合指标及维度,聚合并产生100+报表,供下游数据库使用
1. 支持横向/纵向扩容,应对流量高峰
2. 配置文件定义聚合指标/维度,快速添加新报表
3. 自定义输出格式,兼容旧系统,与下游无缝对接
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论