数据统计分析及可视化平台

我要开发同款
梦想守望者2024年11月24日
186阅读

作品详情

此项目是数据统计分析及可视化平台项目,总体包括云上数据自动化统计流程的设计和组件的开发。该项目主要是引入了kylin框架对原来的数据统计平台做优化,利用kylin以空间换时间和预计算的思想,对云平台上设备数据做多维分析,每日自动化统计分析生成计算结果数据,对接到报表系统和数据可视化系统,供领导和业务部门查看,以及便于观察设备数据的历史趋势,让业务部门更好地做业务决策。整体的架构与数据流向如附件一图所示,采用Hive做数据仓库,使用Spark实现一个ETL组件,完成数据的抽取、转换和加载,引入kylin做数据预计算,另外开发报表模块和数据可视化系统,对接kylin获取统计数据。使用语言java和Python。
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论