该项目是基于Apache版本的大数据框架完成的一个电商类数仓系统,主要完成了用户行为数据和业务数据的采集平台搭建,业务仓库维度的建模,分析了电商核心主题指标,有商品信息、用户设备信息、地区信息、会员信息等。数仓的日志数据又Flume采集,通过Kafka消费数据到Hdfs,业务数据生成后使用Sqoop把数据同步到Hdfs中,采用即席查询工具Presto进行指标分析,使用睿象云+Python+Shell做异常数据第三方告警(邮件、电话),用Azkaban来做全流程调度,用Zabbix做集群的监控和告警等。声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态
评论