通过flume和sqoop数据采集工具，采集文件日志中的用户行为数据和数据库中的数据到hdfs 文件系统。然后到基于hdfs文件系统构建外部分区表，建立总体的数据仓库框架。数据仓库 ods层直接保存原始数据，dwd层对数据进行一些预处理，dws层保存一些中间层数据用于 app层数据调用。在数据仓库上完成相关指标统计，例如新增用户统计，用户流失统计，操作系统活跃性，商品指标信息的相关指标。
评论