1. 采用DataX自带DRDS API对生产数据进行卸载2. 采用Hive on Spark的方式搭建离线数仓，MR引擎替换成对应Spark引擎，比MR引擎速度快很多，基于HDFS进行数据存储3. 采用维度建模理论，业务表增量同步，维度表全量同步4. 数仓分层：ODS、DWD、DIM、DWS、ADS5. ODS：原始数据层，存放未经过处理的数据，起备份作用6. DWD：明细数据层，根据数据清洗规则将ODS层进行清洗7. DIM：公共维度层，用于存放维度表8. DWS：汇总数据层，基于指标需求，进行指标拆分。存放公共维度统计的汇总表9. ADS：数据应用层，基于上述四层，根据需求对各大指标进行分析计算，存放各项统计指标结果10. 使用shell脚本实现，对数仓加工sql的调用，对接mysql数据源实现数据可视声明：本文仅代表作者观点，不代表本站立场。如果侵犯到您的合法权益，请联系我们删除侵权资源！如果遇到资源链接失效，请您通过评论或工单的方式通知管理员。未经允许，不得转载，本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态
评论