：对雅诗兰黛各大市场大区的用户数据采集并汇总计算。
使用环境：Scala Spark
项目结构：
数据采集部分：对用户数据采集的部分采用的是以Java为主的微服务生态，数据的采集是局方kafka推送，对采集的数据进行清洗，然后根据清洗后的数据对数仓动态建模，不同的数仓对应各种不同的采集服务，各种不同的采集服务对应不同的监控服务。日志运维监控采用的是ELK。整个服务的组成内容就是数据采集与监控
数据计算部分：采用spark + hadoop（yarn）+Hive,开发主要以scala为主的语言生态，调用sparkSql + api 完成各种数据逻辑的汇总 ，最终离线在AKS(Azure K8s Server)上集群计算。。声明：本文仅代表作者观点，不代表本站立场。如果侵犯到您的合法权益，请联系我们删除侵权资源！如果遇到资源链接失效，请您通过评论或工单的方式通知管理员。未经允许，不得转载，本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态
评论