点击空白处退出提示
作品详情
2023-2024
项目负责人
项目描述:离线方面:项目收集或者应用程序的业务交互数据以及前段埋点数据，使用Nginx
与业务服务器把数据存到MySQL中，再通过DataX和Maxwell同步数据Hadoop。同时通过
Flume，Kafka将日志数据进行收集，传输实时方面：Kafka中的ODS数据经过Flink清洗过滤后
到dwd中，维度层通过hbase进行存储，再使用redis旁路缓存进行去重，最终的dws层使用
Clickhouse进行存储数据最终通过Superset进行可视化展示
主要工作：1.服务器准备和大数据集群搭建
2.数据仓库建模设计
3.数仓环境搭建
4.数据传输搭建
5.数据可视化呈现
声明：本文仅代表作者观点，不代表本站立场。如果侵犯到您的合法权益，请联系我们删除侵权资源！如果遇到资源链接失效，请您通过评论或工单的方式通知管理员。未经允许，不得转载，本站所有资源文章禁止商业使用运营!
评论