项目分为数据挖掘、数据分析、数据清洗、数据展示四大业务部分。采用典型的ELT方式,数据挖掘通过采集前端特定的埋点事件,收集用户的信息存储到本地日志文件内,同传给数据分析中间件做必要的数据计算处理,整合计算结果索引存储到ES中,同时将数据同步到BigQuery或直接在Kibana中查看。整体使用的技术栈请参考图片技术难点包括:ES数据同步、Flink数据计算引擎继承与使用、必要环节微服务的开发
评论