项目架构:polarDB+datahub+Flink+mapStruct+ADB+caffeine
+dts+dataworks
项目描述:销售报表是各分公司查询最频繁，查询数据量最大的报表模块。各分公司对商品定价，财务对账的数据实时性要求很高。为了满足实时数据更新和大范围日期数据查询不超时,所以我们使用阿里的Flink构建了销售宽表。
项目职责:
1.梳理销售模块报表所有的口径和指标字段
2.使用datahub监听polarDB销售源表的表单id和明细id的binlog数据
3.编写Flink udtf，进行表的join和预计算
4.使用caffeine缓存销售维表
5.使用mapStruct实现各个表的数据汇聚到最终成最终的打平的数据
6.写脚本比较原始表与宽表的差异数据,使用dataworks定时重刷数据
项目收益:通过在Flink里完成跨列计算和多表join,最后报表展示层面只需要使用一张大宽表即可,简化了数据查询;数据查询减少了对数据库的依赖,有利于数据的平台迁移;消除了大量数据查询时的超时现象