采用双层 Flume 采集日志数据，第一层采集选择 TailDirSource 可实现断点续传，选择 KafkaChannel 直接数 据采集到 Kafka，第二层采集选择 KafkaSource 从 Kafka 读取数据，FileChannel 高速传输，HDFSSink 将数据采集 到 HDFS； 使用 Kafka 消息队列，对数据经行削峰解耦，使采集系统更稳定； 解决 Flume 采集到 HDFS 上，产生的小文件问题； 在 DWD 层对数据进行脏数据清洗、私密信息脱敏、去重、空值的处理等操作； 采用 snappy 压缩，减少磁盘空间； 采用列式存储，方便高效查询，采用日期分区表，避免全表扫描； 通过拉链表，保证数据全量最新； 利用 DolphinScheduler 调度各层脚本，制定定时任务。

实时将日志数据和业务数据采集到 Kafka 中，使用 SparkStreaming 消费 Kafka 实时数据，SparkStreaming 通 过设置每个批处理的间隔时间，将流式计算分解成一系列批处理作业；将数据按业务需求分析处理后的结果存入 MySQL，供 Java 前端进行可视化展示，实时了解业务指标，为企业科学决策提供依据，促进平台发展。 使用 Maxwell 实时将 MySQL 的数据同步到 Kafka； 使用 Redis 对数据进行去重，手动维护 offset； 使用 SparkStreaming 将 Kafka 里面的数据消费出来，进行清洗； 使用 SQL 语句分析业务指标，通过 Sugar 进行可视化展示。

对用户行为日志进行分流，采用侧输出流的方式写入到 Kafka 不同的 Topic 中； 对业务数据采用动态分流，动态控制业务数据的 sink 方向； DWS 宽表层的设计，使用 interval join 实现事实表与事实表之间的双流 join，使用 Redis 热加载存储的机制， 进行维度补全，并采用旁路缓存和异步 I/O 对其进行优化； 使用 Flink 的时间语义和窗口机制，实时统计每小时 PV 和 UV； 使用 CEP 严格相邻规则，实现跳出明细的统计； 自定义分词器工具类，对搜索关键词进行拆分，实现搜索热词统计。