项目描述：本项目是基于Flink开发的实时数仓，出于客户业务的需要，获取任务开始期间智慧车辆行驶相关指标的实时变化，以便于及时调整车辆参数。整体项目难度较大，需要保证高可用、高吞吐、低延迟、结果的准确性以及良好的容错性。
技术栈: Flume、Maxwell、Kafka、Zookeeper、Flink、MySQL、HBase、Phoenix、Redis、ClinkHouse、Hadoop
个人职责:
1、技术选型与框架搭建：评估多种实时数据处理技术，最终选定Kafka、Flink作为核心组件，搭建起稳定可靠的数据分析框架。
2、系统架构设计：负责整体架构设计，包括数据采集、数据清洗以及数据处理层的设计与实现，确保系统的高性能和高可用性。
3、业务理解与指标分析：根据用户需要，从安全、高效、节能和舒适四个方面展开，深入理解指标实现的意义和途径，梳理实现指标需要的数据。
4、功能研发与测试：负责部分指标的开发任务，配合测试同事制定每个指标的测试用例，确保系统开发效率。
技术描述：
1. 日志数据通过 Nginx 实现负载均衡，将日志数据发送到 Kafka 中，业务数据存储在 MySQL 中，使用 Maxwell 实时监控抓取 MySQL 数据发送到 Kafka；
2. 使用Flume把从日志服务器接收的日志数据进行简单的 ETL 数据清洗；
3. 从 Kafka 读取日志数据进行分流，实现数据拆分，写入不同的 Kafka 主题中；
4. 根据 MaxWell 给我们封装的数据结构提前在数据库中创建一张配置表；
5. 通过 FlinkCDC 动态监控配置表的变化，以流的形式将配置表的变化读到程序中；
6. 通过 Flink 进行双流 Join 组合实现订单宽表；
7. 外部数据源通过 Redis 实现旁路缓冲，加快查询效率；
8. 将维度关联引入异步查询，将 IO 操作异步化，使单个并行可以连续发送多个请求，不需要阻塞式等待，大大提高流处理效率；
9. 利用 FlinkCEP 对流中数据进行匹配，实现车辆掉线检测以及5S内连续3次登录报警；
10. 利用 IntervalJoin 管理流状态时间，实现停车费支付宽表，保证当支付到达时订单明细还保存在状态中；
11. 将多条流通过 union 进行合并，指定水位线，分组开窗聚合，写入到 ClickHouese；
12. 提供一个数据接口用来查询 ClickHouse 中的数据，进行可视化展示。