用户行为日志收集和分析系统原来使用的神策数据提供服务，没有自己的离线数仓和实时数仓。但是在业务发展越来越多样化和用户量越来越大的背景之下，神策数据已经满足不了目前的数据需求。为了替换掉神策同时建设自己的离线和实时数仓，数据智能团队开始了自有埋点系统和实时数仓的建设。

本人在该项目中负责整个项目的工程架构设计、技术选型和核心模块开发，协调各端开发和测试的工作，推动整个项目在业务侧的落地。
1.埋点管理平台建设
埋点管理平台建设主要分为四部分：埋点SDK研发、埋点模型设计、埋点规范制定和埋点元数据管理。
考虑到项目开发效率和技术成熟度以及业务侧埋点的成本，项目采用了神策开源的SDK作为埋点上报SDK，同时做到了全公司各业务各端SDK统一化和标准化，制定了埋点端到端采集的规范，设计出灵活、全面、复用性高的埋点模型。在埋点规范统一的基础上开发出埋点元数据管理，实现了埋点的上下线管理、事件属性管理、埋点实时数据校验等功能，方便业务方使用和管理埋点。

2.埋点日志收集及在线分析系统建设
埋点日志收集及在线分析系统分为三部分：埋点日志收集技术架构设计、埋点日志实时ETL技术选型、OLAP组件选型。
针对需求分别设计了开源组件架构和云原生组件架构两种架构方案，在技术完整性、项目成本、项目可维护性等考虑之下最终选择了云原生组件架构。该项目使用阿里云日志服务(SLS)作为日志接收、传输和日志总线组件，使用Flink进行用户埋点ID-MAPPING和埋点日志实时ETL，使用分析型数据库Hologres作为埋点日志存储和OLAP分析组件。

3.实时数仓建设
实时数仓选用SLS+Flink+Hologres的架构。数据模型分三层，ODS(DWD)->DWS->ADS。ODS(DWD)层明细数据存储在SLS中，DWS层数据使用Hologres列存表存储，按照主题整合，构建可复用的DWS层，减少烟囱化。由于Hologres同时支持行存和列存，ADS层指标数据直接输出Hologres行存表对外提供服务。