HY系统服务于广告投放、活动运营、算法、BI等部门，提供实时和离线分析的核心业务指标，为精细化的日常运营工作提供数据支撑，是数据可视化的解决方案。作为核心数据开发人员，结合不同的业务场景设计数据存储和查询方案，满足业务方对准实时和实时数据的分析需求。在项目中我独立承担实时数据的方案设计和开发工作，站在数据统计的角度推动业务系统不合理埋点方案的设计，解决大数据量的查询和分析场景的性能问题。Druid实时数据库在满足日常准实时报表需求的基础上，我设计并实现了Druid接口服务，根据不同场景配置不同的sql，并可以指定不同的条件参数进行实时的下钻分析

根据数仓分层理念和现有业务事件，将离线数仓分为了五层: 1、ODS 数据引入层，将原始的结构化数据和结构化后的日志同步存储至MaxCompute。 2、DWD 明细数据层，基于具体业务事件的特点，构建最细粒度的明细数据表，宽表化处理。 3、DWS 汇总数据层，基于上层的应用和产品的指标需求，构建公共粒度的汇总指标事实表。 4、ADS 应用数据层，用于存放数据产品个性化的统计指标数据，输出各种报表。 5、DIM 公共维度层，基于实际业务，通过定义维度，确定维度主键，添加维度属性，关联不同维度等操作，构建整个企业的一致性数据分析维表。

druid-service 是基于quartz的一个定时调度工具，通过druid sql 定时查询druid实时数据库，统计准实时的指标数据并写入目标库，结果数据提供给上层应用查询使用。Druid-service上线后支撑了80%的准实时报表需求，原来需要花费两天时间开发jstorm作业的实时数据需求，变成配置sql作业十分钟就能开发完成，大大提升了实时数据开发效率。利用zk的LeaderLatch实现了主备节点的高可用架构，防止单点故障提高系统可用性，并加入任务执行失败重跑，任务更新告警，时刻监控任务状态