● 项目描述：该数据平台为公司 VP ，产品、运营及 KA 代理商使用，主要分为企业、代理商、销售等业务数据采集和对小程
序、APP 埋点、Feeds 流等数据上报到中台进行采集传输、计算、存储最后可视化后对使用人员进行展示；
● 技术组件：Mysql+Flume+Sqoop+MaxWell+Hadoop+Hive+Spark+Flink+Oozie+HBase+Phoenix+ClickHouse+Kylin
● 个人负责：
1) 配合数据产品经理以及运营梳理公司现有业务及数据流， 构建公司流批一体的离线/实时数据仓库， 基于数仓分层，完成各
层开发及相应主题宽表并提供离线报表，实时数据供相关人员分析决策使用；
2) 主要负责公司 AI、 Boss 雷达/小程序/APP 等产品用户的增长模型数据开发， 提供用户新增/活跃 / 留存/订单/数据以及用户
画像标签处和及代理商、企业、销售、Feeds 流等主题明细、聚合、宽表开发工作；
3) 参与 Apache Kylin 多维度模型数仓设计与优化(优化完成 kylin 大宽表十亿级数据量秒级响应) HBase Rowkey 设计以及 Spar
k/Hive 离线宽表模型数据的开发和 Oozie 任务平台度器资源优化 以及 Kafka,Flink 流式数仓与 APP 埋点 SDK 数据采集上报工
作；
4) 基于 SpringBoot 对外提供数据中台统一化接口，提供给相关技术业务部门调用，以及调研最新技术组件与加推实际场景的
应用相结合;
5) 解决过程中遇到的的数据倾斜问题以及优化设计宽表，日常数据以及群集维护,优化工作。保障应用服务系统7*24小时可
用；