项目为电商构建指标体系；对埋点及下单数据进行分析构建出潜在有价值客户及活动拉新客户流失等指标体系展示
我在项目中主要承担以下职责:
1. 全面架构设计，由于研发人员资源紧张，我负责全面架构设计，经过调研各大公司实际落地项目，选择开源工具进行开发设计；通过spark/flink对接hive/kafka进行离线和流式数据加工，并将加工好的数据接入OLAP数据库[druid/clickhouse]；并最终选择superset作为指标dashboard展示搭建；
2. 离线和实时指标数据开发：买点数据和订单数据接入kafka并sink到hive中，使用spark进行离线开发，并使用flink进行实时指标开发。