项目名称： 数字化运营
开发架构：CDH+hadoop+spark+hive+kafka+flume+springboot+impala+mysql
项目描述：随着公司业务发展，公司开发了股票行情APP，业务部门希望通过运营和活动促使用户对产品进行付费，所以运营部门需要及时了解业务实际情况，用户运营策略和产品功能调整，知晓用户处在用户生命周期的哪一个环节，然后针对性的运营，使其成为付费用户。
系统实现：需求分析、标签和指标设计、前端埋点、数据采集、数据存储仓库设计、离线标签和指标统计开发、数据服务开发、前端报表开发、标签和指标测试、业务部门验收
项目职责：1、依据需求确定APP/Web/H5/小程序/微信聊天等数据采集方案。埋点事件以及相关字段采集，埋点采集的数据测试和质量验证
2、使用spring开发日志接受微服务，预处理过滤非完整json格式行为日志数据，依据日期时间过滤避免今天数据写到昨天，之后数据同步发送到kafka; 用户、产品、订单、支付等业务数据使用sqoop基于日期时间增量抽取到Hive中；flume配置kafka用户日志数据实时保存到Hive中
3、使用sparkstreaming实时(秒级)消费kafka用户行为数据ETL后保存到ES；
4、参与用户画像标签和统计指标的需求确定，基于星型模型构建三层ods、dwd、dws数仓，并使用hive建表，spark rdd离线T+1进行数据ETL，首先对用户标识进行idmapping关联不同数据源，清洗数据后使用parquet格式保存到数仓，用户日志数据，按年月日分区，按行为事件(启动APP、购买产品、浏览新闻等)分桶，之后sparksql开发运营指标统计、匹配规则类和统计类标签，预测类标签，用户标签保存在hive和ES和指标统计保存到mysql，impala提供OALP
5、使用spring开发数据提供接口服务