项目简介
好衣库是鲸灵集团旗下的私域电商品牌特卖平台。 对每天用户行为产生的日志进行分析和统计，具体指标包括：
每日、周、月活跃设备明细，留存用户比例，沉默用户、回流 用户、流失用户统计，最近 7 天内连续 3 天活跃用
户统 计，GMV 成交总额分析，转化率及漏斗分析，品牌复购率分析、订单表拉链表的设计等，最后用直观清晰
的可视化 界面来分析用户的活动，为领导提供决策，为公司运营提供方向。
技术架构
Sqoop+HDFS+Kafka+Zookeeper+Mysql+Hive+Spark+FineBI+Azkaban+Hbase
职责描述
1. 参与监控文件，数据采集 flume+kafka，下沉到 hdfs；
2. 自定义 flume 拦截器，编写拦截器相关配置文件；
3. 编写 shell 脚本，将 mysql 中业务数据导入 hdfs；
4. 参与数仓的搭建（ods，dwd，dws，ads）；
5. 负责原样数据的拉取
6. 参与 dwd 层的搭建，使用自定义函数(udf，udtf)进行炸裂，并做 etl 数据清洗；
7. 负责 dws 层的搭建，建立一些跨主题的宽表；
8. 分析相关业务指标，可视化报表分析，利用 azkaban 进行全流程调度。