项目简介：
该项目旨在为店长及蔬菜品类运营人员提供蔬菜天维度自动补货，以期减少人力成
本及不必要的损失的同时，推进蔬菜采购合理包规；
主要职责：
1 数据平台底层技术组件(Hadoop 原生组件、CDH 版本、HDP 版本)及任务调度系统(初
期的 Linux crontab 到 airflow 到 DolphinScheduler)选型、环境搭建，并指导其他后端开
发人员在此基础上开发；
2 数据仓库从 0 到 1，整合公司不同渠道销售、库存、采购、营销等业务数据，推动
各个业务系统责任数据字典维护，数据建模、质量把控、清洗、集成；
3 公司门店已覆盖的城市及即将覆盖的城市不同地理、时间维度天气数据采用 scrapy
架构定时爬取，并将原数据存 MySQL，各种处理之后写 hive；
4 门店不同渠道经营数据分析及各类数据分析；
5 特征工程，特征选择、模型选择、销量机会损失补偿、销量预测、及模型预测效果
评估及优化（整合各时间段天气、期初期末库存、营促活动、各时间段销量数据，基于
此数据采用 k-mean 聚类对以售罄商品需求还原，主要特征由基于 spark 的工具类处理，
在特征中引入基于门店商品做为句子的 spark word2vec 模型输出商品的向量特征，及
spark arima 模型预测结果做为特征，最终采用 spark RF 模型预测各门店蔬菜类商品每天
销量）；
6 部分蔬菜预测准确率 100%，公司所有门店整体 MAPE 50%左右；