项目描述：
营销云涵盖了包括百度、快手、腾讯、阿里、小米在内的多家主流媒体营销资源。包含：Atomic-账户管理平台、 OTD-批量广告创建平台、OIDB-跨渠道智能数据仪表盘、Ovation-创意聚合平台、AU-数据智能平台。实现了高效的全链路跨渠道广告营销和管理。
数据时效性问题：广告展点消之类表现数据是实时变化的，业务数据支持对数据实时性要求至少做到T-1级别，部分核心展点消数据需要做到小时T-1级别，加上数据来源多，数据类型多， 异构的数据同步程序问题繁多， 数据同步压力异常艰巨。
数据体量问题：庞大且杂乱的数据管理和使用是营销云的核心。8家主流媒体，即使排除视频、图片等数据，每年同步过来的各类报表大概就有10TB+。包含视频图片等素材每年新增数据量都是百TB级别的。
数据库读取问题：业务采用的是mysql数据库， 无法支撑ETL的大规模读取。
数据完整性，一致性等数据质量问题：业务中大量的数据来源于运营和销售的录入，数据质量高度依赖人员的素质。
个人职责：
项目进程的推动角色。
1.采用‘状态机’思路，推动并协助实现全自动化的媒体数据同步方案，解决复杂的数据同步问题。
2.采用云服务 对象存储+mysql 替代 原有的 hdfs + hbase + mysql方案， 结合数据分层治理， 数据生命周期管理， 冷热分离， 剥离OLAP业务等措施，将成本指数级增长转变为常数级别。
3.搭建并推动zeppelin使用，降低数据部分进行测试，运营，分析师的门槛。
4.搭建并推动Airflow使用，替代原来的cronjob方案，极大的提升了数据维护的效率和质量。
5.协调数据分析师、运营负责、公司构建统一的数据标准化体系，完善SOP流程，构建标准数仓分层模型， 明确数据流向，确认整个数据生命周期的分工职责。
6.Kafka + spark streaming构建实时系统日志分析架构，协助监控和优化系统功能。
7.采用AC自动机解决敏感词匹配问题。
8.EWMA移动加权平均方案预测未来24小时账户消耗，提高公司资金周转利用率。
9.结合HanLP分词方案，直接简化公司实体名等替代原有的实体映射维护方案，减少运营负担。
10.结合Austin消息推送平台，推动并实施公司内多渠道统一消息服务。
11.抽象ODS层数据构建DW实现，该部分代码规模降低50%， 核心部分降低到千行以下。
12.构建并实现优化视频、图片等素材相似（phash）计算，相似比较级别从千亿次降低到亿次级别。
作为公司数据中台、业务中台建设核心人员，推动业务运营，销售，媒介等各个角色的效率提升以及工作流程优化。