点击空白处退出提示
作品详情
营销云涵盖了包括百度、快手、腾讯、阿里、小米在内的多家主流媒体营销资源。包含:Atomic-账户管理平台、 OTD-批量广告创建平台、OIDB-跨渠道智能数据仪表盘、Ovation-创意聚合平台、AU-数据智能平台。实现了高效的全链路跨渠道广告营销和管理。
数据时效性问题:广告展点消之类表现数据是实时变化的,业务数据支持对数据实时性要求至少做到T-1级别,部分核心展点消数据需要做到小时T-1级别,加上数据来源多,数据类型多, 异构的数据同步程序问题繁多, 数据同步压力异常艰巨。
数据体量问题:庞大且杂乱的数据管理和使用是营销云的核心。8家主流媒体,即使排除视频、图片等数据,每年同步过来的各类报表大概就有10TB+。包含视频图片等素材每年新增数据量都是百TB级别的。
数据库读取问题:业务采用的是mysql数据库, 无法支撑ETL的大规模读取。
数据完整性,一致性等数据质量问题:业务中大量的数据来源于运营和销售的录入,数据质量高度依赖人员的素质。
个人职责:
项目进程的推动角色。
1.采用‘状态机’思路,推动并协助实现全自动化的媒体数据同步方案,解决复杂的数据同步问题。
2.采用云服务 对象存储+mysql 替代 原有的 hdfs + hbase + mysql方案, 结合数据分层治理, 数据生命周期管理, 冷热分离, 剥离OLAP业务等措施,将成本指数级增长转变为常数级别。
3.搭建并推动zeppelin使用,降低数据部分进行测试,运营,分析师的门槛。
4.搭建并推动Airflow使用,替代原来的cronjob方案,极大的提升了数据维护的效率和质量。
5.协调数据分析师、运营负责、公司构建统一的数据标准化体系,完善SOP流程,构建标准数仓分层模型, 明确数据流向,确认整个数据生命周期的分工职责。
6.Kafka + spark streaming构建实时系统日志分析架构,协助监控和优化系统功能。
7.采用AC自动机解决敏感词匹配问题。
8.EWMA移动加权平均方案预测未来24小时账户消耗,提高公司资金周转利用率。
9.结合HanLP分词方案,直接简化公司实体名等替代原有的实体映射维护方案,减少运营负担。
10.结合Austin消息推送平台,推动并实施公司内多渠道统一消息服务。
11.抽象ODS层数据构建DW实现,该部分代码规模降低50%, 核心部分降低到千行以下。
12.构建并实现优化视频、图片等素材相似(phash)计算,相似比较级别从千亿次降低到亿次级别。
作为公司数据中台、业务中台建设核心人员,推动业务运营,销售,媒介等各个角色的效率提升以及工作流程优化。
![](https://filescdn.proginn.com/works/87d2d4effc3632c6e4de4f2fcf0a830e587355ba.png?x-oss-process=image/resize,w_800)
![](https://filescdn.proginn.com/works/3c72beb8bd66fd91d4e9802bce738273fccde906.png?x-oss-process=image/resize,w_800)
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
评论