项目描述： 本实验项目抓住新媒体广告实验教学中最复杂的投放环节，克服广告真实投放实验困境，依托大数据、云计算、人工智能等信息技术，运用虚拟仿真、软件定义等多种形式再建新媒体广告生态圈与程序化投放全流程，集合广告投放四大端，即广告主、广告公司、媒体、受众，及其相关岗位角色，植入新媒体广告最核心的知识点，即技术、原理、方法、产业结构和行业术语，构建了一个“既立足于现实、又有行业前瞻、虚实互补互促、线上线下结合”的实验教学系统，实现了新媒体广告投放教学的智能化云端化和“理、虚、实”一体化，满足了多端多岗、全流程、数据化、时空融合、师生互动、高并发等虚拟仿真实验要求。 主要涉及人群画像构建、网站Session构建（实时+批处理） 个人职责： 1.批处理方案进行人群画像构建 2.Spark streaming读取kafka日志构建实时网站Session 3.多岗位角色数据一致性保证 4.作为项目负责人，和高校老师进行对接， 包括等保2.0，优化迭代，推广等各类事宜。

项目描述： 营销云涵盖了包括百度、快手、腾讯、阿里、小米在内的多家主流媒体营销资源。包含：Atomic-账户管理平台、 OTD-批量广告创建平台、OIDB-跨渠道智能数据仪表盘、Ovation-创意聚合平台、AU-数据智能平台。实现了高效的全链路跨渠道广告营销和管理。 数据时效性问题：广告展点消之类表现数据是实时变化的，业务数据支持对数据实时性要求至少做到T-1级别，部分核心展点消数据需要做到小时T-1级别，加上数据来源多，数据类型多， 异构的数据同步程序问题繁多， 数据同步压力异常艰巨。 数据体量问题：庞大且杂乱的数据管理和使用是营销云的核心。8家主流媒体，即使排除视频、图片等数据，每年同步过来的各类报表大概就有10TB+。包含视频图片等素材每年新增数据量都是百TB级别的。 数据库读取问题：业务采用的是mysql数据库， 无法支撑ETL的大规模读取。 数据完整性，一致性等数据质量问题：业务中大量的数据来源于运营和销售的录入，数据质量高度依赖人员的素质。 个人职责： 项目进程的推动角色。 1.采用‘状态机’思路，推动并协助实现全自动化的媒体数据同步方案，解决复杂的数据同步问题。 2.采用云服务 对象存储+mysql 替代 原有的 hdfs + hbase + mysql方案， 结合数据分层治理， 数据生命周期管理， 冷热分离， 剥离OLAP业务等措施，将成本指数级增长转变为常数级别。 3.搭建并推动zeppelin使用，降低数据部分进行测试，运营，分析师的门槛。 4.搭建并推动Airflow使用，替代原来的cronjob方案，极大的提升了数据维护的效率和质量。 5.协调数据分析师、运营负责、公司构建统一的数据标准化体系，完善SOP流程，构建标准数仓分层模型， 明确数据流向，确认整个数据生命周期的分工职责。 6.Kafka + spark streaming构建实时系统日志分析架构，协助监控和优化系统功能。 7.采用AC自动机解决敏感词匹配问题。 8.EWMA移动加权平均方案预测未来24小时账户消耗，提高公司资金周转利用率。 9.结合HanLP分词方案，直接简化公司实体名等替代原有的实体映射维护方案，减少运营负担。 10.结合Austin消息推送平台，推动并实施公司内多渠道统一消息服务。 11.抽象ODS层数据构建DW实现，该部分代码规模降低50%， 核心部分降低到千行以下。 12.构建并实现优化视频、图片等素材相似（phash）计算，相似比较级别从千亿次降低到亿次级别。 作为公司数据中台、业务中台建设核心人员，推动业务运营，销售，媒介等各个角色的效率提升以及工作流程优化。

一种处理互联网营销跨渠道数据实时生成智能简报的系统，其特征在于：包括数据中心、数据智能聚合模块、数据集市业务模型数据表单存储管理模块、数据智能分析计算模块、数据智能简报生成模块和数据智能简报分发模块，所述数据中心用于连接外部数据源并进行数据收集和存储，所述数据智能聚合模块用于对数据中心中存储的数据进行聚合分析，所述数据集市业务模型数据表单存储管理模块用于对聚合分析后的数据进行分类存储并建立索引表单，所述数据智能分析计算模块用于对分类存储的数据进行分析处理，所述数据智能简报生成模块用于将数据及分析处理结果生成图文简报，所述数据智能简报分发模块用于对生成的图文简报进行输出报送分发。