项目描述: 为银行定制化一个营销平台，业务员将营销规则输，通过客户信息和、线下渠道反馈、H5埋点数据、营销规则，大数据自动跑出对应的客户，反馈给渠道端进行营销，同时还会跑出规则的达标率、客户重点指标跟踪、营销效益等报表，方便业务人员判断活是否值得继续进行。任务描述：1.接入数据：sqoop接入MySQL数据（MySQL），文件接入渠道端反馈数据（hive），映射表H5行为明细（HBase）,water drop将hive传送到clickhouse2.模型设计：因业务需要，我们的模型设计缜密，与传统模型类似，但也有所不同，有接入层，预加工层，加工层，应用层和接口层。其他的层级都是脚本驱动加工表，我们的加工层是脚本驱动脚本再驱动加工表。3.批量开发：我们的批量开发运用python驱动spreak sql，完成大部分名单的开发和报表的汇总，确保第二天能为下游提供数据4.实时开发：对于实时性要求较高的场景，我们运用flink实现秒传，传入对应的流程化布并处理，例如当某个客户的余额达到一定条件，我们会立刻给他下发短信，邀请他抽奖。5.维护数据：包括调度的正常运行、数据的准确性、服务器的资源、数据清理策略