项目描述: 此系统是我们公司最终要的系统，我们公司的主要业务就是给各个金融行业卖这套这套系统。他的功能是通过前端页面的各种引擎参数配置，来实现数据同步、数据加工、数据展示。其中用到了很多大数据组件，例如数据同步用到了datax、sqoop、spark。数据加工用到了hive和MySQL，Oracle、达梦等多种主流数据库的jdbc,还有hive、spark的参数配置、资源也同步到了yarn，还有flink模块可以通过配置实现数据同步根据多家项目经验共同升级维护到现在功能强大的平台 任务描述： 1. 开发系统，根据后端传过来的配置分别流入不同的引擎，并集成拼接启动这些引擎，datax、sqoop、spark、yarn、flink等

项目描述: 为银行定制化一个营销平台，业务员将营销规则输，通过客户信息和、线下渠道反馈、H5埋点数据、 营销规则，大数据自动跑出对应的客户，反馈给渠道端进行营销，同时还会跑出规则的达标率、客户重点指标跟 踪、营销效益等报表，方便业务人员判断活是否值得继续进行。 任务描述： 1.接入数据：sqoop接入MySQL数据（MySQL），文件接入渠道端反馈数据（hive），映射表H5行为明细（H Base）,water drop将hive传送到clickhouse 2.模型设计：因业务需要，我们的模型设计缜密，与传统模型类似，但也有所不同，有接入层，预加工层，加工 层，应用层和接口层。其他的层级都是脚本驱动加工表，我们的加工层是脚本驱动脚本再驱动加工表。 3.批量开发：我们的批量开发运用python驱动spreak sql，完成大部分名单的开发和报表的汇总，确保第二天能 为下游提供数据 4.实时开发：对于实时性要求较高的场景，我们运用flink实现秒传，传入对应的流程化布并处理，例如当某个客 户的余额达到一定条件，我们会立刻给他下发短信，邀请他抽奖。 5.维护数据：包括调度的正常运行、数据的准确性、服务器的资源、数据清理策略

项目描述: 此项目为深圳市大鹏新区建设政务数据中台，提供数据支撑。收集大鹏新区所有单位的数据，进行治 理，再对有需求的单位进行共享。开发大屏、中屏将一些重要的指标实时展示，供领导查看各指标动态和汇报。 做实时数据处理，将处理好的结果返回。 任务描述： 1. 接入数据，将新区各委办局的系统通过接入系统，接入到我们的hiveODS贴源层。 2. 将贴源层数据进行清洗到DWD明细数据层，我们一般用两种方法（1）公司的清洗融合系统， 底层是根据规 则自动拼装成sql定时执行，（2）处理较为复杂的逻辑，我们直接写xshell操作放 到定时器里执行，两种方法原 理都一致只是表达方式略微不同。 3. 公司产品定制化开发，每个项目组的实际场景不一致，导致需求各有不同，我们申请到公司源代 码，与这边的 合同进行对比，不一致的将进行改造。改造完成后用当前最流行的docker+k8s进行部署。 4. 实时接口开发，上述的数据处理都是离线数据，对于要求实时性要求较高的我们一般用定时调用 接口或者通 过Kafka获取数据，再用flink做数据处理，最终将结果返回到kafka或ES中。例如我 做过“沙滩预警”的工程， 此工程的目的是不让夜间有行人。沙滩将数据通过接口推送数据，我们 实时获取，若在夜间出现人体温度，我会 将此时的状态、现场的图片记录，通过短信发送给负责人，请求及时处理。 无图片和演示地址，因为政府部门涉及保密