技术栈：Flink，Spark，Kafka，HBase，Mysql ，语种识别引擎，语音转写引擎 该项目主要是建设重点人管控分析平台，利用只能语音技术，意图分析技术，实现重点管控人员的的及时发现，并进行预警防范。系统依托大数据平台的存储与运算能力，实时接入通话、短信、上网、轨迹数据，分别按照多种规则进行分析过滤后，实现重点人员的识别入库以及敏感行为的预警触发。 我在项目中的职责： 1.预处理服务：使用 Flink 实时从 Kafka 接入通话、短信、上网数据，并分别按照不同规则进行分析，若满足一定条件则将该数据对应人保存至重点人库中。 2.重点人预警服务：使用 Flink 实时从 Kafka 接入重点人的通话、短信、上网、轨迹数据，开关机数据，分别按照不同规则进行预警，满足预警条件则推送至前端展示；

技术栈：SparkSQL，Hive，Flinkx，ClickHouse，海豚调度，数仓维度建模，Kafka，PolarDB 数据化服务平台提供了各种业务数据的分析与展示，便捷地获取完整、准确、丰富的数据分析结果，支撑业务精准和快速决策。但由于1.0版本的数据存储与计算完全基于Mysql，导致数据计算过慢，历史数据无法获取，对于一些复杂指标的统计无法直接通过Mysql中现有数据直接计算得到。所以数据化服务平台中需要一种新的存储及计算方式。2.0版本使用数据仓库进行改造，并结合大数据能力进行存储与计算，彻底解决了1.0版本中存在的性能瓶颈与功能缺失。 我在项目中的职责： 1.设计数据化服务平台2.0整体功能架构； 2.数据仓库主题划分、各层模型设计与创建(ods,dwd,dws,ads)； 3.Flinkx部分同步任务编写； 4.数据仓库核心数据加工任务开发； 5.海豚调度配置整体任务流程；

技术栈：Flink，Flink CDC，Kafka，Redis，PolarDB 随着公司越来越多的业务场景对实时性要求越来越高，传统的Java程序已无法满足业务需求，需要采用Flink实时计算框架来对业务进行支撑。Flink大数据实时计算服务内部包含了多个Flink任务流，分别处理多个不同的业务流程。并且结合Flink cdc服务进行数据同步，使得业务处理更加高效、便捷。 我在该项目中的职责： 1.构建Flink实时计算项目框架，搭建整体服务架构，包括Flink项目工程样例创建，数据库工具类、Kafka工具类、Redis工具类、日期工具类等。 2.java程序改造Flink，某些新的功能需求使用Flink实现，具体的服务有： (1)电站潮流图秒级计算服务，实时接收设备上传的秒级测点数据，每10s一个窗口进行数据计算并推送结果给前端； (2)通信设备时区实时纠正服务，实时接收设备升级和时区设置成功指令数据，判断是否和电站时区一致，若不一致则下发时区指令进行通信设备时区纠正； (3)电站设备实时同步服务，实时接收Flink cdc服务推送的电站、设备相关表的变更数据，同步写入到ES索引中，供阳光云Web及App页面数据查询； (4)flink-sungrow-cdc服务，使用Flink cdc技术实时监听核心业务库(PolarDB)变更数据，并根据指定规则将不同表的数据发送到不同kafka队列中，供其他业务使用；