该项目是基于打印机日志的智能报警系统，当系统收到上游的某事件后，根据定义的规则分析数据仓库中是否有匹配的事件，如果有则为下游发出警报。该系统由spring boot搭建后台项目，前端则采用angular js 。在整个项目中定义规则业务最为复杂，采用策略工厂等模式解决该逻辑。

该系统主要是在限定文件中搜索包含指定关键字的文件。系统主要使用Spring boot搭建后端服务，使用vue做前端页面。我在该项目上主要负责系统的总体架构及后端服务代码的编写。

该项目是打印机的大数据分析项目，数据由打印机发送的数据收集中心，数据中心将数据收集整理并发送到SEALs和其 他下游，SEAls把收到的数据包进行解密、解压、抽取、计算、存储，并提供UI、API等方式将数据结果提供给下游数据 分析人员查询和查看。 SEALs由以下模块组成： 1. 文件接收：使用Servlet，提供API，接收并存储上游发过来的文件； 2. 数据抽取：运行在Spark的应用程序，解压并抽取文件中有效的数据，将数据存储到数据仓库； 3. 数据处理：数据处理的ETL，对数据进行清洗、计算等操作； 4. 数据展示：基于Spring boot的Web应用程序，提供页面给用户，供用户查询需要的数据。 应用技术： AWS、Spark、SparkStreaming、Spring、MyBatis、Redis、Kafka、PostgreSQL 工作职责： 1. 参与数据抽取模块中的Shell脚本编写； 2. 参与模块的代码编写与调试； 3. 负责项目中新技术的研究与可行性分析； 4. 负责各模块的性能分析与优化。 工作成效： 1. 使用Spark Streaming直接消费SQS，优化了文件处理流程，不仅提高了系统的吞吐量，而且使维护和部署更方便； 2. 提出并使用数据同步方案，将热数据缓存，使页面响应速度降至3s内； 3. 提出并使用数据的增量计算替代全量计算，提升了数据计算的速度，减少了资源的浪费。