技术架构：Spring Cloud Alibaba、MySQL、Mybatis、Naoos、大数据平台、Redis
项目描述：敏感日志系统是一个针对多源日志的集中处理与监控平台。系统通过FTP和Kafka接收来自其他系统的日志文件，实现了对日志的高效收集与整合。系统不仅对接了外部系统，还提供了强大的日志解析功能，将解析后的日志数据存入MySQL数据库中，便于后续的查询与分析。为了满足业务需求，系统还实现了自动化的邮件发送功能。每天定时将处理好的日志数据以邮件的形式发送给相关人员，邮件内容包含涉敏和非涉敏日志的统计数据。考虑到日志数据量庞大，每日可达百万级，系统特别优化了数据处理流程，确保邮件发送的及时性和准确性。
个人职责:
1.完成系统功能开发，搭建devops，开发涉敏邮件和非涉敏邮件，对接中台系统。涉敏邮件数据量大采用，大数据定时调用生成相应附件包，上传到相应目录。发送邮件时直接取出相应附件。
2.对接数据中台，用户点击页面统计次数和相关量纲进行实时和非实时上报，实时上报采用http接口对接，非实时采用ftp上报数据文件。应用上台部署。
3.devops搭建。使用docker镜像安装gitlab。编写相关打包部署shell脚本。使用Ansible将项目同步到其他机器上。使用jenkins进行自动化部署。
4.新增相关数据校验，文件校验的相关接口。
5.生产问题的排查，导出大量数据时，系统出现宕机问题，经过调整jvm参数解决问题。