数据库审计系统

我要开发同款
proginn16571714152023年11月06日
103阅读
所属分类大数据

作品详情

项目环境:MySQL+ClickHouse+Spring+SpringMVC+MyBatis+RabbitMQ+Kafka+Linux
项目描述:属于二开项目,将数据存储从 Lucene 切换至 ClickHouse,是一款软硬一体化产品,将数据库
的各种访问操作,解析还原为数据库级的操作语句,通过预置的安全规则匹配,即可智能分析和监控访问者的各
种操作,可以准确的反馈数据库的各种变化,对我们分析数据库的各类正常、异常、违规操作提供证据。项目使用
SSM 框架搭建,使用 MySQL 存储配置数据、ClickHouse 存储审计数据。
项目职责:负责项目的技术攻关、需求设计、串讲、二次开发、冒烟测试、漏洞修复,主要负责检索模块和
数据维护模块以及数据存储的优化开发
1、数据存储:将原本的 lucene 存储数据转移至 clickhouse 中,优化检索以及报表展示性能。
2、检索:百亿级数据检索优化,经历两次优化,第一次优化通过百度分页方式将检索效率提升 10 倍,第二次
采用多线程+websocket 分批推送将检索时间提升至秒级,得到客户认可;
3、数据维护:自学 ClickHouse 数据库技术,查找资料了解 ClickHouse 分区,利用 ClickHouse 分区特性进
行审计数据的备份、清理和恢复,同时使用定时任务完成自动备份和自动清理。
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论