数据规则分析系统

我要开发同款
yaodaoz2023年11月08日
76阅读
所属分类IT

作品详情

该系统用于针对数据做一些规则检查,使用正则表达式、模版渲染引擎、Groovy 表达式来做数据的规则分析。
本人负责整个后端工程的开发,后端整个系统主要包括两大功能模块:
- data-cookie 数据库监听系统,负责监听canal(mysql binlog 监听中间件)服务端,解析数据库表的变动数据;
- data-quality-monitor 数据质量监测系统,提供 Kafka、Dubbo 作为数据的接入和解析。
项目难点:
- 提供灵活多样的规则检查方法,方便非开发同学也能编写一些简单的规则;
- 规则不能写死在代码中,而是存储在数据库中,其中 groovy 脚本需要做一些缓存处理,我们使用内存+Redis+mysql的三层缓存机制。
- 分析结果的搜索,我们采用ES作为搜索引擎。
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论