点击空白处退出提示
作品详情
本人负责整个后端工程的开发,后端整个系统主要包括两大功能模块:
- data-cookie 数据库监听系统,负责监听canal(mysql binlog 监听中间件)服务端,解析数据库表的变动数据;
- data-quality-monitor 数据质量监测系统,提供 Kafka、Dubbo 作为数据的接入和解析。
项目难点:
- 提供灵活多样的规则检查方法,方便非开发同学也能编写一些简单的规则;
- 规则不能写死在代码中,而是存储在数据库中,其中 groovy 脚本需要做一些缓存处理,我们使用内存+Redis+mysql的三层缓存机制。
- 分析结果的搜索,我们采用ES作为搜索引擎。
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态
评论