数据库脱敏水印产品

我要开发同款
proginn14530927402024年05月21日
48阅读
开发技术mongodb、sqlserver、mysqlvuejava

作品详情

项目分为数据资源管理、脱敏任务管理、脱敏规则管理、水印管理。数据资源支持文件与数据库两大类,文件支持本地及FTP文件,数据库支持添加主流的数据库及国产化数据库;脱敏任务管理支持库到库、库到文件、文件到库、文件到文件四种方式,同时支持不同数据库之间的脱敏任务,任务配置支持增量、子集配置,适用多种场景;脱敏规则中内置了63种常见的敏感数据类型,支持敏感数据类型的添加,脱敏算法包括仿真、遮蔽、替换、加密、可逆、取整等多种算法类型,算法模版可配置敏感类型用何种算法进行脱敏,在脱敏任务中可选用算法模版对脱敏任务进行快速配置;水印支持对水印信息、水印任务的配置,支持水印溯源,目前水印支持数据库的伪行伪列水印、文件水印,通过在数据中添加水印信息,在出现数据泄露情况时可针对泄露数据进行溯源追踪到泄露用户。
项目中我主要负责脱敏规则管理、数据库资源管理、脱敏任务中异库脱敏的实现,主要使用了开源的ETL工具Kettle实现脱敏任务的执行,通过敏感数据的漂白避免隐私数据的泄露。
难点:
1.由于不同数据库的字段类型不同,在异库脱敏创建表的过程中会出错,故维护一张不同数据库间字段类型的映射关系,建表时取映射后的字段类型创建表,同时监听任务的错误原因,在任务结束后可查看错误原因。
2.由于脱敏任务中可对不同字段选用不同的脱敏算法进行配置,同时需要从源数据中进行数据抽取,再将脱敏结果输出到目标数据,要完成这个流程工作量比较大,故采用Kettle组件,通过对kettle中各种组件的熟悉,最终完成了数据脱敏的任务流程。
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论