一、项目模块：
1、工作台总览：将其他子模块的重要数据做统计，并用图标形式展现给用户
2、数据字典：把国标数据作为字典对接入库，作为数据标准
3、元数据：通过管理数据源、集合的绑定关系维护一个业务集合（数据库源），通过导入进行数据抽取（包括周期抽取），另外有一致性监测流程
4、数据管理：进行语义管理，存储标准文档，自定义管理映射关系
5、质量规则：对数据抽取的结果进行数据质量验证，通过定好的质量规则对各字段的数据进行校验并得出最终质量评分及权重图
6、数据资产：方便用户对集、表、字段等资产进行搜索查找
7、数据服务：选定数据集中一个或多个表，表中一个或多个字段，关联脱敏规则，配置成服务接口，用户可通过接口获得脱敏后的数据
8、数据安全：配置数据服务中的脱敏规则，对相关数据进行数据脱敏
9、字典配置：关联异步推送的接收域，将字典内容通过配置推送到
二、负责模块：
使用springcloud分布式架构
1、工作台总览：使用了netty+websocket实时呈现图标数据
2、元数据：使用了kettle作为etl工具进行数据抽取，netty+websocket呈现同步实时日志，elasticjob调度周期任务
3、质量规则：质量规则管理、正则校验
4、数据资产；使用rocketmq异步同步集、表、字段等数据到资产中，并同步到elasticsearch中并实现检索，使用redis创建热点数据排行，实现热点搜索
难点解决
1、产品要求缓存实现搜索记录并要求排行，经过沟通需求与热点数据一致，通过lua脚本设置定长队列，zset增值设置方式实现热点数据排行
2、数据同步需要使用etl工具的api，从下载的客户端文件夹下的jar包中找到可用jar包并上传私仓
3、在kettle源码部分无法满足需求时，从gitee下载同版本源码进行修改编辑，测试通过打为jar包上传私仓更新