项目:数据操作平台
开发环境:Idea、Windows10、JDK1.8、MySQL数据库、Maven
软件架构:SpringBoot+Mybatis-plus+Redis+nacos+GateWay+Feign
项目描述:全链路的大数据开发,任务调度,数据质量,数据治理及数据服务平台,该平台有:配置中心、数据标准、数据建模、数据采集、数据转模、数据清洗、数据质控、数据加解密、数据概览、数据同步、消息中心、用户权限、API网关服务、DolphinScheduler调度等模块。
项目职责:
1、负责开发API网关服务,API网关是运行于外部请求与内部服务之间的一个流量入口,实现对外部请求的协议转换、鉴权、流控、参数校验、监控等通用功 能。
2负责开发数据建模,就是根据手动、导入创建的表字段,生成DDL语句,发布到指定的数据源中。
3负责开发数据转模,就是选择模型表,然后写插入查询SQL,把写好的SQL发布到DolphinScheduler中。
4负责将开源的DolphinScheduler调度系统合并到数据平台,并对其进行一些适配数据平台的二开。
5、负责开发用户权限,就是做用户管