一个一站式UDF平台,覆盖UDF的一键发布、资源共享、版本管理、操作日志查看等.
有的时候,用户要写的查询无法直接使用Hive/Spark提供的内置函数来表示,通过写UDF,用户可以轻松在Hive/Spark SQL中插入自定义的业务处理逻辑
但是在实际的开发过程中, 大家往往根据自己所面临的需求直接开发UDF并打包上传, 并在相应的sql任务中直接调用, 这个过程对于其他用户往往是不透明的, 后期维护不方便, 极端情况下人员离职后后期在维护的时候需要将jar包重新拉去反编译才能获取具体的UDF. 此外UDF的开发经常出现重复造轮子的现象.
该平台主要将UDF的发布和管理统一. 所有的人员都通过该平台进行UDF的注册和发布, 平台上可以针对发布的UDF进行简单的测试.
项目架构:
后端 :SpringBoot + SpringMVC + MyBatis + MySQL + GitLab + HDFS
前端: Nuxt.js + Vue.js
该项目主要包含以下模块:
1. 管理员管理模块
用于最高管理员对用户信息, 用户组信息, UDF信息, 进行增删改查. 并审批UDF信