点击空白处退出提示
作品详情
有的时候,用户要写的查询无法直接使用Hive/Spark提供的内置函数来表示,通过写UDF,用户可以轻松在Hive/Spark SQL中插入自定义的业务处理逻辑
但是在实际的开发过程中, 大家往往根据自己所面临的需求直接开发UDF并打包上传, 并在相应的sql任务中直接调用, 这个过程对于其他用户往往是不透明的, 后期维护不方便, 极端情况下人员离职后后期在维护的时候需要将jar包重新拉去反编译才能获取具体的UDF. 此外UDF的开发经常出现重复造轮子的现象.
该平台主要将UDF的发布和管理统一. 所有的人员都通过该平台进行UDF的注册和发布, 平台上可以针对发布的UDF进行简单的测试.
项目架构:
后端 :SpringBoot + SpringMVC + MyBatis + MySQL + GitLab + HDFS
前端: Nuxt.js + Vue.js
该项目主要包含以下模块:
1. 管理员管理模块
用于最高管理员对用户信息, 用户组信息, UDF信息, 进行增删改查. 并审批UDF信息的模块.
2. UDF管理模块 + 操作日志查看
用于用户管理UDF的模块, 用户可以将自己分支的UDF代码合并到develop分支并推送远程, 然后通过UDF发布按钮录入UDF的信息, 系统在检测到该Develop分支的代码更新后会自动的打包上传到hdfs. 用户在此界面还可以进行UDF逻辑的基本测试, 以及UDF版本的迭代, 或是自己名下UDF信息的增删改查.
日志查看模块, 用户可以对自己名下UDF的操作日志明细进行查看
3. CICD模块
特殊的CICD触发逻辑, 在检测到develop分支的新commit后将项目中UDF模块打包并上传HDFS的对应路径, 并自动替换旧版版Jar包.
4. 前端模块
前端页面使用 Nuxt.js + Vue.js 编写,提升用户体验
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态
评论