离线数据开发平台是一个Web应用,主要功能是简化用户和Hadoop集群间的交互,主要包含以下4个功能模块:
权限管理
支持权限自助申请,快速发起申请流程并且自动化授权。
支持数据权限管控,根据用户申请的权限,控制用户能访问的数据。
支持权限自助查询,方便用户快速查询数据权限。
项目管理
提供对各个项目、脚本的管理功能,包括目录/脚本的CRUD。
支持对脚本进行批量操作。DS一期目前只提供批量删除功能。
支持对项目、脚本进行权限管理,授予指定用户查看/编辑权限。
项目开发
提供基础的SQL开发、运行等功能。
支持对依赖的数据进行检测,若依赖表数据量为0,则任务自动失败。
分离了任务的执行日志、结果数据,并提供多结果集查看功能。
项目发布
支持对脚本进行编排,控制脚本的执行顺序。
支持定时调度任务。
支持任务的监控告警。
我在此项目中负责前端部分从零到一,框架搭建,页面开发,组件开发,权限管理功能,项目管理功能,项目开发功能,项目发布功能模块的开发,及所有功能需求对接,与后端接口联调,bug问题修复,及项目上线发布等工作.
在此项目中,对拖拽dag图插件通过改造和二次开发,实现对节点拖拽并