项目描述: 此系统是我们公司最终要的系统，我们公司的主要业务就是给各个金融行业卖这套这套系统。他的功能是通过前端页面的各种引擎参数配置，来实现数据同步、数据加工、数据展示。其中用到了很多大数据组件，例如数据同步用到了datax、sqoop、spark。数据加工用到了hive和MySQL，Oracle、达梦等多种主流数据库的jdbc,还有hive、spark的参数配置、资源也同步到了yarn，还有flink模块可以通过配置实现数据同步根据多家项目经验共同升级维护到现在功能强大的平台
任务描述：
1. 开发系统，根据后端传过来的配置分别流入不同的引擎，并集成拼接启动这些引擎，datax、sqoop、spark、yarn、flink等声明：本文仅代表作者观点，不代表本站立场。如果侵犯到您的合法权益，请联系我们删除侵权资源！如果遇到资源链接失效，请您通过评论或工单的方式通知管理员。未经允许，不得转载，本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态
评论