连通大数据项目

我要开发同款
kht192023年03月21日
112阅读
所属分类UI设计 PC网站webapp

作品详情

1,大数据管理平台系统开发,支持从三方机构文件上传平台,解析后并记录到关系型数据库,同时加密文件保存服务器,大数据数仓作为消费者定期通过数据库读取指定类型,状态为生效的文件记录,根据文件路径抽取文件并解密。
2,大数据指标管理平台:供线上平台支持统一查阅数据集市中的维度与指标,透明了解数据集市中的统计口径与逻辑,提出取值逻辑后,帮助各业务侧对于数据集市中的维度指标有共同的了解,可以对接元数据平台,数据资产平台等开源或外采的成熟数据质量相关系统
3,文件解析系统,机构方发送的文件大部分可以被数仓解析存储,特殊格式的复杂文件需要借助 java 端解析之后给到数仓,该系统结合业务侧文件,设计为工厂类型模式适用于不同的文件类型,同时利用 java 多态扩展程序适用于不同的文件内容解析
4,自动化测试平台复杂文件文件生成,借助系统功能快速生成文件,提升测试效率,由用户指定配置,按用户自定义规则生成不同复杂类型文件
责任描述:
1,负责大数据管理系统迭代需求
2,负责指标管理平台对接元数据管理平台Atlas,使用定时任务同步Atlas的元数据到指标平台,作为指标平台的数据源,以此用户可以界面化做出业务所需指标。负责指标管理平台的设计评审,技术实现
3,负责文件处理系统fileprocess的重构和需求迭代,兼容机构方提供的文件内容规则
4,负责自动化测试平台批量文件生成的设计实现
5,为大数据提供hive udf函数。
使用技术包括Springboot,Mybatis,redis,Mysql
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论