大数据非结构化文档管理和数据迁移平台

我要开发同款
proginn10094097362023年09月26日
66阅读
所属分类IT

作品详情

需求描述:非结构化文档(例如:pdf,word,excel,ppt,txt文档)预览功能和非结构化数据(例如:mysql,postgressql,oracle,sqlserver等数据库)迁移到hbase数据库进行分页查询。
项目描述:大量的文档需要在系统中存储,对下载有权限控制,开发了一个在线文档预览,对非结构数据进行迁移到我们大数据平台进行备份和查询功能和对hbase数据进行迁移
责任描述:使用spark对mysql,sqlsever,oracle,postgressql数据库中超过50万条数据进行迁移到hbase数据库,并且通过Redis建立缓存对大表进行分页查询下载,通过datax对hbase数据库进行迁移,通过ElasticSearch对非结构化文档进行存储并快速通过搜索非结构化文档的文档和对非结构数据进行快速全文检索,和通过开发后台接口和前端进行接口对接
项目技术:用springboot+mybatisplus+dubbo+spark+hadoop +hbase+ElasticSearch+redis+docker+mysql+接口
实施结果: 已经上线和用户投入使用
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论