某公司内部数据管理系统,功能上分为数据的采集和检索,采用了前后端分离的技术。我负责提供数据检索的后端API。数据按一定的标准被划分为多个数据集,数据集的元数据存储在MySQL, 具体的数据存储在Hive。数据访问权限有两种,一种是数据集,另外一种数据集内的项目。在建立索引时 通过Trino访问hive获取数据在Elasticsearch中创建索引和批量添加索引文档;在检索时,使用了Elasticsearch的新Java Api来检索。检索时,有权限的过滤。声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!

下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态
评论