大数据平台

我要开发同款
cj.罗2022年08月25日
146阅读

作品详情

1、存算分离
数据存储与数据计算解耦,保证数据存储和计算能够独立的弹性扩缩容,有效利用存储及计 算资源,实现成本优化;同时随着私有云及混合云普及,存算分离架构能在部署方式及数据 安全方面提供更多的选择。在数据存储方面将采用 minio 等对象存储(oss)技术,实现结 构化与非结构化数据的统一存储,支持单节点与分布式模式自由选择,满足不同数据量的部 署需求。
2、流批一体 (非 Lambda 架构)
基于 Flink 流批一体计算技术,配合 FlinkCdc、kafka、数据湖等技术,实现数据集成、数 据存储、数据计算分析的流批一体。保证数据处理完整性、及时性的同时维护一套引擎及代 码,减少开发及维护成本。
3、云原生 基于云原生技术,通过服务容器化,满足不同场景、不同平台快速部署,同时结合存算分离 架构,实现存储及计算资源的弹性扩缩容,保障资源的有效利用。

基于平台提供大数据开发平台、BI 平台、机器学习平台等便于大数据分析应用及算法开发训练,另外可基于平台提供的 api 及插件组件进行具体场景、行业的产品及 解决方案开发。
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论