DBus 实时数据总线开源项目

我要开发同款
匿名用户2017年09月11日
112阅读
开发技术Java
所属分类服务器软件、JMS/消息中间件
授权协议Apache-2.0

作品详情

DBus专注于数据的收集及实时数据流计算,通过简单灵活的配置,以无侵入的方式对源端数据进行采集,采用高可用的流式计算框架,对在业务流程中产生的数据进行汇聚,经过转换处理后成为统一JSON的数据格式(UMS),提供给不同数据使用方订阅和消费,充当数仓平台、大数据分析平台、实时报表和实时营销等业务的数据源。

DBus将UAV采集的全维监控数据以无侵入方式进行实时收集,为下游大数据处理平台Wormhole运行统计模型和机器学习提供数据源。

此外,DBus还提供以下特性:

多种数据源支持,海量数据实时传输

感知源端schema变更,数据实时脱敏

初始加载和独立加载

统一标准化消息传输协议,可靠多路消息订阅分发

支持分表数据汇集

DBus技术架构

DBus支持Oracle,MySQL,Log,RocketMQ等数据源,这次开源版本支持MySQL数据源(支持版本v5.6,v5.7),DBus的主要潜在客户包括:

数仓平台和数据分析平台

实时营销决策

实时报表展示

异构数据实时同步

其他实时性要求高的系统

声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论