BitSail 高性能数据集成引擎开源项目

我要开发同款
三太子2022年10月27日
58阅读
开发技术Java
所属分类大数据
授权协议Apache-2.0

作品详情

BitSail是字节跳动开源的基于分布式架构的高性能数据集成引擎,支持多种异构数据源间的数据同步,并提供离线、实时、全量、增量场景下的全域数据集成解决方案,目前服务于字节内部几乎所有业务线,包括抖音、今日头条等,每天同步数百万亿数据。

BitSail目前已被广泛使用,并支持数百万亿的大流量场景。同时在火山引擎云原生环境、客户私有云环境等多种场景下得到验证。

开发团队积累了很多经验,并做了多项优化,以完善数据集成的功能

全域数据集成解决方案,覆盖离线、实时、增量场景分布式以及云原生架构,支持水平扩展在准确性、稳定性、性能上,成熟度更好丰富的基础功能,例如类型转换、脏数据处理、流控、数据湖集成、自动并发度推断等完善的任务运行状态监控,例如流量、QPS、脏数据、延迟等BitSail使用场景

异构数据源海量数据同步流批一体数据处理能力湖仓一体数据处理能力高性能、高可靠的数据同步分布式、云原生架构数据集成引擎BitSail主要特点

简单易用,灵活配置流批一体、湖仓一体架构,一套框架覆盖几乎所有数据同步场景高性能、海量数据处理能力DDL自动同步类型系统,不同数据源类型之间的转换独立于引擎的读写接口,开发成本低任务进度实时展示,正在开发中任务状态实时监控

架构

声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论