TimeTunnel 实时数据传输平台开源项目

什么是TimeTunnel!TimeTunnel（简称TT）是一个基于thrift通讯框架搭建的实时数据传输平台，具有高性能、实时性、顺序性、高可靠性、高可用性、可扩展性等特点。高性能2k大小的消息，峰值每秒4wTPS的访问。淘宝3台服务器，每天处理2.3T（压缩后）数据，峰值每秒50MByte流入流量、130MByte流出流量实时性90%的消息5ms以内送达顺序性如果你开启了顺序传输功能，timetunnel保证消息的发布顺序和订阅顺序是一致的高可靠性存储方面，我们设计了内存->磁盘->hadoopdfs三级缓存机制，确保数据可靠。系统方面，我们将服务器节点组织成环，在环里面每一个节点的后续节点是当前节点的备份节点，当某节点故障时，后续节点自动接管故障节点数据，以保证数据可靠性高可用性单个节点故障，不影响系统正常运行可扩展性可以对系统进行横向和纵向扩展，横向扩展可以向现有的服务环里面增加节点，纵向扩展可以增加服务环谁使用TimeTunnel目前TimeTunnel在淘宝广泛的应用于日志收集、数据监控、广告反馈、量子统计、数据库同步等领域。