实时计算平台

我要开发同款
霜泷2024年06月03日
87阅读
开发技术elasticsearch、nosql、hadoop、pythonjava
所属分类大数据

作品详情

此平台作为国内top5的互联网公司的重要业务数据处理平台,日均处理数据超30亿条(10T以上),支撑公司的重点业务。
平台包括数据处理系统、数据管理系统和旁路支持系统三大部分,提供包括数据的批量处理、实时处理、可视化管理、监控报警、指标报表等功能,支持业务人员通过拖拉拽简单配置的方式对数据和任务进行创建更新和管理,并支持任务的自适应调整和恢复。
作为平台负责人,带领研发团队从0搭建平台,并持续迭代,负责技术选型、整体架构设计、核心代码开发(80%以上)、code review等工作。
为适应业务发展和独特需求,以及对公司基础设施的适配,平台涉及从大数据到后端的各类技术,包括但不限于hadoop、doris、flink、zk、redis、kafka、spring、mysql等。
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论