数据流重构

我要开发同款
sccfy2021年09月02日
237阅读

作品详情

背景:原有搜索离线流使用的神马提供的基础服务(流计算平台、批处理、KV存储);不再升级,问题多(性能低、编译问题、中间件不支持等);整体架构迁移bink+odps
实现:存储选型table-store,流计算选blink(支持流批一体),聚合计算odps;重构常用插件,对业务复杂的c++插件,使用jna方式调用;词典依赖多内存大的插件,去sm化单独部署提供http服务;老的流程双写(写sm-db、table-store)、核心流程迁移、数据diff、上线流程
角色:前期调研、设计、开发
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论