点击空白处退出提示
数据治理
我要开发同款作品详情
2、【50%】本人在实时计算模块负责研发工作,实现从kafka消费采集到数据,进行实时计算,包括:打标、关联、提取、格式规整等计算规则。使用storm框架针对每天数十亿数据实时计算。困难点集中在接收数据和计算速度的均衡,避免内存溢出。
3、【20%】本人在资源目录模块负责数据库设计和研发工作,实现采集任务同步,采集计算资源信息同步规整到资源目录,以便后续人员使用。
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态
评论