数据治理

我要开发同款
proginn23182397252022年11月13日
124阅读

作品详情

1、【70%】本人在数据采集模块负责研发工作,实现从消息队列获取采集任务,进而分析出数据库读取和文件解析采集任务,从而实现增量和全量接入方式,困难点集中在不同文件结构采集解析方式存在差异,需要考虑大数据量集群形式,考虑负载均衡。
2、【50%】本人在实时计算模块负责研发工作,实现从kafka消费采集到数据,进行实时计算,包括:打标、关联、提取、格式规整等计算规则。使用storm框架针对每天数十亿数据实时计算。困难点集中在接收数据和计算速度的均衡,避免内存溢出。
3、【20%】本人在资源目录模块负责数据库设计和研发工作,实现采集任务同步,采集计算资源信息同步规整到资源目录,以便后续人员使用。
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论