埋点数据接入平台

我要开发同款
Leo_Lian2023年04月30日
239阅读
开发技术java
所属分类大数据

作品详情

项目描述:新埋点接入系统,接入埋点数据实时入库
项目技术栈:Restlight+ZooKeeper+Kafka+Fqueue+Hadoop+Flink
项目职责:
1、分析埋点接口需求,并开发埋点数据上报接口,解析两个埋点SDK上报的数据并写入Kafka。
2、在OBus中做数据容错处理,包括解析数据失败响应异常,在Kafka不可用时,对数据做本地化处理,后续恢复到kafka,保证数据的安全性。
3、在OBus中将上报的埋点数据在本地磁盘中写一份冗余数据,以便Kafka及后续处理流程出现异常时能够从本地磁盘的数据中恢复,保证数据的可用性。
4、对OBus中的各项接入指标做数据采集,包括响应状态码统计、写Kafka失败统计,以便实时监控服务的状态及时告警。
项目成绩:
1、完成OBus服务的开发,上线到印度和国内机房并稳定运行,平滑迁移对业务无感知。
2、完成埋点数据实时接入数仓的目标,并推动算法推荐效果的提升。
3、上线后持续优化,单实例QPS超过1W,整个集群单日接入数据量超300TB。
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论