带货直播数据分析系统

我要开发同款
vice2024年03月16日
105阅读
开发技术go语言redisdocker、gorm、kafka
所属分类clickhouse、golang、大数据、数据分析、直播

作品详情

该产品通过采集和监控快手平台头部红人的带货直播数据 并对爬取到的数据进行
过滤、存储、分析等过程,生成直播红人榜、商品销售榜、红人画像、商品画像等产品服务,为企业选择合作红人提供全面、精准的数据服务,助力企业营销。我负责如下功能:
1. 读取和接收Kafka的爬虫数据并进行初步数据过滤,该过程关键在于写入库的效率
2. 由于第三方平台数据不同,针对这些数据设计各种处理方案,该过程关键在于设计合理有效缓存方案,否则造成处理缓慢和过度读写库
3. 自动生成各种榜单,包括 月榜、周榜、日榜、时榜、红人画像、商品画像等
4. 提供对外的API 服务
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论