本项目java层面有俩个单体项目,一个是关于本地区监控账号下所有视频搜索的后台项目,一个是 用于和
python互通数据接收的bcp单体项目,本项目通过python抓取到的账号,作品数据,对抖音、快手、
微博、小红书、 b站等平台进行作品预警及账号监测,现在同时支持用户提供主页链接及作品链接进行监测
开发的技术:Spring Boot、 Mybatis、 Pgstgresql、 Redis、 ElasticSearch、 Neo4j 、citus、WebSocket、Jenkins等
优化项目:
1. 因为涉及到很多视频平台,日数据量达到上百万级别,为防止突然数据暴增导致项目崩溃,采用了Kafka
我创建多个服务,一个服务只对一个平台数据进入入库操作,当这批数据入库完成后,因匹配流程需耗时较长时间,
为了不积压我们的数据bcp包,影响读取效率,我创建一个topic,把这批数据发送到这个topic就行了,然后创建相应平台
的消费者对其进行消费,但是这样会出现kafka积压的情况,这个时候就可以在消费者中开启多线程,进行消费
2.项目初始阶段并没有考虑到这么多数据的产生,导致我接收