本项目是一款采集tiktok数据的项目，项目场景：客户需要手动在直播间寻找满足条件的主播邀请加入公会，在后台进行邀约。项目实现：通过逆向分析接口，在直播页面采集到主播信息（如主播id，昵称，头像，签名，粉丝数等等），通过kafaka消息队列，将主播id发布成生产者，使用后台账号消费该消息，判断用户是否满足条件，满足条件将该主播id发布成另一生产者，通过后台账号得到该主播id，发起邀约链接和消息模板。该项目还使用flask框架作为管理系统后台，在采集主播数据时，将该主播加入一个排除列表，下次访问到该主播时将不在重复采集，前台使用vue+elememt实现，主要是可以配置tiktok搜索的关键词和发送消息的模板，以及查询已经关注过的主播的信息和浏览过的主播信息。

本项目主要是对链家网站数据的爬取，链家网主要是针对新房、二手房以及租房服务，通过爬取链家网的数据,如新房效果图,地址,价格，新房规格等信息，将提取的数据通过redis数据库去重并存储在mysql数据库，爬取数据使用分布式技术，提高了爬取数据的效率。采用的工具包有requests，re，lxml，框架 scrapy，中间件redis，数据库mysql等