该项目对抖音的搜索接口、信息流接口进行公开数据采集，获取其广告投放的内容，包括广告id、广告素材等，同时可以兼顾普通达人的公开数据采集。本人负责对抖音接口的参数分析、风控对抗、采集逻辑开发，在社媒数据采集能力上达到近百万每天，广告数据采集能力达数十万每天

通过自动化+虚拟化技术，在真机、虚拟机环境下采集小红书的笔记详情、评论、转赞评互动数，以及小红书广告、商业笔记等数据。本人在该项目中主要负责编写自动化脚本，在特定的开发环境中实现小红书自动化采集，并收集公开数据上报。

项目分为广告数据采集、广告投放效果分析、素材资源下载、创意参谋等功能模块，对于国内出海游戏厂商来说，在海外社交媒体投放的广告做到实时追踪、效果反馈、创意参考等功能，为后续广告投放进行对应的优化。 我主要负责数据采集领域，对Facebook、Twitter、Ins、Tiktok等媒体，收集其信息流、商城等有出现广告的地方，通过分析接口、应用风控等方案，日采集量级过亿。此外我还承担了大型分布式采集框架的设计、改进，在k8s集群上部署分布式爬虫，通过调度队列、去重缓存、kafka流式处理等方案，实现数据自动化采集、自动化解析清洗入库，为后续数据分析、数据挖掘提供上游的保障。