点击空白处退出提示
作品详情
我主要负责数据采集领域,对Facebook、Twitter、Ins、Tiktok等媒体,收集其信息流、商城等有出现广告的地方,通过分析接口、应用风控等方案,日采集量级过亿。此外我还承担了大型分布式采集框架的设计、改进,在k8s集群上部署分布式爬虫,通过调度队列、去重缓存、kafka流式处理等方案,实现数据自动化采集、自动化解析清洗入库,为后续数据分析、数据挖掘提供上游的保障。
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态
评论