大量APP数据的抓取

我要开发同款
小白67932024年03月07日
58阅读
开发技术爬虫redis、多线程、docker、nosql
所属分类其他(Others)

作品详情

应用技术:
1. redis实现任务的调度
2. 2.mysql数据的存储和表的设计
3. 使用fiddler试探app端的接口,使用postman工具模拟请求。
4.使用shell项目的自动化
项目职责:
1. 负责部分APP接口的试探和研究
2.负责设计并实现抓取APP数据的轻框架
3.使用shell监控异常处理异常
4.负责数据的清洗及入库
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论