分布式数据获取平台

我要开发同款
叫我大鹏好了2024年05月09日
48阅读
开发技术多线程、django、kafka、python爬虫

作品详情

项目分为移动端模块,管理端页面+后台模块,数据中转模块,移动端控制模块。

自定义抓取数据任务,提交任务脚本,任务分配到空闲设备执行。
1. 可定义任务优先级。
2. 移动端分为多种类型,有手机终端,电脑端以及服务器端等。
3. 用户端简单透明,提交脚本,获取数据。
4. 复杂任务被拆分,提高获取效率。

我负责
1. 一部分移动端模块,在手机终端使用模拟控制工具进行数据自动化获取。
2. 管理端后台模块: 数据获取接口的开发,任务发送接口开发。
3. 数据中转模块: 通过kafka技术进行任务分类以及分发。
4. 移动端控制模块: 一个控制模块控制多部手机,结合多进程和多线程的技术,进行任务分发和控制手机端并发执行。

攻克的项目难点:
难点1:多类型任务的分发。
难点2:控制多台手机并发执行。
难点3:模拟器控制设备精准运行。
难点4:后台接口返回获取的数据。
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论