点击空白处退出提示
作品详情
项目架构:Springboot,LayUI,MyBatis-Plus,MySql,Tomcat,selenium,quartz
项目职责:产品设计,项目负责人,在此项目中担任多项职责,从产品的需求分析,跟客户的对接,产品的原型设计,数据库的设计,文档的模块编写,模块的分发,到客户现场调试,现场部署等。
技术要点:
1、基础数据的增删改查
2、使用 selenium 自动化测试工具模拟手动登录下载
3、下载的监控等
遇到困难:遇到最大的困难就是从另一个网站登录进去然后到达指定的位置,自动化下载文件。想过了很多种java爬虫方法,解析网址的时候,始终找不到最终固定下载文件的URL,于是就使用 selenium 模拟手工的操作去下载,因为害怕爬的网站会请求访问量大会崩溃,所以设定了下载的间隔时间。使用quartz定时任务,每3分钟执行一次多线程下载,每次限制20个文件下载。如果当前任务还没有下载完成,则进入阻塞状态,直到当前线程下载完毕。结束任务的时候要等全部多线程执行结束再统一结束,不然会出现文件多下载,下载不完全的错误问题。
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态
评论