报表转储系统

我要开发同款
proginn14563306622022年12月08日
144阅读
所属分类政府文化

作品详情

描述:此系统为模拟用户手工操作点击下载其他网站的文件,相当于爬虫,把文件按照类别存储到服务器,按照设置指定下载每个月的文件。下载失败,成功都有提醒。下载监控模块,用户操作日志模块,机构管理,权限管理,参数设置,下载报表等模块。

项目架构:Springboot,LayUI,MyBatis-Plus,MySql,Tomcat,selenium,quartz

项目职责:产品设计,项目负责人,在此项目中担任多项职责,从产品的需求分析,跟客户的对接,产品的原型设计,数据库的设计,文档的模块编写,模块的分发,到客户现场调试,现场部署等。

技术要点:
1、基础数据的增删改查
2、使用 selenium 自动化测试工具模拟手动登录下载
3、下载的监控等

遇到困难:遇到最大的困难就是从另一个网站登录进去然后到达指定的位置,自动化下载文件。想过了很多种java爬虫方法,解析网址的时候,始终找不到最终固定下载文件的URL,于是就使用 selenium 模拟手工的操作去下载,因为害怕爬的网站会请求访问量大会崩溃,所以设定了下载的间隔时间。使用quartz定时任务,每3分钟执行一次多线程下载,每次限制20个文件下载。如果当前任务还没有下载完成,则进入阻塞状态,直到当前线程下载完毕。结束任务的时候要等全部多线程执行结束再统一结束,不然会出现文件多下载,下载不完全的错误问题。
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论