Betrice网络爬虫程序

我要开发同款
Devilvan2022年08月27日
137阅读

作品详情

项目描述:曾源于兴趣帮助朋友获取ieee论文网的相关词条下的数据与pdf论文文件,后将demo工程化为SpringBoot项 目,借此提升自我编程水平的网络爬虫项目。
项目地址:https://gitee.com/devilvan/betrice-b.git
使用技术:SpringBoot、Mybatis-plus、SpringData JPA、Redis、XXL-JOB等
项目经验:
1. 使用HttpClient、Jsoup进行网络/网页数据的获取,必要时通过添加代理完成。代理对关系通过模板模式维系,能够按 需要接入不同的代理网站的对象。
2. 通过Mybatis框架简化数据库操作,并结合JPA级联的特点自动维护表关系。Redis存储表关键词对应的页数与固定请求头 信息
3. 使用AOP特性对方法功能增强异步、事务、自动补充审计字段等功能,并能使用自定义注解记录方法的执行时间
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论