点击空白处退出提示
作品详情
本项目主要使用了 springboot、 mysql、oracle 、 jqurey 、Selenium 网络爬虫 技术
在此项目中本人参与 对乌当区各医院使用的公共卫生系统、预防接种系统各老系统历史档案数据迁移处理,通过网络爬虫技术对老系统的各种档案数据和业务数据爬取存储到本地mysql数据库,
然后本地写程序对爬取的数据进行转码解析分析处理成新系统要求数据规范的格式并导入oracle数据库。
本项目中的难点是不同老系统的数据标准、数据结构各异,不同类型合计上亿条海量的数据爬取处理,人工录入一页数据需要10分钟,通过Selenium爬取一页数据也需要10多秒,为了项目的迁移实施后来采用多线程结合Selenium、部署十几个虚拟机应用解决海量数据的爬取。
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态
评论