贵阳乌当区公共卫生系统

我要开发同款
不甘堕落2024年02月28日
200阅读
开发技术oracle、mysql爬虫微服务、多线程
所属分类网络抓包

作品详情

贵阳乌当区公共卫生系统是乌当区医共体建设的一个子项目,是整合乌当区人民医院和全区11个乡镇卫生院所管辖的全区35万居民健康档案、健康教育、预防接种、0~6 岁儿童健康、孕产妇健康、老年人健康、慢性病患者健康(包括高血压患者健康和 2 型糖尿病患者健康)、严重精神障碍患者、肺结核患者健康、中医药健康、传染病及突发公共卫生事件报告和处理、卫生计生监督协管的综合性业务管理系统。
本项目主要使用了 springboot、 mysql、oracle 、 jqurey 、Selenium 网络爬虫 技术
在此项目中本人参与 对乌当区各医院使用的公共卫生系统、预防接种系统各老系统历史档案数据迁移处理,通过网络爬虫技术对老系统的各种档案数据和业务数据爬取存储到本地mysql数据库,
然后本地写程序对爬取的数据进行转码解析分析处理成新系统要求数据规范的格式并导入oracle数据库。
本项目中的难点是不同老系统的数据标准、数据结构各异,不同类型合计上亿条海量的数据爬取处理,人工录入一页数据需要10分钟,通过Selenium爬取一页数据也需要10多秒,为了项目的迁移实施后来采用多线程结合Selenium、部署十几个虚拟机应用解决海量数据的爬取。
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论