技术栈 SpringBoot+MySQL+Redis+Kafka+Canal+EasyExcel+Shiro
项目描述
乡村振兴经济普查系统是一个基于SpringBoot的数据分析项目，包括下游数据采集，上游数据分析与政策优化，个人负责数据采集的后端开发，通过下游采集数据保证上游服务数据基础，并进行决策优化。
个人职责
•使用EasyExcel+JDBC批量插入+手动提交事务的方式实现导入，并通过优化数据校验提高导入速度。
•使用数据分页查询+多线程任务分发+流的方式实现数据的导出，实测该方案导出200w数据仅需400s。
•使用MySQL+Redis，Redis预热数据，提高系统页面加载速度并使用Canal+Kafka保证两者一致性。
•设计数据库表及字典，通过使用字典映射和缓存字典的方式提高单表可存储数据上限。
•使用ThreadLocal存储用户信息实现新增数据时自动填入更改人信息。
•通过自定义异常类，完成全局异常处理。
技术难点
项目最大的难点在于批量数据导入导出，海量数据（单表历史数据5000w，每年新增1000w）存储，通过数据（单张Excel20w行105列）分批导入+优化数据校验的方案使导出时间由300min提升到400s，通过多线程数据（30w）分批导出的方案将导出时间由60min提升到10s，通过字典缓存，提高单表数据上限。