springboot项目分为多个模块，个人直接参与智慧库房模块和数据中心模块，客户下载不同模板文件进行填入数据后上传，针对客户填入数据进行数据解析后校验数据本身是否合规，对合规数据进行已有数据去重，然后进行持久化；难点：客户上传不同模板的数据？模板不同解析获取的数据就不同所以接收对象不同，对多个模板同一位置但各有区别，进行区别校验可得到具体上传数据的模板类型，否则为上传模板错误。数据量级太大处理超时问题？将接收数据与数据校验做异步处理。数据量太大校验服务器内存不足？将数据分批量数次处理，服务器内存适量调大。数据量太大数据库资源不足？将数据进行整合提取减少请求次数，热点搜索做联合索引，返回参数去除无用字段。数据入库时批量SQL语句过长？将数据分批采取多线程入库声明：本文仅代表作者观点，不代表本站立场。如果侵犯到您的合法权益，请联系我们删除侵权资源！如果遇到资源链接失效，请您通过评论或工单的方式通知管理员。未经允许，不得转载，本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态
评论