对原来老系统改造，大约接入6家食品企业，历史4亿条数据，由于结构负责，数据量大早晨数据重复，查效率低，报表性能太差，功能单一。通过引入大数据技术对数据库优化，实现了：1.高性能查询、查重，提升数据统计功能。2.用户查询追踪等功能。3.数据抓取失败重试，抓取进程监控。4.大批量数据快速去重，存储和高性能查询接口。
评论