1.项目为工具类应用,主要是将文本(csv)数据预先进行清洗(去重、异常数据处理),再将数据插入到数据库中,在插入过程中也包括了一些异常情况的处理,增加工具的容错率。该程序使用了手写的cache组件,性能与内存占用优于原生Map组件并且数据处理速度可达500万/秒以上(基于20亿数据集的测试)。2.该项目独立负责开发与维护,项目中运用了大文件高效的去重、文件并发处理等技术,核心逻辑无第三方框架,纯手工编写
评论