1.背景是项目工作上需要每天定期从hive(TB级)中提取目标数据的上百条字段后人工筛查后根据相应格式和字段逻辑填报；源程序运行时长已超过2小时，若再增加相关计算和筛选逻辑会延长执行时间且效率低下，因此使用python定制化该工具；2.原来通过人工进行填报耗时在1小时左右，通过定制化程序生成结果文件仅需10秒；
评论