深度学习数据清洗

我要开发同款
proginn17143826362023年09月24日
81阅读
所属分类人工智能

作品详情

数据清洗从名字上也看的出就是把“脏”的“洗掉”,指发现并纠正数据文件中可识别的错误的最后一道程序,包括检查数据一致性,处理无效值和缺失值等。通俗点来讲,就是去掉或者修复掉影响后续模型训练的“脏样本”。
去掉难的样本。以ADAS场景为例,实际上在视频图像中,存在非常多的小目标和遮挡目标,这个时候,我们需要明确定义,当前模型能够处理的边界在哪里,检出目标的尺寸多大?遮挡程度什么样子?
利用训练好的模型,做样本分析。利用训练好的模型,在测试集上进行测试,分析测试结果。在哪一类样本上存在明显问题。产生这个问题的原因是模型还是数据?如果是数据,需要重新明确标注规范。并采用适当的方法进行修正处理。
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论