Kubric是一个数据生成管道，用于创建具有丰富注释的半现实合成多对象视频，例如实例分割掩码、深度图和光流。
动机和设计我们需要更好的数据来训练和评估机器学习系统，尤其是在无监督多对象视频理解的背景下。当前系统在玩具数据集上成功，但在现实世界数据上失败。如果我们能够根据需要创建具有不同复杂性的合适数据集，则进展可能会大大加快。Kubric主要建立在pybullet（用于物理模拟）和Blender（用于渲染）之上；但是，代码保持模块化以可能支持不同的渲染后端。 Requirements用于方便地生成视频数据的管道。物理模拟，用于自动生成多个对象之间的物理交互。很好地控制生成数据的复杂性，以便我们可以评估各个方面，例如对象和纹理的可变性。现实主义：理想情况下，能够跨越从CLEVR到YouTube8等真实视频的整个复杂范围。这显然是不可行的，但我们希望尽可能接近。访问有关场景中对象的丰富地面实况信息以进行评估（例如对象分割和属性）控制训练/测试拆分以评估组合性和系统泛化（例如在特征或对象的保留组合上）
点击空白处退出提示
评论