DeepFocus是一个基于AI可实现更逼真VR图像的系统。它可与高级原型头戴设备配合使用,实时渲染模糊和各种焦距。例如,当有头戴支持DeepFocus的设备观看附近的物体时,它会立即聚焦并变得清晰,而背景物体则会失去焦点,这与现实生活中的感观一样。这种散焦模糊(也称为视网膜模糊)对于实现VR中的真实感和深度感知非常重要。DeepFocus是目前第一个能够为VR应用实时生成此效果的系统。
DeepFocus使用深度学习降低了物理方法处理性能的要求,团队开发了一种新的端到端卷积神经网络,眼睛看到场景的不同部分,就会产生具有精确视网膜模糊的图像。该网络包括新的保持体积的交织层,以在完全保留图像细节的同时减小输入的空间维度。然后网络的卷积层以相同的、降低的空间分辨率运行,运行时间显着减少。
由于DeepFocus仅依赖于标准RGB-D颜色和深度输入,因此它几乎适用于所有现有的VR游戏和应用。
评论