三星的三名研究人员已经创建了一个能够生成逼真的3D视频场景渲染的人工智能。
在一篇详细描述人工智能背后的神经网络的论文中,研究人员解释了当今创建虚拟场景的低效过程:
创建真实场景的虚拟模型通常需要很长的操作过程。这种建模通常从扫描过程开始,利用相机图像捕捉光度特征,利用深度扫描仪或密集立体匹配捕捉原始场景的几何形状。
后一个过程通常会产生噪声和不完整的点云,需要应用一些表面重建和网格划分的方法对其进行进一步处理。给定网格,纹理化和材质估计过程将确定表面碎片的光度特性,并以2D参数图的形式存储它们,例如纹理图、凹凸图、与视图相关的纹理和表面光场。
最后,生成建模场景的真实视图涉及繁重的计算过程,例如光线跟踪和/或辐射传递估计。"
输入视频被转换成代表场景几何形状的点。然后利用神经网络将这些几何点渲染成计算机图形,大大加快了渲染逼真三维场景的过程。
这是AI创建的3D场景的视频结果:
这种解决方案总有一天会有助于游戏的发展,尤其是已经拍摄电影的电子游戏。影片中的镜头可以为游戏开发者提供一个可复制的3D环境,在其中创造互动体验。或者,也许你可以只使用旧视频和虚拟现实耳机来再现婚礼等事件。
在达到这一点之前,仍然需要一些改进。当前场景无法更改,任何与原始视点的大偏差都会导致伪像。尽管如此,它仍然是对不久的将来可能发生的事情的一个引人入胜的早期洞察。