一项基于灯光技术的三维捕捉黑科技！

“灯光”在影视作品、游戏和虚拟环境中的作用至关重要，它是一种重要的造型手段，在影片中起着传达信息、表达情绪、烘托气氛、刻画人物性格和心理变化等作用。它影响着影片基调的形成和影片风格的展现，与影片基调形成对立统一的关系，与其它造型手段结合表现影片的节奏和旋律。

影视作品里许多特效场景都需要借助绿幕完成，在技术不过硬的时候，常会发生“五毛特效”的惨案。

想要复制完美的光效更是个难题。随着计算机视觉技术的演进，计算机已经能够比较“自然”地还原人脸形状、皮肤纹路，但是在模拟灯光条件这一块还是缺乏写实感。

而谷歌最近公布了一项基于灯光的全新技术——Relightables。能够完美解决这一点。

Relightables 系统工作流程可分为三个部分：捕捉、重建和渲染。

该系统的核心依赖于一个包含多视角（主动）立体深度传感器的灯光球面装置，球面装置安装有 331 个可编程的灯以及 90 个高分辨率 12.4MP 重建相机。

捕捉人体所用的相机包含 32 个红外（IR）相机和 58 个 RGB 相机。红外传感器提供准确、可信赖的 3D 数据，RGB 相机捕捉高质量几何法线贴图和纹理。这些相机以 60Hz 的频率记录原始视频，研究者基于球面梯度照明交替使用两种不同的照明条件。

接下来，研究者将数据上传到公共存储库中，第一个阶段是生成每个“机位”的深度图、分割图和 3D 网格[Kazhdan 和 Hoppe 2013]。

他们用一个对齐算法来处理重建网格的序列，如此一来，长的子序列就可以共享常见的三角定位（triangulation）。研究者提出了一种新的方法来解决关键帧的选择问题，将其转变为一个 MRF 推理问题来解决。每个独特的三角定位都被参数化为普通的 2D 纹理空间，该空间可以和所有共享该三角定位的帧共享。

最后每个网格都有两个可用的梯度球形照明图像，从中可以生成反照率、法线、光泽度和环境光遮挡图。这些图与标准渲染引擎兼容，可用在任何设定的光线条件下重新生成渲染图像。

谷歌这个全新的系统可以完美还原人物周围的光影效果，使得合成的影像看起来更加逼真。可以无缝地将捕捉到的人体融合到现实世界中或电影、游戏等中的数字场景。它可能会彻底变革 3D 捕获技术领域。