谷歌又搞事了，基于燈光技術的三維捕捉黑科技！

　　「燈光」在影視作品、游戲和虛擬環境中的作用至關重要，它是一種重要的造型手段，在影片中起著傳達信息、表達情緒、烘托氣氛、刻畫人物性格和心理變化等作用。它影響著影片基調的形成和影片風格的展現，與影片基調形成對立統一的關系，與其它造型手段結合表現影片的節奏和旋律。

影視作品里許多特效場景都需要借助綠幕完成，在技術不過硬的時候，常會發生「五毛特效」的慘案。

　　想要復制完美的光效更是個難題。隨著計算機視覺技術的演進，計算機已經能夠比較「自然」地還原人臉形狀、皮膚紋路，但是在模擬燈光條件這一塊還是缺乏寫實感。

而谷歌最近公布了一項基于燈光的全新技術——Relightables。能夠完美解決這一點。

Relightables 系統工作流程可分為三個部分：捕捉、重建和渲染。

該系統的核心依賴于一個包含多視角(主動)立體深度傳感器的燈光球面裝置，球面裝置安裝有 331 個可編程的燈以及 90 個高分辨率 12.4MP 重建相機。

　　捕捉人體所用的相機包含 32 個紅外(IR)相機和 58 個 RGB 相機。紅外傳感器提供準確、可信賴的 3D 數據，RGB 相機捕捉高質量幾何法線貼圖和紋理。這些相機以 60Hz 的頻率記錄原始視頻，研究者基于球面梯度照明交替使用兩種不同的照明條件。

　　接下來，研究者將數據上傳到公共存儲庫中，第一個階段是生成每個「機位」的深度圖、分割圖和 3D 網格 [Kazhdan 和 Hoppe 2013]。

他們用一個對齊算法來處理重建網格的序列，如此一來，長的子序列就可以共享常見的三角定位(triangulation)。研究者提出了一種新的方法來解決關鍵幀的選擇問題，將其轉變為一個 MRF 推理問題來解決。每個獨特的三角定位都被參數化為普通的 2D 紋理空間，該空間可以和所有共享該三角定位的幀共享。

最后每個網格都有兩個可用的梯度球形照明圖像，從中可以生成反照率、法線、光澤度和環境光遮擋圖。這些圖與標準渲染引擎兼容，可用在任何設定的光線條件下重新生成渲染圖像。

　　谷歌這個全新的系統可以完美還原人物周圍的光影效果，使得合成的影像看起來更加逼真。可以無縫地將捕捉到的人體融合到現實世界中或電影、游戲等中的數字場景。它可能會徹底變革 3D 捕獲技術領域。