已經(jīng)有不少機構在將 2D 圖像轉換為 3D 形式的方面進行了嘗試，包括 Facebook、Nvidia 等公司的 AI 研究實驗室，或是類似 Threedy.AI 這樣的初創(chuàng)公司。近日，來自微軟的研究團隊也發(fā)表了一篇預印論文，展示了其在非結構化 2D 圖像的基礎上生成 3D 形狀圖像的能力。

雷鋒網(wǎng)注：上圖為微軟模型生成的 3D沙發(fā)，椅子和浴缸圖像

通常來說，訓練這樣的框架需要通過柵格化處理來進行微分步驟渲染，因此，過去研究人員在該領域的努力都專注于開發(fā)定制渲染模型。然而，通過此類模型處理的圖像會顯得不夠真實自然，也不適合用于生成游戲以及圖形產(chǎn)業(yè)的工業(yè)效果圖。

微軟的研究人員這一次做了新的突破——他們在論文中詳細介紹了一個框架，該框架采用的“可縮放”訓練技術是第一次被用于這一領域。研究人員提到，在使用 2D 圖像進行訓練時，該框架始終可以比現(xiàn)有的模型生成效果更好的 3D 形狀，這對于視頻游戲開發(fā)人員、電子商務公司，以及缺乏創(chuàng)建 3D 模型經(jīng)驗的動畫公司來說，稱得上是“福音”。

具體來說，研究人員試圖利用功能齊全的工業(yè)渲染器，該渲染器可以根據(jù)顯示數(shù)據(jù)來生成圖像。為此，研究人員訓練了 3D 形狀的生成模型，以便渲染形狀并生成與 2D 數(shù)據(jù)集分布相匹配的圖像。生成器模型采用隨機輸入向量（代表數(shù)據(jù)集特征的值）并生成 3D 對象的連續(xù)體素表示（3D 空間中網(wǎng)格上的值），然后將體素輸入到不可微分的渲染過程中，并在使用現(xiàn)有渲染器進行渲染之前將其閾值降低為離散值。

也就是說，這是一種新穎的代理神經(jīng)渲染器直接渲染由 3D 形狀生成模型生成的連續(xù)體素網(wǎng)格的方式。正如研究人員所解釋的那樣，在給定 3D 網(wǎng)格輸入的情況下，需要對其進行訓練以匹配現(xiàn)成渲染器的渲染輸出。

生成式對抗網(wǎng)絡（GANS）在產(chǎn)生 2D 圖像數(shù)據(jù)方面的成果令人印象深刻，許多視覺應用，比如游戲，都需要 3D 模型作為輸入，而不僅僅是圖像。但是，直接將現(xiàn)有的 GAN 模型擴展到 3D，需要獲取 3D 訓練數(shù)據(jù)。

雷鋒網(wǎng)注：上圖為微軟模型生成的 3D 蘑菇圖像

在實驗過程中，研究團隊為上述生成器采用了 3D 卷積 GAN 架構（GAN 是一個由兩部分組成的 AI 模型，其中包括生成器，這些生成器使用分布式采樣從隨機噪聲中生成合成示例，并將這些示例與訓練數(shù)據(jù)集中的真實示例一起饋入鑒別器中，以嘗試區(qū)分兩者）?；?3D 模型生成的數(shù)據(jù)集和真實的數(shù)據(jù)集可以合成來自不同對象類別的圖像，并在整個訓練過程中從不同角度進行渲染。

研究人員還表示，他們的框架還會從圖像中提取照明和陰影信息，使其能夠從每個訓練樣本中提取更多有意義的數(shù)據(jù)，并在此基礎上產(chǎn)生更好的結果。在對自然圖像的數(shù)據(jù)集進行訓練之后，該框架可以生成逼真的樣本。此外，該框架還可以利用表面之間的曝光差異來成功檢測出凹形物體的內部結構，從而使準確地捕獲凹形程度和中空空間。

將顏色，材料和照明等信息合并到系統(tǒng)中，未來，這些信息就可以與更多“常規(guī)”實際數(shù)據(jù)集一起使用。