NVIDIA 將于本年度最重要的計(jì)算機(jī)圖形大會(huì) — SIGGRAPH 上發(fā)表約 20 篇研究論文。

NVIDIA 近日發(fā)布了一批尖端 AI 研究。無(wú)論是靜態(tài)還是動(dòng)態(tài)、2D 還是 3D、超寫(xiě)實(shí)風(fēng)格或是幻想風(fēng)格，開(kāi)發(fā)者和藝術(shù)家都能借助這些研究成果將其創(chuàng)意變?yōu)楝F(xiàn)實(shí)。

SIGGRAPH 2023 計(jì)算機(jī)圖形學(xué)大會(huì)將于 8 月 6 日至 10 日在美國(guó)洛杉磯舉辦，NVIDIA 將亮相大會(huì)并發(fā)表約 20 篇用以推動(dòng)生成式 AI 和神經(jīng)圖形學(xué)發(fā)展的研究論文，其中包括多項(xiàng)與美國(guó)、歐洲及以色列的十幾所大學(xué)的聯(lián)合研究成果。

NVIDIA 將發(fā)布的論文內(nèi)容豐富，涵蓋將文本轉(zhuǎn)換成個(gè)性化圖像的生成式 AI 模型、將靜態(tài)圖像轉(zhuǎn)換成 3D 對(duì)象的逆向渲染工具、使用 AI 模擬超逼真復(fù)雜 3D 元素的神經(jīng)物理模型以及可用于解鎖全新的實(shí)時(shí)、AI 賦能的視覺(jué)細(xì)節(jié)生成能力的神經(jīng)渲染模型等。

NVIDIA 研究人員經(jīng)常在 GitHub 上與開(kāi)發(fā)者分享創(chuàng)新成果，并將這些創(chuàng)新整合到產(chǎn)品中，包括用于構(gòu)建和運(yùn)行元宇宙應(yīng)用的NVIDIA Omniverse平臺(tái)，以及最近發(fā)布的用于視覺(jué)設(shè)計(jì)的自定義生成式 AI 模型“工坊” — NVIDIA Picasso。憑借多年深耕圖形學(xué)領(lǐng)域所積累的研究成果，NVIDIA 能夠?qū)㈦娪凹?jí)渲染技術(shù)應(yīng)用于游戲中，例如最近發(fā)布的《賽博朋克 2077》的“光線追蹤：Overdrive 模式”技術(shù)預(yù)覽版，其是全球首款利用全景光線追蹤（也稱為路徑追蹤）3A 游戲大作。

今年將于 SIGGRAPH 大會(huì)展示的研究進(jìn)展，將能夠幫助開(kāi)發(fā)者和企業(yè)快速生成合成數(shù)據(jù)，以豐富用于訓(xùn)練機(jī)器人和自動(dòng)駕駛汽車的虛擬世界。此外，這些研究還將能夠賦能藝術(shù)、建筑、平面設(shè)計(jì)、游戲開(kāi)發(fā)和電影領(lǐng)域的創(chuàng)作者，提升其用于故事板、預(yù)覽乃至實(shí)際制作的高質(zhì)量視覺(jué)效果的生成速度。

為 AI 增添個(gè)性化色彩：

自定義文本-圖像轉(zhuǎn)換模型

能夠?qū)⑽谋巨D(zhuǎn)換成圖像的生成式 AI 模型，可為電影、電子游戲和 3D 虛擬世界的概念藝術(shù)或故事板創(chuàng)建帶來(lái)強(qiáng)大工具。AI 文本-圖像轉(zhuǎn)換工具可以將“兒童玩具”這樣的提示語(yǔ)轉(zhuǎn)換成近乎無(wú)限的視覺(jué)效果，創(chuàng)作者可以從中獲得靈感，生成毛絨動(dòng)物玩偶、積木或拼圖等圖像。

然而，藝術(shù)家們的心中可能已經(jīng)構(gòu)思出了特定的主題。例如，一位玩具品牌的創(chuàng)意總監(jiān)可能正準(zhǔn)備圍繞一款新的泰迪熊玩偶展開(kāi)廣告宣傳，并希望基于泰迪熊茶會(huì)等各種不同的場(chǎng)景實(shí)現(xiàn)玩偶可視化。為提升生成式 AI 模型輸出結(jié)果的細(xì)節(jié)水平，NVIDIA 與特拉維夫大學(xué)的研究人員將于 SIGGRAPH 大會(huì)上共同發(fā)表兩篇論文，使用戶能夠提供便于模型快速學(xué)習(xí)的圖像實(shí)例。

其中的一篇論文所介紹的技術(shù)需要利用實(shí)例圖像來(lái)實(shí)現(xiàn)自定義輸出，可在單個(gè) NVIDIA A100 Tensor Core GPU 上加速個(gè)性化進(jìn)程，將其速度從幾分鐘提升至約 11 秒，與以往的個(gè)性化方法相比，速度可提升約 60 倍。

第二篇論文則介紹了一個(gè)高度緊湊的模型 — Perfusion 模型。該模型可支持用戶僅需少量概念圖像就可將多個(gè)個(gè)性化元素（如特定的泰迪熊和茶壺等）組合至 AI 生成的視覺(jué)圖像中：

推動(dòng) 3D 創(chuàng)作：

逆向渲染和角色創(chuàng)作方面的進(jìn)展

在創(chuàng)作者構(gòu)思出虛擬世界的概念藝術(shù)后，下一步就是渲染環(huán)境，并在其中填充 3D 物品和角色。NVIDIA Research 正在發(fā)明可加速這一耗時(shí)流程的 AI 技術(shù)，將 2D 圖像和視頻自動(dòng)轉(zhuǎn)換成 3D 形式，讓創(chuàng)作者可以將其導(dǎo)入圖形應(yīng)用進(jìn)行進(jìn)一步編輯。

第三篇論文是與加州大學(xué)圣地亞哥分校的研究人員共同創(chuàng)作的，該論文中的技術(shù)可根據(jù)一張 2D 肖像畫(huà)生成并渲染逼真的 3D 頭像模型。這項(xiàng)重大突破能夠使用 AI 來(lái)創(chuàng)建 3D 虛擬形象和召開(kāi) 3D 視頻會(huì)議，它可以在用戶的桌面上實(shí)時(shí)運(yùn)行，只需要使用普通的網(wǎng)絡(luò)攝像頭或智能手機(jī)攝像頭就能生成一個(gè)寫(xiě)實(shí)化或風(fēng)格化的 3D 遠(yuǎn)程呈現(xiàn)形象。

第四個(gè)項(xiàng)目是與斯坦福大學(xué)一起生成栩栩如生的 3D 角色動(dòng)作。研究人員創(chuàng)建了一個(gè) AI 系統(tǒng)，可以從現(xiàn)實(shí)世界網(wǎng)球比賽的 2D 視頻錄像中學(xué)習(xí)各種網(wǎng)球技能，并將這些動(dòng)作應(yīng)用于 3D 角色。模擬網(wǎng)球運(yùn)動(dòng)員可以準(zhǔn)確地將球打到虛擬球場(chǎng)的目標(biāo)位置，甚至與其他角色進(jìn)行長(zhǎng)時(shí)間的對(duì)攻。

除了網(wǎng)球的測(cè)試案例之外，這篇 SIGGRAPH 論文還解決了一個(gè)難題：即在不使用昂貴的動(dòng)作捕捉數(shù)據(jù)的前提下，生成能夠逼真地完成各種技術(shù)動(dòng)作的 3D 角色。

一“絲”不茍：

運(yùn)用神經(jīng)物理學(xué)實(shí)現(xiàn)逼真的模擬

在生成 3D 角色后，藝術(shù)家們就可以對(duì)頭發(fā)等寫(xiě)實(shí)細(xì)節(jié)進(jìn)行分層，這對(duì)動(dòng)畫(huà)師而言是一項(xiàng)復(fù)雜且計(jì)算成本相對(duì)較高的挑戰(zhàn)。

平均而言，人類有 10 萬(wàn)根頭發(fā)，每根頭發(fā)都會(huì)對(duì)人類的運(yùn)動(dòng)和周圍環(huán)境做出動(dòng)態(tài)反應(yīng)。過(guò)去，創(chuàng)作者會(huì)使用物理公式來(lái)計(jì)算頭發(fā)的運(yùn)動(dòng)，根據(jù)可用的資源簡(jiǎn)化或近似化頭發(fā)的運(yùn)動(dòng)。這也是大制作電影中虛擬角色的頭發(fā)細(xì)節(jié)會(huì)比實(shí)時(shí)電子游戲中的虛擬形象更為精細(xì)的原因。

第五篇論文展示了一種可以利用神經(jīng)物理學(xué)來(lái)實(shí)現(xiàn)數(shù)萬(wàn)根頭發(fā)實(shí)時(shí)且高清模擬的方式。該項(xiàng) AI 技術(shù)可訓(xùn)練神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)相應(yīng)對(duì)象在現(xiàn)實(shí)世界中的運(yùn)動(dòng)軌跡。

該團(tuán)隊(duì)的這種用于精確、全面地模擬頭發(fā)的新穎方式還基于現(xiàn)階段的 GPU 進(jìn)行了針對(duì)性優(yōu)化。其性能大幅優(yōu)于目前最先進(jìn)的基于 CPU 的求解器，可將模擬時(shí)間從數(shù)天縮短到數(shù)小時(shí)，同時(shí)還可提高實(shí)時(shí)頭發(fā)模擬的質(zhì)量。該技術(shù)最終可實(shí)現(xiàn)符合物理學(xué)的精確、交互式的頭發(fā)形態(tài)。

神經(jīng)渲染為實(shí)時(shí)圖形帶來(lái)電影級(jí)精細(xì)度

在使用動(dòng)態(tài) 3D 物品和角色填充環(huán)境后，實(shí)時(shí)渲染會(huì)在該虛擬場(chǎng)景中模擬光線反射時(shí)的物理特性。NVIDIA 最近的研究展示了用于紋理、材質(zhì)和體積的 AI 模型如何為電子游戲和數(shù)字孿生實(shí)時(shí)提供電影級(jí)的逼真視覺(jué)效果。

NVIDIA 在二十多年前發(fā)明了可編程著色技術(shù)，使開(kāi)發(fā)者能夠自定義圖形流程。而在最新的神經(jīng)渲染創(chuàng)新成果中，研究者使用了在 NVIDIA 實(shí)時(shí)圖形流程中運(yùn)行的 AI 模型來(lái)擴(kuò)展可編程著色代碼。

在第六篇 SIGGRAPH 論文中，NVIDIA 將介紹在不額外占用 GPU 內(nèi)存的前提下，可提供多達(dá) 16 倍紋理細(xì)節(jié)的神經(jīng)網(wǎng)絡(luò)壓縮技術(shù)。神經(jīng)紋理壓縮技術(shù)可大幅提高 3D 場(chǎng)景的真實(shí)性，下圖中，舊格式中的文字是模糊的（中），而神經(jīng)壓縮紋理（右）可捕捉到比舊格式更加清晰的細(xì)節(jié)。

相比以前的紋理格式，神經(jīng)紋理壓縮（右）在不額外占用 GPU 內(nèi)存的前提下可提供多達(dá) 16 倍的紋理細(xì)節(jié)

去年發(fā)布的 NeuralVDB 相關(guān)論文的研究成果現(xiàn)已開(kāi)放提前訪問(wèn)，這項(xiàng) AI 賦能的數(shù)據(jù)壓縮技術(shù)將表現(xiàn)煙、火、云和水等體積數(shù)據(jù)所需的內(nèi)存減少了 100 倍。

NVIDIA 還發(fā)布了關(guān)于神經(jīng)材質(zhì)研究的更多詳情，這項(xiàng)研究出現(xiàn)在前不久的 NVIDIA GTC 主題演講中。這篇論文描述了一種學(xué)習(xí)光如何在逼真的多層材料上反射的 AI 系統(tǒng)，將這些資產(chǎn)的復(fù)雜性簡(jiǎn)化成實(shí)時(shí)運(yùn)行的小型神經(jīng)網(wǎng)絡(luò)，使著色速度提高了 10 倍。

這個(gè)利用神經(jīng)渲染制作的茶壺可體現(xiàn)高逼真度，可精確表現(xiàn)出陶瓷材質(zhì)及其不完美的透明涂層釉、指紋、污點(diǎn)甚至灰塵等。

該神經(jīng)材質(zhì)模型還可學(xué)習(xí)光線如何在逼真的多層次參考材質(zhì)上進(jìn)行反射

探索更多生成式 AI 和圖形學(xué)領(lǐng)域的研究

以上只是部分亮點(diǎn)，您還可以進(jìn)入相關(guān)頁(yè)面進(jìn)一步了解 NVIDIA 將于 SIGGRAPH 大會(huì)發(fā)布的所有論文。NVIDIA 還將在本屆大會(huì)上開(kāi)展六門(mén)課程、四場(chǎng)分會(huì)，并進(jìn)行兩場(chǎng)新興技術(shù)演示，涵蓋路徑追蹤、遠(yuǎn)程呈現(xiàn)和用于生成式 AI 的擴(kuò)散模型等內(nèi)容。

NVIDIA Research 在全球范圍內(nèi)擁有數(shù)百名科學(xué)家和工程師，在 AI、計(jì)算機(jī)圖形學(xué)、計(jì)算機(jī)視覺(jué)、自動(dòng)駕駛汽車、機(jī)器人技術(shù)等領(lǐng)域開(kāi)展研究。

審核編輯：湯梓紅