為了加速 3D 世界和元宇宙的發(fā)展，NVIDIA 推出了許多 AI 研究項(xiàng)目來(lái)幫助各行業(yè)的創(chuàng)作者利用生成式 AI 挖掘新的可能性。

生成式 AI 將觸及元宇宙的方方面面，而且它已經(jīng)被用于一些用例，例如使用 Omniverse ACE 構(gòu)建栩栩如生的 AI 虛擬形象等。其中的許多項(xiàng)目已成為 Omniverse 社區(qū)廣受歡迎的工具，包括能夠根據(jù)音頻生成動(dòng)畫(huà)的 Audio2Face 和 Audio2Gesture。

在 CES 上，NVIDIA 公布了 Omniverse 即將加入的全新生成式 AI 技術(shù)，這項(xiàng)技術(shù)將使虛擬世界的創(chuàng)建變得比以往更快、更容易。這些模型既可以作為 NVIDIA 合作伙伴的第三方連接器，也可以在 NVIDIA 研究團(tuán)隊(duì)發(fā)布的內(nèi)部 AI 項(xiàng)目中作為 AI ToyBox 的擴(kuò)展程序。NVIDIA Omniverse 中的所有生成式 AI 研究項(xiàng)目和連接器都使用合法授權(quán)和購(gòu)買(mǎi)的數(shù)據(jù)集。

使用生成式 AI 連接器和擴(kuò)展程序

加速 3D 內(nèi)容創(chuàng)建

NVIDIA Omniverse 通過(guò)用于第三方技術(shù)的連接器和擴(kuò)展程序帶來(lái)最新、最棒的生成式 AI 技術(shù)。

Move.ai 能夠根據(jù)身體動(dòng)作生成動(dòng)畫(huà)。通過(guò) Move.ai，用戶(hù)可以在任何地方捕捉人體動(dòng)作并直接輸出到 Omniverse 中。

視頻 1：NVIDIA Omniverse 中的個(gè)人拳擊示例，角色由 Move.ai 的運(yùn)動(dòng)數(shù)據(jù)驅(qū)動(dòng)。

Lumirithmic 可根據(jù)面部掃描生成頭部 3D 網(wǎng)格。該連接器使用戶(hù)能夠輕松地根據(jù)面部掃描創(chuàng)建電影級(jí)的虛擬形象并在任何行業(yè)都能實(shí)現(xiàn)大規(guī)模的 3D 掃描。Lumirithmic 聯(lián)合創(chuàng)始人兼首席執(zhí)行官 Gaurav Chawla 表示：“我們十分高興與 NVIDIA 一起通過(guò) Omniverse 將我們的 3D 面部掃描產(chǎn)品帶給創(chuàng)作者、游戲玩家和開(kāi)發(fā)者，使游戲、廣告技術(shù)、元宇宙等應(yīng)用獲得高質(zhì)量的 3D 面部形象。

視頻 2：Omniverse - Lumirithmic 3D 虛擬形象捕捉集成。

Elevate3D 可根據(jù) 360 度視頻錄像生成逼真的產(chǎn)品 3D 圖像，利用神經(jīng)輻射場(chǎng)創(chuàng)建具有超高視覺(jué)保真度的 3D 網(wǎng)格。Elevate3D 聯(lián)合創(chuàng)始人 Alexandre Carlier 和 Martin Danelljan 表示：“Omniverse 使我們能夠?yàn)楦鞣N工作流和行業(yè)提供我們的技術(shù)。另外，我們?cè)敢庠谠撈脚_(tái)上構(gòu)建擴(kuò)展程序的另一個(gè)原因是上面有優(yōu)秀的文檔和開(kāi)發(fā)者體驗(yàn)。我們的這一擴(kuò)展程序?qū)⒔鉀Q掃描實(shí)物時(shí)的各種難題。”

探索和實(shí)驗(yàn)最新生成式 AI 研究

AI 工作流是 Omniverse 體驗(yàn)的核心。因此 NVIDIA 不斷開(kāi)展新的研究項(xiàng)目來(lái)幫助 3D 藝術(shù)家和創(chuàng)作者使用 AI 加速他們的工作流。這些 AI 項(xiàng)目中有許多變成了廣泛使用的功能，例如 Machinima 中的姿勢(shì)估計(jì)、根據(jù)簡(jiǎn)單的 2D 筆畫(huà)生成 360 度圖像的 NVIDIA Canvas 等。

在 CES 上發(fā)布的 GET3D 是一個(gè)新的生成式 AI 模型，它可以根據(jù) 2D 圖像、文本和數(shù)字等數(shù)據(jù)生成具有拓?fù)浣Y(jié)構(gòu)、豐富幾何細(xì)節(jié)和紋理的 3D 形狀。這些 3D 形狀或紋理網(wǎng)格可以是動(dòng)物和人類(lèi)的造型，并且即將加入汽車(chē)、椅子、摩托車(chē)和建筑物，使部分行業(yè)的創(chuàng)作者能夠迅速擴(kuò)大他們虛擬世界中的內(nèi)容數(shù)量和多樣性。

圖 1：GET3D 讓用戶(hù)能夠快速生成用于填充場(chǎng)景的 3D 動(dòng)物等形狀和網(wǎng)格。

GET3D 將在 Omniverse AI ToyBox 中與 NVIDIA 發(fā)布的現(xiàn)有生成式 AI 研究項(xiàng)目（如 GANVerse3D Image2Car 和 AI Animal Explorer）一起提供。AI ToyBox 收錄了所有最新 NVIDIA AI 項(xiàng)目，使內(nèi)容創(chuàng)作者能夠在虛擬世界中探索新的可能性。

AI 與元宇宙：共生關(guān)系

AI 與元宇宙對(duì)彼此的擴(kuò)展都至關(guān)重要。從汽車(chē)到醫(yī)療儀器再到倉(cāng)庫(kù)機(jī)器人，全球的各個(gè)行業(yè)都在成為軟件定義行業(yè)。這些軟件定義技術(shù)如果沒(méi)有在真實(shí)環(huán)境中進(jìn)行徹底的測(cè)試，就無(wú)法完成開(kāi)發(fā)或部署。

元宇宙中的數(shù)字孿生正在提供符合物理學(xué)的虛擬環(huán)境，使開(kāi)發(fā)者能夠以前所未有的速度進(jìn)行智能機(jī)器人等軟件定義技術(shù)的仿真模擬和測(cè)試。在元宇宙中創(chuàng)建的合成數(shù)據(jù)正在進(jìn)一步加速前沿 AI 應(yīng)用的訓(xùn)練，使用比以前更多的數(shù)據(jù)來(lái)訓(xùn)練 AI。

生成式 AI 是擴(kuò)展這些數(shù)字孿生與虛擬環(huán)境的關(guān)鍵，它們將開(kāi)創(chuàng) AI 和元宇宙的新時(shí)代。

Omniverse 相關(guān)資源

• Omniverse 的模塊化開(kāi)發(fā)框架

  開(kāi)發(fā)者可以使用 Omniverse 的模塊化開(kāi)發(fā)框架構(gòu)建用于 3D 世界的生成式 AI 工具。

  詳情請(qǐng)見(jiàn)：

  https://developer.nvidia.cn/zh-cn/nvidia-omniverse-platform

• Omniverse Enterprise

  企業(yè)可以通過(guò) NVIDIA Omniverse Enterprise 使用最新的生成式 AI 技術(shù)擴(kuò)展數(shù)字孿生模擬。

  詳情請(qǐng)見(jiàn)：

  https://www.nvidia.cn/omniverse/enterprise/

• Omniverse 開(kāi)發(fā)者資源中心

  請(qǐng)?jiān)L問(wèn) Omniverse 開(kāi)發(fā)者資源中心獲取更多資源，閱讀 Omniverse 的最新教程并在論壇上獲得支持。

  詳情請(qǐng)見(jiàn)：

  https://developer.nvidia.com/nvidia-omniverse-developer-resource-center