在米蘭舉行的歐洲計(jì)算機(jī)視覺國(guó)際會(huì)議 (ECCV) 上，NVIDIA Research 展示了多項(xiàng)突破性的創(chuàng)新成果，共發(fā)表了 14 篇論文。

本次 NVIDIA Research 所展示的領(lǐng)域從具身智能基礎(chǔ)模型到檢索增強(qiáng)生成和神經(jīng)輻射場(chǎng)。其中大部分展示的成果都在汽車研究領(lǐng)域，包括：

RealGen：RealGen 是一種新穎的基于檢索、在上下文中學(xué)習(xí)的新型交通場(chǎng)景生成框架，此可控交通場(chǎng)景檢索增強(qiáng)生成的靈感來自大語言模型中檢索增強(qiáng)生成的成功經(jīng)驗(yàn)，它可以通過組合多個(gè)檢索示例的行為合成新的場(chǎng)景。

NeRFect Match：探索用于視覺定位的 NeRF 特征，研究視覺定位，即確定查詢圖像相對(duì)于 3D 環(huán)境的攝像機(jī)姿態(tài)。在 3D 環(huán)境中定位智能體是自動(dòng)駕駛等應(yīng)用的一項(xiàng)基礎(chǔ)能力。

Dolphins：擬人駕駛多模態(tài)語言模型介紹了一種新型視覺語言模型 Dolphins，該模型專為深入學(xué)習(xí)類似人類的駕駛能力而構(gòu)建。Dolphins 善于處理由視頻或圖像數(shù)據(jù)、文本指令和歷史控制信號(hào)組成的多模態(tài)輸入，以此生成與所提供的指令相對(duì)應(yīng)的輸出。

此外，NVIDIA 首席研究科學(xué)家 Tsung-Yi Lin 榮獲了 Koenderink 獎(jiǎng)。該獎(jiǎng)項(xiàng)旨在表彰為計(jì)算機(jī)視覺領(lǐng)域作出重要貢獻(xiàn)并且能夠經(jīng)受住時(shí)間考驗(yàn)的研究。Koenderink 獎(jiǎng)每?jī)赡觐C發(fā)一次，頒發(fā)給 10 年前在 ECCV 上發(fā)表過有影響力論文的研究者。今年的 Koenderink 獎(jiǎng)?lì)C發(fā)給了 2014 年發(fā)表“Microsoft COCO:上下文中的常見對(duì)象”一文的研究者，Lin 是該論文的共同作者。

NVIDIA 研究人員共同組織了多場(chǎng) ECCV 研討會(huì)并發(fā)表了演講。其中，具身智能合作智能研討會(huì)受到了關(guān)注，該研討會(huì)主要探討了多代理自主系統(tǒng)中的合作智能。以視覺為中心的智能駕駛研討會(huì)則探討了適用于智能駕駛的視覺感知和視覺語言模型以及駕駛場(chǎng)景神經(jīng)渲染。

NVIDIA 高級(jí)研究經(jīng)理 Laura Leal-Taixé 擔(dān)任本次會(huì)議主席。NVIDIA 學(xué)習(xí)與感知研究副總裁 Jan Kautz、智能駕駛汽車應(yīng)用研究總監(jiān) Jose Alvarez、AI 研究副總裁 Sanja Fidler 和智能駕駛汽車研究總監(jiān) Marco Pavone 擔(dān)任組委會(huì)成員。