DeepMind今天在Science發(fā)表論文，提出生成查詢(xún)網(wǎng)絡(luò)（Generative Query Network，GQN），能夠在無(wú)監(jiān)督的情況下，抽象地描述場(chǎng)景元素，并通過(guò)“想象”渲染出場(chǎng)景中沒(méi)有見(jiàn)到的部分。這項(xiàng)工作展示了沒(méi)有人類(lèi)標(biāo)簽或領(lǐng)域知識(shí)的表示學(xué)習(xí)，為機(jī)器自動(dòng)學(xué)習(xí)并理解周?chē)澜玟伷搅说缆贰?/p>

DeepMind又有大動(dòng)作，早上起來(lái)便看到Hassabis的推文：

一直以來(lái)，我對(duì)大腦是如何在腦海中構(gòu)建圖像的過(guò)程深感著迷。我們最新發(fā)表在Science的論文提出了生成查詢(xún)網(wǎng)絡(luò)（GQN）：這個(gè)模型能從一個(gè)場(chǎng)景的少量2D照片中重新生成3D表示，并且能從新的攝像頭視角將它渲染出來(lái)。

Hassabis在接受《金融時(shí)報(bào)》采訪時(shí)表示，GQN能夠從任何角度想象和呈現(xiàn)場(chǎng)景，是一個(gè)通用的系統(tǒng)，具有廣泛的應(yīng)用潛力。

如果說(shuō)新智元昨天介紹的DeepMind那篇有關(guān)圖網(wǎng)絡(luò)的論文重磅，那么這篇最新的Science更顯分量。

“此前我們不知道神經(jīng)網(wǎng)絡(luò)能否能學(xué)會(huì)以如此精確和可控的方式來(lái)創(chuàng)建圖像，”DeepMind的研究員、論文的第一作者Ali Eslami表示：“但是，這次我們發(fā)現(xiàn)具有足夠深度的網(wǎng)絡(luò)，可以在沒(méi)有任何人類(lèi)工程干預(yù)的情況下，學(xué)習(xí)透視和光線。這是一個(gè)非常驚人的發(fā)現(xiàn)。”

DeepMind最新發(fā)表在Science上的論文《神經(jīng)場(chǎng)景表示和渲染》。包括老板Demis Hassabis在內(nèi)，一共22名作者。本著開(kāi)源共享的精神，文章以公開(kāi)獲取的形式在Science發(fā)表。

這篇文章的意義在于，提出了一種無(wú)監(jiān)督的方法，不依賴(lài)帶標(biāo)記的數(shù)據(jù)，而且能夠推廣到各種不同的場(chǎng)景中。過(guò)去的計(jì)算機(jī)視覺(jué)識(shí)別任務(wù)，通常是建立在大量有標(biāo)記的數(shù)據(jù)基礎(chǔ)上，不僅標(biāo)記這些數(shù)據(jù)麻煩，標(biāo)記好的數(shù)據(jù)還可能帶有偏見(jiàn)，最重要的是，已經(jīng)有越來(lái)越多的研究者意識(shí)到，由于測(cè)試集過(guò)擬合的問(wèn)題，很多分類(lèi)器的魯棒性亟待提高。

DeepMind的這套視覺(jué)系統(tǒng)，也即生成查詢(xún)網(wǎng)絡(luò)（GQN），使用從不同視角收集到的某個(gè)場(chǎng)景的圖像，然后生成關(guān)于這個(gè)場(chǎng)景的抽象描述，通過(guò)一個(gè)無(wú)監(jiān)督的表示學(xué)習(xí)過(guò)程，學(xué)習(xí)到了場(chǎng)景的本質(zhì)。之后，在學(xué)到的這種表示的基礎(chǔ)上，網(wǎng)絡(luò)會(huì)預(yù)測(cè)從其他新的視角看這個(gè)場(chǎng)景將會(huì)是什么樣子。這一過(guò)程非常類(lèi)似人腦中對(duì)某個(gè)場(chǎng)景的想象。而理解一個(gè)場(chǎng)景中的視覺(jué)元素是典型的智能行為。

雖然還有諸多局限，但DeepMind的這項(xiàng)工作，在此前許許多多相關(guān)研究的基礎(chǔ)上更進(jìn)一步，展示了我們?cè)谧寵C(jī)器“理解世界”的道路上，邁出了堅(jiān)實(shí)一步。

下面是DeepMind今天發(fā)表的官方博文，論文的聯(lián)合第一作者S. M. Ali Eslami和Danilo Jimenez Rezende對(duì)這項(xiàng)工作進(jìn)行了解讀。

《神經(jīng)場(chǎng)景表示和渲染》的研究背景

當(dāng)談到我們?nèi)祟?lèi)如何理解一個(gè)視覺(jué)場(chǎng)景時(shí)，涉及的不僅僅是視覺(jué)：我們的大腦利用先驗(yàn)知識(shí)進(jìn)行推理，并做出遠(yuǎn)遠(yuǎn)超出光線的模式的推斷。例如，當(dāng)你第一次進(jìn)入一個(gè)房間時(shí)，你能夠立即識(shí)別出房間里的物品以及它們的位置。如果你看到一張桌子的三條腿，你會(huì)推斷，可能存在第四條桌子腿從你的視線中隱藏了，它的顏色和形狀應(yīng)該與其他三條腿相同。即使你看不到房間里的所有東西，你也很可能勾畫(huà)出它的布局，或者從另一個(gè)角度想象它的樣子。

這些視覺(jué)和認(rèn)知任務(wù)對(duì)人類(lèi)來(lái)說(shuō)似乎毫不費(fèi)力，但它們對(duì)我們的AI系統(tǒng)來(lái)說(shuō)是一個(gè)重大挑戰(zhàn)。今天，最先進(jìn)的視覺(jué)識(shí)別系統(tǒng)都是用人類(lèi)產(chǎn)生的帶注釋圖像的大型數(shù)據(jù)集訓(xùn)練的。獲取這些數(shù)據(jù)是一個(gè)昂貴而且耗時(shí)的過(guò)程，需要有人對(duì)數(shù)據(jù)集中每個(gè)場(chǎng)景的每個(gè)對(duì)象進(jìn)行標(biāo)記。因此，通常只能捕獲整體場(chǎng)景的一小部分內(nèi)容，這限制了用這些數(shù)據(jù)進(jìn)行訓(xùn)練的人工視覺(jué)系統(tǒng)。

當(dāng)我們開(kāi)發(fā)出在現(xiàn)實(shí)世界運(yùn)行的更復(fù)雜的機(jī)器時(shí)，我們希望機(jī)器能充分了解它們所處的環(huán)境：可以坐的最近的表面在哪里？沙發(fā)是什么料子的？所有的陰影都是哪些光源產(chǎn)生的？電燈的開(kāi)關(guān)可能在哪里？

論文一作S. M. Ali Eslami解讀

在這篇發(fā)表于《科學(xué)》（Science）的最新論文中，我們提出生成查詢(xún)網(wǎng)絡(luò)（Generative Query Network，GQN）。在這個(gè)框架中，機(jī)器學(xué)習(xí)只使用它們?cè)趫?chǎng)景中移動(dòng)時(shí)所獲得的數(shù)據(jù)進(jìn)行訓(xùn)練，從而感知周?chē)沫h(huán)境。

就像嬰兒和動(dòng)物一樣，GQN通過(guò)嘗試?yán)斫馑鼘?duì)周?chē)澜绲挠^察來(lái)學(xué)習(xí)。在這樣做的過(guò)程中，GQN了解了似乎合理的場(chǎng)景及其幾何屬性，而沒(méi)有任何人類(lèi)來(lái)對(duì)場(chǎng)景內(nèi)容進(jìn)行標(biāo)注。

GQN：僅使用從場(chǎng)景中感知到的數(shù)據(jù)做訓(xùn)練

GQN模型由兩個(gè)部分組成：表示網(wǎng)絡(luò)（representation network）和生成網(wǎng)絡(luò)（generation network）。表示網(wǎng)絡(luò)將agent的觀察結(jié)果作為輸入，并生成一個(gè)描述基礎(chǔ)場(chǎng)景的表示（向量）。然后，生成網(wǎng)絡(luò)從先前未觀察到的角度來(lái)預(yù)測(cè)（“想象”）場(chǎng)景。

Agent從不同視角觀察訓(xùn)練場(chǎng)景

表示網(wǎng)絡(luò)不知道生成網(wǎng)絡(luò)被要求預(yù)測(cè)哪些視點(diǎn)，所以它必須找到一種有效的方式來(lái)盡可能準(zhǔn)確地描述場(chǎng)景的真實(shí)布局。為了實(shí)現(xiàn)這個(gè)目的，表示網(wǎng)絡(luò)以一種簡(jiǎn)潔的分布式表示來(lái)捕獲最重要的元素（如對(duì)象位置、顏色和房間布局）。

在訓(xùn)練過(guò)程中，生成器學(xué)習(xí)環(huán)境中的典型對(duì)象、特征、關(guān)系和規(guī)則。這種共享的“概念”集合使表示網(wǎng)絡(luò)能夠以高度壓縮、抽象的方式描述場(chǎng)景，讓生成網(wǎng)絡(luò)在必要時(shí)填充細(xì)節(jié)。

例如，表示網(wǎng)絡(luò)會(huì)簡(jiǎn)潔地將“藍(lán)色立方體”表示為一組數(shù)字，而生成網(wǎng)絡(luò)將會(huì)知道如何以特定的視點(diǎn)將其顯示為像素。

四大重要特性：能夠“想象出”沒(méi)有觀察過(guò)的場(chǎng)景

我們?cè)?a href="http://www.delux-kingway.cn/analog/" target="_blank">模擬的3D世界的一系列程序生成環(huán)境中，對(duì)GQN進(jìn)行了受控實(shí)驗(yàn)。這些環(huán)境包含多個(gè)物體，它們的位置、顏色、形狀和紋理都是隨機(jī)的，光源也是隨機(jī)的，而且會(huì)被嚴(yán)重遮擋。

在這些環(huán)境中進(jìn)行訓(xùn)練后，我們使用GQN的表示網(wǎng)絡(luò)來(lái)形成新的、以前未觀察到的場(chǎng)景的表示。我們的實(shí)驗(yàn)表明，GQN具有以下幾個(gè)重要特性:

GQN的生成網(wǎng)絡(luò)能夠以非常精確的方式從新的視角“想象”先前未觀察到的場(chǎng)景。當(dāng)給定一個(gè)場(chǎng)景表示和新的攝像機(jī)視點(diǎn)時(shí)，它會(huì)生成清晰的圖像，而不需要事先說(shuō)明透視、遮擋或燈光的規(guī)范。因此，生成網(wǎng)絡(luò)是一種從數(shù)據(jù)中學(xué)習(xí)的近似渲染器（approximate renderer）:

GQN的表示網(wǎng)絡(luò)可以學(xué)會(huì)對(duì)對(duì)象進(jìn)行計(jì)數(shù)、定位和分類(lèi)，無(wú)需任何對(duì)象級(jí)標(biāo)簽。盡管GQN的表示可能非常小，但是它在查詢(xún)視點(diǎn)（query viewpoints）上的預(yù)測(cè)是高度準(zhǔn)確的，與ground-truth幾乎無(wú)法區(qū)分。這意味著表示網(wǎng)絡(luò)能夠準(zhǔn)確地感知，例如識(shí)別構(gòu)成以下場(chǎng)景的塊的精確配置:

GQN可以表示、測(cè)量和減少不確定性。即使內(nèi)容不完全可見(jiàn)，它也能對(duì)場(chǎng)景的不確定性進(jìn)行解釋?zhuān)⑶铱梢詫?chǎng)景的多個(gè)局部視圖組合成一個(gè)連貫的整體視圖。如下圖所示，這是由其第一人稱(chēng)（first-person）和自上而下的預(yù)測(cè)（top-down predictions）顯示的。模型通過(guò)其預(yù)測(cè)的可變性來(lái)表示不確定性，不確定性隨著其在迷宮中移動(dòng)而逐漸減?。ɑ疑淖刁w指示觀察位置，黃色椎體指示查詢(xún)位置）：

GQN的表示允許穩(wěn)健的、數(shù)據(jù)有效（data-efficient）的強(qiáng)化學(xué)習(xí)。當(dāng)給定GQN的緊湊表示時(shí)，與無(wú)模型基線agent相比， state-of-the-art的深度強(qiáng)化學(xué)習(xí)agent能夠以更高的數(shù)據(jù)效率方式完成任務(wù)，如下圖所示。對(duì)于這些agent，生成網(wǎng)絡(luò)中編碼的信息可以被看作是對(duì)環(huán)境的“先天”知識(shí)：

圖：使用GQN，我們觀察到數(shù)據(jù)效率更高的策略學(xué)習(xí)（policy learning），與使用原始像素的標(biāo)準(zhǔn)方法相比，其獲得收斂級(jí)性能的交互減少了約4倍。

未來(lái)方向

GQN建立在此前大量相關(guān)工作的基礎(chǔ)上，包括多視圖幾何、生成建模、無(wú)監(jiān)督學(xué)習(xí)和預(yù)測(cè)學(xué)習(xí)，我們?cè)谡撐闹杏性敿?xì)討論。

GQN演示了一種學(xué)習(xí)緊湊的、基礎(chǔ)的物理場(chǎng)景表示的新方法。關(guān)鍵的是，我們提出的方法不需要專(zhuān)用領(lǐng)域工程（domain-specific engineering）或耗時(shí)的場(chǎng)景內(nèi)容標(biāo)記，從而允許將相同的模型應(yīng)用于各種不同的環(huán)境。GQN還學(xué)會(huì)了一個(gè)強(qiáng)大的神經(jīng)渲染器，能夠從新的視角生成精確的場(chǎng)景圖像。

與更傳統(tǒng)的計(jì)算機(jī)視覺(jué)技術(shù)相比，我們的方法仍然有許多限制，目前只有接受過(guò)合成場(chǎng)景的訓(xùn)練。然而，隨著獲得更多新的數(shù)據(jù)源，以及硬件功能的進(jìn)展，我們期望能夠探索GQN框架在更高分辨率的真實(shí)場(chǎng)景圖像中的應(yīng)用。在未來(lái)的工作中，我們將探索GQN在場(chǎng)景理解的更廣泛方面的應(yīng)用，例如通過(guò)查詢(xún)跨空間和時(shí)間學(xué)習(xí)物理和運(yùn)動(dòng)的常識(shí)概念，以及虛擬和增強(qiáng)現(xiàn)實(shí)中的應(yīng)用。

盡管在我們的方法在投入實(shí)用前還有很多研究需要完成，但我們相信這項(xiàng)工作是邁向完全自主場(chǎng)景理解的一大步。