我們都知道變色龍可以改變皮膚的顏色紋理，而如今深度學(xué)習(xí)技術(shù)甚至可以做到將一只貓的圖像同時轉(zhuǎn)變?yōu)楣?、甚至獅子和老虎的圖像。這種可以將一張圖片轉(zhuǎn)換為多種不同目標(biāo)的算法不僅為電影和游戲場景制作提供了豐富的素材，更能為自動駕駛迅速和便捷地生成不同路況下豐富的訓(xùn)練數(shù)據(jù)，以不斷提高面對不同路況的能力。

由一而多的圖像翻譯

早先研究人員發(fā)現(xiàn)可以利用非監(jiān)督的方法進(jìn)行圖像翻譯，將一幅圖像和視頻轉(zhuǎn)換為另一個。它通過利用來自獨立域中邊緣分布的圖像來學(xué)習(xí)處于不同域之中的聯(lián)合概率分布。研究人員通過建立共享隱含空間的假設(shè)，提出了一個圖像對圖像的非監(jiān)督翻譯框架，并利用對偶GANs實現(xiàn)了高效的圖像翻譯。在實驗中進(jìn)行了街道場景、動物圖像以及人臉的圖像翻譯過程。

而隨著研究的深入，研究人員們研發(fā)出了新的網(wǎng)絡(luò)結(jié)構(gòu)。這種多模態(tài)的網(wǎng)絡(luò)結(jié)構(gòu)將可以同時將一張圖片轉(zhuǎn)換為多張不同的圖像輸出。類似于早先的圖像翻譯研究，多模態(tài)圖形翻譯使用了兩種深度學(xué)習(xí)技術(shù)：非監(jiān)督學(xué)習(xí)和生成對抗網(wǎng)絡(luò)（GANs）,其目的在于為機器賦予更強的想象力，可以讓機器將陽光燦爛的街道照片變成狂風(fēng)暴雨或者茫茫冬日的不同景色。這種技術(shù)對于無人駕駛有著極大的促進(jìn)作用。與之前的技術(shù)不同，研究人員們通過轉(zhuǎn)換不止能得到一個冬天的實例，而可以同時得到一系列不同降雪量的的冬日場景。這意味著單一的數(shù)據(jù)可以生成一系列豐富的、覆蓋更廣泛情況的數(shù)據(jù)集。

為了實現(xiàn)這一非監(jiān)督圖像的翻譯任務(wù)，研究人員們提出了多模態(tài)非監(jiān)督圖像翻譯架構(gòu)（Multimodal Unsupervised Image-to-image Translation ，MUNIT），首先假設(shè)圖像的表示可以被分解成與域無關(guān)的編碼，同時可以采集到與域相關(guān)的風(fēng)格編碼。為了實現(xiàn)不同域間的圖像翻譯，作者將內(nèi)容編碼與目標(biāo)域中采樣的風(fēng)格編碼結(jié)合在一起，實現(xiàn)了多個目標(biāo)樣本的輸出。這種多模態(tài)非監(jiān)督圖像翻譯技術(shù)將圖像內(nèi)容和風(fēng)格分離開來。例如對于圖像中的一只貓來說，它的姿勢是圖像的內(nèi)容而貓的種類則是圖像的風(fēng)格。在實際翻譯過程中，姿勢是固定的，而風(fēng)格則隨著目標(biāo)的不同而不同?？梢允枪饭坊蛘弑印游锏淖藙菔潜３植蛔兊?，而它的風(fēng)格則可以覆蓋從柯基到美洲豹各色不同的品種。

同樣的技術(shù)還能用于生成一天中不同時間的場景圖像、不同天氣條件下或者光照條件下的場景。這樣的技術(shù)對于需要大量數(shù)據(jù)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)大有裨益。

除了自動駕駛和深度學(xué)習(xí)領(lǐng)域外，多模態(tài)圖像翻譯技術(shù)還能為游戲公司提供一種迅速創(chuàng)造新角色和新世界的有力工具。同樣藝術(shù)家們也可以生成復(fù)雜或者豐富場景的工作交給機器去處理，將更多的精力投入到創(chuàng)作的核心上來。

沒數(shù)據(jù)？沒問題！

這一研究主要建立在一種善于生成視覺數(shù)據(jù)的深度學(xué)習(xí)方法——GANs上。一個典型的GANs包含兩個互相競爭的神經(jīng)網(wǎng)絡(luò)：一個用于生成圖像而另一個用于判斷生成的圖像是否看起來像真的，或者是假的。GANs在數(shù)據(jù)短缺的時候會顯示出更強大的能力。

一般的圖像翻譯需要兩個互相關(guān)聯(lián)的數(shù)據(jù)集：如果需要將貓轉(zhuǎn)換為狗或者其他動物的話，需要收集同樣姿勢貓和狗的照片。而這樣的數(shù)據(jù)十分稀缺，有些時候甚至是不可能收集的。而本文中提出的MUNIT方法則突破了這個限制，使得圖像翻譯的使用范圍大大增加。它無需使用一一對應(yīng)的數(shù)據(jù)即可實現(xiàn)多模態(tài)的轉(zhuǎn)化。

MUNIT同時還可以在無需抓取同一視點記錄的情況下為自動駕駛生成大量的訓(xùn)練數(shù)據(jù)，可以再同一視角同一地點的精確位置下生成各種交通情況和細(xì)節(jié)的數(shù)據(jù)。除此之外、GANs還免去了對于圖像或者視頻冗長的人工標(biāo)注，節(jié)約了大量的時間和金錢。

論文的作者表示希望給機器賦予人類一樣的想象力。就像人類在看風(fēng)景時，無論庭前花開花落，總能想象出春夏秋冬四季變遷的模樣。在眺望風(fēng)景時候，朝暉夕陰、氣象萬千、四季輪回都了然于胸。