正如《2001太空漫游》《流浪地球》等科幻大片中無(wú)障礙的人機(jī)對(duì)話系統(tǒng)所描繪的那樣，擁有智能視覺(jué)對(duì)話能力的AI隨著技術(shù)的不斷突破，正在向我們走來(lái)。

每個(gè)人都有這樣的回憶，小時(shí)候語(yǔ)文老師教我們看圖說(shuō)話，許多小朋友腦洞大開(kāi)，說(shuō)出來(lái)的答案讓人啼笑皆非。實(shí)際上，看圖說(shuō)話的能力在年幼時(shí)期需要訓(xùn)練，而對(duì)于大一點(diǎn)孩子來(lái)說(shuō)就不成問(wèn)題了。如今，機(jī)器人也能做到看圖說(shuō)話了。

近日，來(lái)自中國(guó)AI在這項(xiàng)能力上已經(jīng)打破了世界紀(jì)錄。在第二屆全球AI視覺(jué)對(duì)話競(jìng)賽（Visual Dialogue Challenge）中，阿里AI擊敗了微軟、首爾大學(xué)等十支參賽隊(duì)伍，一舉獲得冠軍。

阿里AI在視覺(jué)對(duì)話競(jìng)賽中得冠

會(huì)“看圖說(shuō)話”的AI有多聰明？

這場(chǎng)視覺(jué)對(duì)話競(jìng)賽由美國(guó)佐治亞理工大學(xué)、Facebook人工智能實(shí)驗(yàn)室（FAIR）等機(jī)構(gòu)聯(lián)合全球視覺(jué)技術(shù)領(lǐng)域頂級(jí)學(xué)術(shù)會(huì)議CVPR發(fā)起，是目前視覺(jué)對(duì)話領(lǐng)域最權(quán)威的競(jìng)賽之一。

該競(jìng)賽要求參賽的AI在看完近萬(wàn)張圖片后，回答出人類對(duì)于任一圖片任一內(nèi)容的提問(wèn)。這要求AI不僅能夠描述出圖片中內(nèi)容的概況，還要經(jīng)得起人類對(duì)圖片各種細(xì)節(jié)的追問(wèn)。比如，在一張撐著雨傘的人物圖片中，說(shuō)出傘是什么顏色的，有多少人在圖中，附近有什么物品和建筑物等等信息。

視覺(jué)對(duì)話中AI可以從容應(yīng)對(duì)人類提問(wèn)（左為AI、右為人類）

競(jìng)賽結(jié)果顯示，阿里AI以74.57%的準(zhǔn)確率獲得冠軍，將上一屆比賽的紀(jì)錄提高了16.82%，并且超過(guò)微軟AI的64.78%的準(zhǔn)確率。而在相同的數(shù)據(jù)集中，人類的準(zhǔn)確率僅為64.27%，AI甚至勝過(guò)了人類。

傳統(tǒng)的視覺(jué)AI主要針對(duì)目標(biāo)的檢測(cè)和識(shí)別，但對(duì)復(fù)雜場(chǎng)景中目標(biāo)之間的邏輯關(guān)系理解、推理能力較弱，無(wú)法回答表達(dá)圖片對(duì)象直接關(guān)系的復(fù)雜問(wèn)題，也難以將圖片信息轉(zhuǎn)化為人類理解的語(yǔ)言輸出。

這意味著，要實(shí)現(xiàn)視覺(jué)對(duì)話能力，傳統(tǒng)的視覺(jué)AI在學(xué)會(huì)“看圖”之后，還要有一種語(yǔ)言模型來(lái)支撐它“說(shuō)話”。阿里AI的突破就在于提出了“遞歸探索對(duì)話模型”。

視覺(jué)對(duì)話AI與用戶交流圖像內(nèi)容

這一模型通過(guò)標(biāo)注信息學(xué)習(xí)出模仿人類認(rèn)知復(fù)雜場(chǎng)景的思維方式，能識(shí)別圖片里的實(shí)體以及它們之間的關(guān)系，推理出圖片所描述的事件內(nèi)容，并通過(guò)對(duì)上下文進(jìn)行有效建模，綜合集成了圖像識(shí)別、關(guān)系推理與自然語(yǔ)言理解三大能力，能理解人類提出的問(wèn)題及真實(shí)意圖，給出自然準(zhǔn)確的回復(fù)。

視覺(jué)對(duì)話能力讓AI邁上新臺(tái)階

AI能“看圖說(shuō)話”，這樣的應(yīng)用其實(shí)距離我們并不遙遠(yuǎn)，微軟之前推出了一款年齡測(cè)試工具How-old.net ，曾經(jīng)刷爆微博和朋友圈，所應(yīng)用的就是這一技術(shù)的應(yīng)用。

目前微軟還開(kāi)放了能“看圖說(shuō)話”的AI系統(tǒng)，用戶進(jìn)入官網(wǎng)上傳圖片，稍等一會(huì)，就能看到系統(tǒng)對(duì)于圖片的描述。其準(zhǔn)確率雖然不低但依舊有待提升，以一張?jiān)?jīng)廣為流傳的黑人問(wèn)號(hào)表情圖片為例，AI很快給出了客觀的回答：“我覺(jué)得這是籃球隊(duì)員尼克·楊露出牙齒微笑?！?/p>

AI視覺(jué)對(duì)話識(shí)別圖片信息

以“看圖說(shuō)話”為代表的視覺(jué)對(duì)話是近年來(lái)快速崛起的AI研究方向，目的在于教會(huì)機(jī)器用自然語(yǔ)言與人類討論視覺(jué)內(nèi)容，這能夠使機(jī)器擁有了對(duì)真實(shí)視覺(jué)世界的理解與推斷能力，也意味著AI的認(rèn)知能力將邁上新的臺(tái)階。

可以預(yù)見(jiàn)，這項(xiàng)技術(shù)未來(lái)將被應(yīng)用在人機(jī)交互諸多場(chǎng)景：

在火災(zāi)、地震后在廢墟中尋找幸存者的救援機(jī)器人，能夠代替人類之眼，深入危險(xiǎn)的現(xiàn)場(chǎng)，及時(shí)、高效地綜合指揮指令和場(chǎng)景信息作出行動(dòng)。

視覺(jué)對(duì)話技術(shù)有望人類提高地震救援效率

視障人士可以通過(guò)提問(wèn)AI，理解圖像中的內(nèi)容，了解自身所處的周圍環(huán)境，為其生活起居帶來(lái)更多的便利。

無(wú)人駕駛車輛也可以在行駛中通過(guò)視覺(jué)對(duì)話，更加準(zhǔn)確理解人類意圖征詢?nèi)祟惖囊庖?jiàn)，讓乘客的乘坐體驗(yàn)更好。

正如《2001太空漫游》《流浪地球》等科幻大片中無(wú)障礙的人機(jī)對(duì)話系統(tǒng)所描繪的那樣，擁有智能視覺(jué)對(duì)話能力的AI隨著技術(shù)的不斷突破，正在向我們走來(lái)。