活在一個(gè)AI“泛濫”的時(shí)代，我們幾乎每天都能看到 AI 研究上的最新進(jìn)展。昨天，AI 打 DoTA 戰(zhàn)勝人類了；今天，AI 能自己找路了；明天，AI 能假冒人類打電話了。在擔(dān)心 AI 會(huì)滅掉人類的人們眼中，AI 正像一只怪物一樣野蠻生長(zhǎng)，像一只侵略軍一樣從遠(yuǎn)方大跨步逼近。

然而實(shí)際上，你所看到的這些進(jìn)展，只是不同的 AI 在特定方向的進(jìn)步。雖然當(dāng)前基于深度學(xué)習(xí)的 AI 熱潮已經(jīng)有五六年了，還是沒(méi)有一個(gè)獨(dú)立的 AI，像一個(gè)獨(dú)立的人一樣，能夠優(yōu)秀地執(zhí)行多種任務(wù)。

人們?cè)谛稳?AI 時(shí)，通常會(huì)用這樣一種說(shuō)法：這個(gè) AI 的智商，跟三歲小孩差不多。 智商 (Intelligence quotient) 簡(jiǎn)稱 IQ，是評(píng)價(jià)人類智商一個(gè)普遍接受的標(biāo)準(zhǔn) 。你有智商，我也有智商，就連三歲小孩也有智商。接下來(lái)問(wèn)題來(lái)了：既然說(shuō) AI 跟三歲小孩差不多，那么它的智商到底有多少呢

得給 AI 測(cè)測(cè)智商了。

DeepMind要給AI測(cè)IQ

自 AlphaGo 橫空出世以來(lái)，AI 在解決一些復(fù)雜的、策略性的問(wèn)題上，能力已經(jīng)得到了證明。但如果想要更像“人”，AI 必須也擁有像人類一樣的抽象理解能力。

現(xiàn)在的 AI 計(jì)算能力不用說(shuō)了，推理能力也很強(qiáng)，所以只剩抽象理解能力了。Google 旗下的 AI 科研機(jī)構(gòu) DeepMind 認(rèn)為，“基于神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)模型取得了驚人的成績(jī)，但想要衡量其推理抽象概念的能力，卻非常困難?！?/p>

為了搞清楚現(xiàn)在的 AI 在抽象理解能力上究竟實(shí)力如何，DeepMind 還真給 AI 設(shè)計(jì)了一套測(cè)試題：

這套測(cè)試題，借鑒了人類的 IQ 測(cè)試?yán)镏娜鹞耐评頊y(cè)驗(yàn)：給定一組圖片，找到符合其“演進(jìn)”規(guī)律的圖片。

（圖片來(lái)源：DeepMind 論文）

在這種測(cè)試中，題目里并不會(huì)告訴你要找到符合什么標(biāo)準(zhǔn)的圖形，而是需要我們根據(jù)日常生活中學(xué)習(xí)或掌握到的一些基本原則，來(lái)理解和分析測(cè)試中出現(xiàn)的簡(jiǎn)單圖案。

要找到正確的答案，往往要借鑒我們從生活中明白的“演進(jìn)”規(guī)律。比如小樹(shù)苗長(zhǎng)成大樹(shù)，比如從 0 到1、2、3、4、5 的加法，再比如加減乘除。以上這些，就是我們生活中所提煉出的抽象的“演進(jìn)”(progression)的意義，就是人類的抽象理解能力。

“但是，我們現(xiàn)在還沒(méi)有找到辦法，能讓 AI 也可以從 ‘日常經(jīng)驗(yàn)’中學(xué)到類似的能力?！?DeepMind 在論文中說(shuō)。

“不過(guò)，我們依然可以很好地利用人類的這種視覺(jué)抽象邏輯測(cè)試，來(lái)設(shè)計(jì)一個(gè)實(shí)驗(yàn)。在這個(gè)測(cè)試中，我們并不是像人類測(cè)試那樣，考察從日常生活到視覺(jué)推理問(wèn)題的知識(shí)轉(zhuǎn)移。而是研究AI在將知識(shí)從一組受控的視覺(jué)推理問(wèn)題，轉(zhuǎn)移到另一組問(wèn)題的能力。”

簡(jiǎn)單翻譯一下這段話就是：DeepMind 先給 AI 喂一組由三角形構(gòu)成的圖像的視覺(jué)推理題庫(kù)，等訓(xùn)練的差不多了，再出一組由方塊構(gòu)成的視覺(jué)推理題，讓 AI 去回答，看它是能隨機(jī)應(yīng)變舉一反三，還是學(xué)會(huì)了三角，換成方塊就不靈了。

機(jī)器人仍需努力

對(duì)于擔(dān)心 AI 取代人類的朋友來(lái)說(shuō)，DeepMind 的一部分實(shí)驗(yàn)結(jié)果確實(shí)是個(gè)好消息：一些最棒的 AI 模型，在這個(gè)IQ測(cè)試中的表現(xiàn)得并不咋樣。

正如預(yù)期的那樣，當(dāng)訓(xùn)練集和測(cè)試集所采用的抽象元素相同時(shí)，多個(gè) AI 模型都表現(xiàn)出超過(guò)75%的準(zhǔn)確率。

然而，當(dāng)測(cè)試集和訓(xùn)練集出現(xiàn)變化，甚至有時(shí)候只是把黑點(diǎn)換成較暗的淺色圓點(diǎn)，AI 的表現(xiàn)就會(huì)像無(wú)頭蒼蠅一樣，失去了準(zhǔn)星。

（一些知名AI模型的表現(xiàn) 圖片來(lái)源：DeepMind 論文）

上面這些都是深度神經(jīng)網(wǎng)絡(luò)領(lǐng)域的當(dāng)紅炸子雞，測(cè)起智商來(lái)卻沒(méi)那么靈光了。

ResNet (Deep Residual Network)，即深度殘差網(wǎng)絡(luò)在其中一組測(cè)試中僅僅得到22.4%的低分。 要知道，它的提出曾被形容為CNN（卷積神經(jīng)網(wǎng)絡(luò)）的一個(gè)里程碑式事件，它在網(wǎng)絡(luò)深度上比其他模型提升了n個(gè)量級(jí)，更重要的是它的殘差學(xué)習(xí)方式，改良了模型的架構(gòu)，因此一出現(xiàn)就秒殺眾前輩。

測(cè)試中表現(xiàn)最好的 WReN 模型，則是 DeepMind 在關(guān)系網(wǎng)絡(luò) (Relation Networks) 模型基礎(chǔ)上改良的版本。它增加了對(duì)不同圖像組合之間關(guān)系的分析，并可以對(duì)這類 IQ 測(cè)試的各種可能性結(jié)果進(jìn)行評(píng)估。

不過(guò)，DeepMind 針對(duì)這個(gè)測(cè)試的邏輯，對(duì)一些模型進(jìn)行改良，改良后的模型表現(xiàn)出明顯的提升。

比如，在一些模型中，DeepMind 加入了元標(biāo)記（meta-targets) 的輔助訓(xùn)練方法，讓模型對(duì)數(shù)據(jù)集背后體現(xiàn)出的形狀、屬性（形狀的數(shù)量、大小、顏色深淺等）以及關(guān)系（同時(shí)出現(xiàn)、遞減、遞增等等）進(jìn)行預(yù)測(cè)，當(dāng)這部分預(yù)測(cè)準(zhǔn)確時(shí)，最終回答的準(zhǔn)確率就明顯出現(xiàn)提升，預(yù)測(cè)錯(cuò)誤時(shí)，回答準(zhǔn)確率明顯下降。一些極端情況下，模型回答的準(zhǔn)確率更是從預(yù)測(cè)錯(cuò)誤時(shí)的32%提升至了87%。

（元標(biāo)記預(yù)測(cè)準(zhǔn)確度與最終答案準(zhǔn)確率的關(guān)系圖）

DeepMind 表示，他們?cè)O(shè)計(jì)的這個(gè)實(shí)驗(yàn)，最終目的并不是為了讓 AI 能夠通過(guò)這種 IQ 測(cè)試。他們關(guān)注的是 AI 泛化能力的問(wèn)題。

泛化是指模型很好地?cái)M合以前未見(jiàn)過(guò)的新數(shù)據(jù)的能力，這是機(jī)器學(xué)習(xí)界的術(shù)語(yǔ)，你也可以粗暴的理解成一個(gè) AI 模型能否在各類場(chǎng)景中“通吃”。AI 的泛化能力越強(qiáng)，離啥都能干的所謂“通用人工智能”就越近。

DeepMind 在博客最后這樣說(shuō)道：

研究表明，尋找關(guān)于泛化問(wèn)題的普遍結(jié)論可能沒(méi)有任何意義。我們測(cè)試的神經(jīng)網(wǎng)絡(luò)在某些泛化方案中表現(xiàn)優(yōu)秀，但是其他方案下卻很糟糕。

諸如所使用模型的架構(gòu)、模型是否被訓(xùn)練從而能解釋答案背后的邏輯等一系列因素，都會(huì)對(duì)泛化效果帶來(lái)影響。而在大多數(shù)情況下，當(dāng)需要處理過(guò)往經(jīng)驗(yàn)從未涉及的、或完全陌生的情景時(shí)，這些 AI 的表現(xiàn)很糟糕。

至少現(xiàn)在看來(lái)，AI 還有很長(zhǎng)的路要走啊。