在計算機視覺領(lǐng)域，圖像識別這幾年的發(fā)展突飛猛進。例如，在PASCAL VOC物體檢測基準測試中，檢測器的性能從平均準確率30%飆升到了今天的超過90%。對于圖像分類，在極具挑戰(zhàn)性的ImageNet數(shù)據(jù)集上，目前先進算法的表現(xiàn)甚至超過了人類。

圖像識別技術(shù)的高價值應(yīng)用就發(fā)生在你我身邊，例如視頻監(jiān)控、自動駕駛和智能醫(yī)療等，而這些圖像識別最新進展的背后推動力是深度學(xué)習(xí)。深度學(xué)習(xí)的成功主要得益于三個方面：大規(guī)模數(shù)據(jù)集的產(chǎn)生、強有力的模型的發(fā)展以及可用的大量計算資源。對于各種各樣的圖像識別任務(wù)，精心設(shè)計的深度神經(jīng)網(wǎng)絡(luò)已經(jīng)遠遠超越了以前那些基于人工設(shè)計的圖像特征的方法。

盡管到目前為止深度學(xué)習(xí)在圖像識別方面已經(jīng)取得了巨大成功，但在它進一步廣泛應(yīng)用之前，仍然有很多挑戰(zhàn)需要我們?nèi)ッ鎸ΑＥc此同時，我們也看到了很多具有未來價值的研究方向。

挑戰(zhàn)一：如何提高模型的泛化能力

圖像識別技術(shù)在可以被廣泛應(yīng)用之前，一個重要的挑戰(zhàn)是，怎樣才能知道一個模型對未曾出現(xiàn)過的場景仍然具有很好的泛化能力。

在目前的實踐中，數(shù)據(jù)集被隨機劃分為訓(xùn)練集和測試集，模型也相應(yīng)地在這個數(shù)據(jù)集上被訓(xùn)練和評估。需要注意的是，在這種做法中，測試集擁有和訓(xùn)練集一樣的數(shù)據(jù)分布，因為它們都是從具有相似場景內(nèi)容和成像條件的數(shù)據(jù)中采樣得到的。

然而，在實際應(yīng)用中，測試圖像或許會來自不同于訓(xùn)練時的數(shù)據(jù)分布。這些未曾出現(xiàn)過的數(shù)據(jù)可能會在視角、大小尺度、場景配置、相機屬性等方面與訓(xùn)練數(shù)據(jù)不同。

一項研究表明，數(shù)據(jù)分布上的這種差異會導(dǎo)致各種深度網(wǎng)絡(luò)模型的準確率產(chǎn)生明顯的下降 。當前模型對數(shù)據(jù)分布自然變化的敏感性可能成為自動駕駛等關(guān)鍵應(yīng)用的一個嚴重問題。

挑戰(zhàn)二：如何利用小規(guī)模和超大規(guī)模數(shù)據(jù)

我們需要面對的另一個重要的挑戰(zhàn)是如何更好地利用小規(guī)模訓(xùn)練數(shù)據(jù)。雖然深度學(xué)習(xí)通過利用大量標注數(shù)據(jù)在各種任務(wù)中都取得了巨大的成功，但現(xiàn)有的技術(shù)通常會因為只有很少的標記實例可用而在小數(shù)據(jù)情景中崩潰。這個情景通常被稱為“少樣本學(xué)習(xí)（few-shot learning）”，并需要在實際應(yīng)用中仔細考慮。例如，一個家庭機器人被期望可以完成這樣的任務(wù)：向它展示一個新物體，且只展示一次，之后它便可以識別這個物體。一個人可以很自然地完成這個任務(wù)，即使這個物體之后又被操作過了，例如一個毛毯被折疊起來了。如何賦予神經(jīng)網(wǎng)絡(luò)像人類這樣的泛化能力是一個開放的研究問題。

另一個極端是如何利用超大規(guī)模數(shù)據(jù)有效地提高識別算法的性能。對于像自動駕駛這樣的關(guān)鍵應(yīng)用，圖像識別的出錯成本非常高。因此，研究者們創(chuàng)造出了非常龐大的數(shù)據(jù)集，這些數(shù)據(jù)集包含了數(shù)以億計的帶有豐富標注的圖像，并且他們希望通過利用這些數(shù)據(jù)使模型的準確度得到顯著提高。

然而，目前的算法并不能很好地利用這種超大規(guī)模數(shù)據(jù) 。在包含了3億張標注圖片的JFT數(shù)據(jù)集上，各種深度網(wǎng)絡(luò)的性能隨著訓(xùn)練數(shù)據(jù)量的增加，僅僅呈現(xiàn)出對數(shù)級的提高（圖一）。在大規(guī)模數(shù)據(jù)的情況下，繼續(xù)增加訓(xùn)練數(shù)據(jù)帶來的收益會變得越來越不明顯，這是一個有待解決的重要問題。

一目標檢測在JFT-300M數(shù)據(jù)集上的性能隨訓(xùn)練樣例的增多呈對數(shù)倍的提高。x軸是對數(shù)尺度下的數(shù)據(jù)大小。y軸是目標檢測的性能。左圖使用COCO minival測試集上的mAP@[0.5,0.95] 指標，右圖使用PASCAL VOC 2007測試集上的[email protected]指標 。紅藍兩條曲線分別代表兩種不同的模型。

挑戰(zhàn)三：全面的場景理解

除了這些與訓(xùn)練數(shù)據(jù)和泛化能力相關(guān)的問題外，還有一個重要的研究課題是全面的場景理解。除了識別和定位場景中的物體之外，人類還可以推斷物體和物體之間的關(guān)系、部分到整體的層次、物體的屬性和三維場景布局。

獲得對場景的更廣泛的理解將會幫助例如機器人交互這樣的應(yīng)用，因為這些應(yīng)用通常需要物體標識和位置以外的信息。這個任務(wù)不僅涉及到對場景的感知，而且還需要對現(xiàn)實世界的認知理解。要實現(xiàn)這一目標，我們還有很長的路要走。全面的場景理解的一個例子為全景分割，見圖二。

圖二 (a)原圖；(b)語義分割：識別天空、草地、道路等沒有固定形狀的不可數(shù)材質(zhì)(stuff)，標記方法通常是給每個像素加上標簽 ；(c)實例分割：分割人、動物或工具等可數(shù)且獨立的物體實例(object instance)，通常用包圍盒或分割掩碼標記目標；(d)全景分割：生成統(tǒng)一的、全局的分割圖像，既識別材質(zhì)，也識別物體。

挑戰(zhàn)四：自動化網(wǎng)絡(luò)設(shè)計

最后一個值得一提的挑戰(zhàn)是使網(wǎng)絡(luò)設(shè)計自動化。近年來，圖像識別這一領(lǐng)域的重心從設(shè)計更好的特征轉(zhuǎn)向了設(shè)計更新的網(wǎng)絡(luò)架構(gòu)。然而，設(shè)計網(wǎng)絡(luò)架構(gòu)是一個冗長乏味的過程，它需要處理大量的超參數(shù)和設(shè)計選擇。調(diào)優(yōu)這些元素需要有經(jīng)驗的工程師花費大量的時間和精力。

更重要的是，一個任務(wù)的最優(yōu)架構(gòu)和另一個任務(wù)的最優(yōu)架構(gòu)可能是完全不同的。盡管我們對自動神經(jīng)架構(gòu)搜索的研究已經(jīng)開始了，但它們?nèi)匀惶幱谠缙陔A段并且僅適用于圖像分類任務(wù)。當前方法的搜索空間非常狹窄，因為它們尋找的是現(xiàn)有網(wǎng)絡(luò)模塊的局部最優(yōu)組合（例如深度可分離卷積和恒等連接），并且無法發(fā)現(xiàn)新的模塊。目前還不清楚這些現(xiàn)有的方法是否足以勝任更復(fù)雜的任務(wù)。

圖三 神經(jīng)架構(gòu)搜索算法的抽象圖解。搜索策略首先從事先定義好的搜索空間中選擇一個架構(gòu)A，這個構(gòu)架接著被評估策略進行評估，并將評估的A的性能傳遞給搜索策略 。

盡管在圖像識別領(lǐng)域存在上述諸多挑戰(zhàn)，但我們?nèi)匀幌嘈派疃葘W(xué)習(xí)在圖像識別領(lǐng)域的巨大潛力。解決這些問題的機會比比皆是，下面我們看看這其中的幾個研究方向：

方向一：整合常識

圖像識別領(lǐng)域有一個重要的研究方向是將常識融入到深度學(xué)習(xí)中。目前，深度學(xué)習(xí)主要作為一種純粹的數(shù)據(jù)驅(qū)動技術(shù)被使用。在深度學(xué)習(xí)中，神經(jīng)網(wǎng)絡(luò)利用訓(xùn)練集中的標注樣本學(xué)習(xí)一個非線性函數(shù)，之后在測試時則將這個學(xué)習(xí)到的函數(shù)作用到圖片像素上。訓(xùn)練集之外的信息則一點也沒有被用到。

相比之下，人類識別物體不僅基于已經(jīng)看到的樣本，還基于他們有關(guān)真實世界的常識。人們能夠?qū)λ麄兯吹降臇|西進行推理，以避免不合邏輯的識別結(jié)果。此外，當遇到新的或超出預(yù)期的東西時，人類可以迅速調(diào)整他們的知識來解釋這次的新經(jīng)歷。如何在深度網(wǎng)絡(luò)中獲取、表示常識以及利用常識進行推理是一個挑戰(zhàn)。

方向二：幾何推理

聯(lián)合執(zhí)行圖像識別和幾何推理則是另一個有潛力的方向。圖像識別的主要模型只考慮了二維外觀，而人類可以感知三維場景布局以及推斷其內(nèi)在的語義類別。三維布局不僅可以從雙目視覺中獲得，還可以從二維輸入的幾何推理中得到，就像人們看照片時所做的那樣。聯(lián)合圖像識別和幾何推理為雙方都提供了好處。

從幾何推理中確定的三維布局可以幫助在看不見的視角、變形和外觀的情況下引導(dǎo)識別。它還可以消除不合理的語義布局，并幫助識別由其三維形狀或功能定義的類別。例如，沙發(fā)中存在著巨大的類內(nèi)外觀差異。然而，它們擁有共同的屬性，可以幫助識別它們。比如它們都有一個水平面用來坐，一個背面用于支撐。另一方面，識別出來的語義可以規(guī)范化幾何推理的解空間。例如，如果一只狗在一個場景中被識別，它相應(yīng)的三維結(jié)構(gòu)應(yīng)該符合狗的三維形狀模型。

圖四 從視頻的兩個不同視角的幀重建出復(fù)雜動態(tài)場景的點云

方向三：對關(guān)系建模

關(guān)系建模也有很大的研究潛力。想要全面理解一個場景，對場景中存在的目標實體之間的關(guān)系和相互作用的建模非常重要（圖四）。考慮兩張圖片，每個圖片都包含一個人和一匹馬。如果一張展示的是騎著馬的人，另一張展示的是踩著人的馬，顯然這兩張圖片表達了完全不同的意思。此外，通過關(guān)系建模提取的底層場景結(jié)構(gòu)可以幫助補償當前深度學(xué)習(xí)方法因數(shù)據(jù)有限而出現(xiàn)的模糊不確定等問題。盡管人們已經(jīng)在努力解決關(guān)系建模這個問題，但這項研究仍然是初步的，并且還有很大的探索空間。

圖五 目標檢測中的關(guān)系網(wǎng)絡(luò)。表示物體的外表特征，表示物體的幾何特征

方向四：學(xué)習(xí)如何學(xué)習(xí)

這里還有一個值得一提的方向是元學(xué)習(xí)，它的目標是學(xué)習(xí)學(xué)習(xí)過程。這個課題最近引起了相當多的關(guān)注，而且神經(jīng)架構(gòu)搜索也可以被認為是它的一種應(yīng)用。

然而，由于目前對學(xué)習(xí)過程建模的機制、表示和算法還比較初級，元學(xué)習(xí)的研究仍處于早期階段。以神經(jīng)架構(gòu)搜索為例，它只局限于現(xiàn)有網(wǎng)絡(luò)模塊的簡單組合。元學(xué)習(xí)者無法捕捉到創(chuàng)作新網(wǎng)絡(luò)模塊所需的微妙的直覺和敏銳的洞察力。隨著元學(xué)習(xí)的進步，自動架構(gòu)設(shè)計的潛力可能會被完全釋放出來，進而得到遠超手工設(shè)計的網(wǎng)絡(luò)結(jié)構(gòu)。

圖六 元學(xué)習(xí)近期的進展。自左至右分別為元學(xué)習(xí)的超參數(shù)優(yōu)化 、神經(jīng)架構(gòu)搜索 、少樣本圖像分類 。

這是一個激動人心的從事圖像識別的時代，一個充滿了推動領(lǐng)域發(fā)展、影響未來應(yīng)用的機會時代。我們熱切盼望即將到來的進步，并期待這些新技術(shù)以深刻而神奇的方式改變我們的生活。