人工智能最近三年發(fā)展如火如荼，學(xué)術(shù)界、工業(yè)界、投資界各方一起發(fā)力，硬件、算法與數(shù)據(jù)共同發(fā)展，不僅僅是大型互聯(lián)網(wǎng)公司，包括大量創(chuàng)業(yè)公司以及傳統(tǒng)行業(yè)的公司都開始涉足人工智能。

2017年人工智能行業(yè)延續(xù)了2016年蓬勃發(fā)展的勢頭，那么在過去的一年里AI行業(yè)從技術(shù)發(fā)展角度有哪些重要進展？未來又有哪些發(fā)展趨勢？本文從大家比較關(guān)注的若干領(lǐng)域作為代表，來歸納AI領(lǐng)域一些方向的重要技術(shù)進展。

從AlphaGo Zero到Alpha Zero：邁向通用人工智能的關(guān)鍵一步

DeepMind攜深度增強學(xué)習(xí)利器總是能夠給人帶來震撼性的技術(shù)創(chuàng)新，2016年橫空出世的AlphaGo徹底粉碎了普遍存在的“圍棋領(lǐng)域機器無法戰(zhàn)敗人類最強手”的執(zhí)念，但是畢竟李世石還是贏了一局，不少人對于人類翻盤大逆轉(zhuǎn)還是抱有希望，緊接著Master通過60連勝諸多頂尖圍棋高手徹底澆滅了這種期待。

2017年AlphaGo Zero作為AlphaGo二代做了進一步的技術(shù)升級，把AlphaGo一代虐得體無完膚，這時候人類已經(jīng)沒有資格上場對局了。2017年底AlphaGo的棋類游戲通用版本Alpha Zero問世，不僅僅圍棋，對于國際象棋、日本將棋等其他棋類游戲，Alpha Zero也以壓倒性優(yōu)勢戰(zhàn)勝包括AlphaGo Zero在內(nèi)的目前最強的AI程序。

圖1 AlphaGo Zero的自我對弈及訓(xùn)練過程

AlphaGo Zero從技術(shù)手段上和AlphaGo相比并未有本質(zhì)上的改進，主體仍然是MCST蒙特卡洛搜索樹加神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)以及深度增強學(xué)習(xí)訓(xùn)練方法，但是技術(shù)實現(xiàn)上簡單優(yōu)雅很多（參考圖1）。主要的改動包含兩處：一處是將AlphaGo的兩個預(yù)測網(wǎng)絡(luò)（策略網(wǎng)絡(luò)和價值網(wǎng)絡(luò)）合并成一個網(wǎng)絡(luò)，但是同時產(chǎn)生兩類所需的輸出；第二處是網(wǎng)絡(luò)結(jié)構(gòu)從CNN結(jié)構(gòu)升級為ResNet。

雖說如此，AlphaGo Zero給人帶來的觸動和啟發(fā)絲毫不比AlphaGo少，主要原因是AlphaGo Zero完全放棄了從人類棋局來進行下棋經(jīng)驗的學(xué)習(xí)，直接從一張白紙開始通過自我對弈的方式進行學(xué)習(xí)，并僅僅通過三天的自我學(xué)習(xí)便獲得了遠(yuǎn)超人類千年積累的圍棋經(jīng)驗。

這引發(fā)了一個之前一般人很期待但是同時又認(rèn)為很難完成的問題：機器能夠不依賴有監(jiān)督方式的訓(xùn)練數(shù)據(jù)或者極少的訓(xùn)練數(shù)據(jù)自我進化與學(xué)習(xí)嗎？如果真的能夠做到這一點，那么是否意味著機器會快速進化并淘汰人類？第二個問題甚至?xí)鸩糠秩说目只?。但是其實這個問題本身問的就有問題，因為它做了一個錯誤的假設(shè)：AlphaGo Zero是不需要訓(xùn)練數(shù)據(jù)的。首先，AlphaGo Zero確實做到了通過自我對弈的方式進行學(xué)習(xí)，但是仍然需要大量訓(xùn)練數(shù)據(jù)，無非這些訓(xùn)練數(shù)據(jù)是通過自我對弈來產(chǎn)生的。而且更根本的一點是應(yīng)該意識到：對于AlphaGo Zero來說，其本質(zhì)其實還是MCST蒙特卡洛樹搜索。圍棋之所以看著難度大難以克服，主要是搜索空間實在太大，單純靠暴力搜索完全不可行。如果我們假設(shè)現(xiàn)在有個機器無限強大，能夠快速遍歷所有搜索空間，那么其實單純使用MCST樹搜索，不依靠機器學(xué)習(xí)，機器也能達(dá)到完美的博弈狀態(tài)。

AlphaGo Zero通過自我對弈以及深度增強學(xué)習(xí)主要達(dá)到了能夠更好地評估棋盤狀態(tài)和落子質(zhì)量，優(yōu)先選擇走那些贏面大的博弈路徑，這樣能夠舍棄大量的劣質(zhì)路徑，從而極大減少了需要搜索的空間，自我進化主要體現(xiàn)在評估棋面狀態(tài)越來越準(zhǔn)。而之所以能夠通過自我對弈產(chǎn)生大量訓(xùn)練數(shù)據(jù)，是因為下棋是個規(guī)則定義很清晰的任務(wù)，到了一定狀態(tài)就能夠贏或者輸，無非這種最終的贏或者輸來得晚一些，不是每一步落子就能看到的，現(xiàn)實生活中的任務(wù)是很難達(dá)到這一點的，這是為何很多任務(wù)仍然需要人類提供大量訓(xùn)練數(shù)據(jù)的原因。如果從這個角度考慮，就不會錯誤地產(chǎn)生以上的疑慮。

Alpha Zero相對AlphaGo Zero則更進一步，將只能讓機器下圍棋拓展到能夠進行規(guī)則定義清晰的更多棋類問題，使得這種技術(shù)往通用人工智能的路上邁出了重要一步。其技術(shù)手段和AlphaGo Zero基本是相同的，只是去除掉所有跟圍棋有關(guān)的一些處理措施和技術(shù)手段，只告訴機器游戲規(guī)則是什么，然后使用MCST樹搜索+深度神經(jīng)網(wǎng)絡(luò)并結(jié)合深度增強學(xué)習(xí)自我對弈的統(tǒng)一技術(shù)方案和訓(xùn)練手段解決一切棋類問題。

從AlphaGo的一步步進化策略可以看出，DeepMind正在考慮這套擴展技術(shù)方案的通用性，使得它能夠使用一套技術(shù)解決更多問題，尤其是那些非游戲類的真實生活中有現(xiàn)實價值的問題。同時，AlphaGo系列技術(shù)也向機器學(xué)習(xí)從業(yè)人員展示了深度增強學(xué)習(xí)的強大威力，并進一步推動了相關(guān)的技術(shù)進步，目前也可以看到深度增強學(xué)習(xí)在更多領(lǐng)域應(yīng)用的實例。

GAN：前景廣闊，理論與應(yīng)用極速發(fā)展中

GAN，全稱為Generative Adversarial Nets，直譯為“生成式對抗網(wǎng)絡(luò)”。GAN作為生成模型的代表，自2014年被Ian Goodfellow提出后引起了業(yè)界的廣泛關(guān)注并不斷涌現(xiàn)出新的改進模型，深度學(xué)習(xí)泰斗之一的Yann LeCun高度評價GAN是機器學(xué)習(xí)界近十年來最有意思的想法。

Ian Goodfellow提出的最初的GAN盡管從理論上證明了生成器和判別器在多輪對抗學(xué)習(xí)后能夠達(dá)到均衡態(tài)，使得生成器可以產(chǎn)生理想的圖像結(jié)果。但是實際上，GAN始終存在訓(xùn)練難、穩(wěn)定性差以及模型崩塌（Model Collapse）等問題。產(chǎn)生這種不匹配的根本原因其實還是對GAN背后產(chǎn)生作用的理論機制沒有探索清楚。

過去的一年在如何增加GAN訓(xùn)練的穩(wěn)定性及解決模型崩塌方面有了可喜的進展。GAN本質(zhì)上是通過生成器和判別器進行對抗訓(xùn)練，逼迫生成器在不知曉某個數(shù)據(jù)集合真實分布Pdata的情形下，通過不斷調(diào)整生成數(shù)據(jù)的分布Pθ去擬合逼近這個真實數(shù)據(jù)分布Pdata，所以計算當(dāng)前訓(xùn)練過程中兩個分布Pdata和Pθ的距離度量標(biāo)準(zhǔn)就很關(guān)鍵。

Wasserstein GAN的作者敏銳地指出了：原始GAN在計算兩個分布的距離時采用的是Jensen-Shannon Divergence（JSD），它本質(zhì)上是KL Divergence（KLD）的一個變種。JSD或者KLD存在一個問題：當(dāng)兩個分布交集很少時或者在低維流形空間下，判別器很容易找到一個判別面將生成的數(shù)據(jù)和真實數(shù)據(jù)區(qū)分開，這樣判別器就不能提供有效的梯度信息并反向傳導(dǎo)給生成器，生成器就很難訓(xùn)練下去，因為缺乏來自判別器指導(dǎo)的優(yōu)化目標(biāo)。Wasserstein GAN提出了使用Earth-Mover距離來代替JSD標(biāo)準(zhǔn)，這很大程度上改進了GAN的訓(xùn)練穩(wěn)定性。后續(xù)的Fisher GAN等模型又對Wasserstein GAN進行了進一步的改進，這些技術(shù)陸續(xù)改善了GAN的訓(xùn)練穩(wěn)定性。模型崩塌也是嚴(yán)重制約GAN效果的問題，它指的是生成器在訓(xùn)練好之后，只能產(chǎn)生固定幾個模式的圖片，而真實的數(shù)據(jù)分布空間其實是很大的，但是模型崩塌到這個空間的若干個點上。最近一年針對這個問題也提出了比如標(biāo)簽平滑、Mini-Batch判別器等啟發(fā)式方法來解決生成器模型崩塌的問題并取得了一定效果。

盡管在理論層面，針對GAN存在的問題，業(yè)界在2017年提出了不少改進方法，對于GAN的內(nèi)在工作機制也有了更深入的了解，但是很明顯目前仍然沒有理解其本質(zhì)工作機制，這塊還需要未來更有洞察力的工作來增進我們對GAN的理解。

圖2 使用CycleGAN將照片中的貓換成狗

GAN具備非常廣泛的應(yīng)用場景，比如圖像風(fēng)格轉(zhuǎn)換、超分辨率圖像構(gòu)建、自動黑白圖片上色、圖片實體屬性編輯（例如自動給人像增加胡子、切換頭發(fā)顏色等屬性變換），不同領(lǐng)域圖片之間的轉(zhuǎn)換（例如同一個場景春天的圖片自動轉(zhuǎn)換為秋天的圖片，或者白天景色自動轉(zhuǎn)換為夜間的景色），甚至是圖像實體的動態(tài)替換，比如把一幅圖片或者視頻中出現(xiàn)的貓換成狗（參考圖2）。

在推動GAN應(yīng)用方面，2017年有兩項技術(shù)是非常值得關(guān)注的。其中一個是CycleGAN，其本質(zhì)是利用對偶學(xué)習(xí)并結(jié)合GAN機制來優(yōu)化生成圖片的效果的，采取類似思想的包括DualGAN以及DiscoGAN等，包括后續(xù)的很多改進模型例如StarGAN等。CycleGAN的重要性主要在于使得GAN系列的模型不再局限于監(jiān)督學(xué)習(xí)，它引入了無監(jiān)督學(xué)習(xí)的方式，只要準(zhǔn)備兩個不同領(lǐng)域的圖片集合即可，不需要訓(xùn)練模型所需的兩個領(lǐng)域的圖片一一對應(yīng)，這樣極大擴展了它的使用范圍并降低了應(yīng)用的普及難度。

另外一項值得關(guān)注的技術(shù)是英偉達(dá)采取“漸進式生成”技術(shù)路線的GAN方案，這項方案的引人之處在于使得計算機可以生成1024*1024大小的高清圖片，它是目前無論圖像清晰度還是圖片生成質(zhì)量都達(dá)到最好效果的技術(shù)，其生成的明星圖片幾乎可以達(dá)到以假亂真的效果（參考圖3）。英偉達(dá)這項由粗到細(xì)，首先生成圖像的模糊輪廓，再逐步添加細(xì)節(jié)的思想其實并非特別新穎的思路，在之前的StackGAN等很多方案都采用了類似思想，它的獨特之處在于這種由粗到細(xì)的網(wǎng)絡(luò)結(jié)構(gòu)是動態(tài)生成的而非事先固定的靜態(tài)網(wǎng)絡(luò)，更關(guān)鍵的是產(chǎn)生的圖片效果特別好。

圖3 英偉達(dá)提出漸進生成式GAN產(chǎn)生的高清頭像圖片

總而言之，以GAN為代表的生成模型在2017年無論是理論基礎(chǔ)還是應(yīng)用實踐都產(chǎn)生了很大的技術(shù)進展，可以預(yù)計的是它會以越來越快的速度獲得研發(fā)人員的推動，并在不遠(yuǎn)的將來在各個需要創(chuàng)造性的領(lǐng)域獲得廣泛應(yīng)用。

Capsule：有望取代CNN的新結(jié)構(gòu)

Capsule今年才以論文的形式被人稱“深度學(xué)習(xí)教父”的Hinton老先生發(fā)表出來，而且論文一出來就成為研究人員關(guān)注的焦點，但是其實這個思想Hinton已經(jīng)深入思考了很久并且之前在各種場合宣傳過這種思路。Hinton一直對CNN中的Pooling操作意見很大，他曾經(jīng)吐槽說：“CNN中使用的Pooling操作是個大錯誤，事實上它在實際使用中效果還不錯，但這其實更是一場災(zāi)難”。那么，MaxPooling有什么問題值得Hinton對此深惡痛絕呢？參照圖4所示的例子可以看出其原因。

圖4 CNN圖像分類

在上面這張圖中，給出兩張人像照片，通過CNN給出照片所屬類別及其對應(yīng)的概率。第一張照片是一張正常的人臉照片，CNN能夠正確識別出是“人類”的類別并給出歸屬概率值0.88。第二張圖片把人臉中的嘴巴和眼睛對調(diào)了下位置，對于人來說不會認(rèn)為這是一張正常人的臉，但是CNN仍然識別為人類而且置信度不降反增為0.90。為什么會發(fā)生這種和人的直覺不符的現(xiàn)象？這個鍋還得MaxPooling來背，因為MaxPooling只對某個最強特征做出反應(yīng)，至于這個特征出現(xiàn)在哪里以及特征之間應(yīng)該維持什么樣的合理組合關(guān)系它并不關(guān)心，總而言之，它給CNN的“位置不變性”太大自由度，所以造成了以上不符合人類認(rèn)知的判斷結(jié)果。

在Capsule的方案中，CNN的卷積層保留，MaxPooling層被拿掉。這里需要強調(diào)的是，Capsule本身是一種技術(shù)框架，并不單單是具體的某項技術(shù)，Hinton論文給出的是最簡單的一種實現(xiàn)方法，完全可以在遵循其技術(shù)思路情況下創(chuàng)造全新的具體實現(xiàn)方法。

要理解Capsule的思路或者對其做一個新的技術(shù)實現(xiàn)其實也不困難，只要理解其中的幾個關(guān)鍵環(huán)節(jié)就能實現(xiàn)此目的。如果用一句話來說明其中的關(guān)鍵點的話，可以用“一個中心，兩個基本點”來概括。

這里的一個中心，指的是Capsule的核心目的是希望將“視角不變性”能力引入圖像處理系統(tǒng)中。所謂“視角不變性”，指的是當(dāng)我們給3D物體拍照片的時候，鏡頭所對的一定是物體的某個角度看上去的樣子，也就是2D照片反映3D物體一定是體現(xiàn)出了鏡頭和3D物體的某個視角角度，而不是360度的物體全貌。那么，要達(dá)到視角不變性，就是希望給定某個物體某個角度的2D照片，當(dāng)看到另外一張同一物體不同視角的2D照片時，希望CNN也能識別出其實這仍然是那個物體。這就是所謂的“視角不變性”（參照圖5，上下對應(yīng)的圖片代表同一物體的不同視角），這是傳統(tǒng)的CNN模型很難做好的事情。

圖5 視角不變性

至于說兩個基本點，首先第一個基本點是：用一維向量或者二維數(shù)組來表征一個物體或者物體的某個部件。傳統(tǒng)的CNN盡管也能用特征來表征物體或者物體的構(gòu)成部件，但是往往是通過不同層級的卷積層或者Pooling層的某個神經(jīng)元是否被激活來體現(xiàn)圖像中是否具備某個特征。Capsule則考慮用更多維的信息來記載并表征特征級別的物體，類似于自然語言處理中使用Word Embedding表征一個單詞的語義。這樣做的好處是描述物體的屬性可以更加細(xì)致，比如可以將物體的紋理、速度、方向等作為描述某個物體的具體屬性。

第二個基本點是：Capsule不同層間神經(jīng)元之間的動態(tài)路由機制，具體而言是低層神經(jīng)元向高層神經(jīng)元傳遞信息時的動態(tài)路由機制。低層特征向高層神經(jīng)元進行動態(tài)路由本質(zhì)上是要體現(xiàn)如下思想：構(gòu)成一個物體的組成部件之間會通過協(xié)同地相互加強的方式來體現(xiàn)這種“整體-組成部分”的關(guān)系，比如盡管圖片的視角發(fā)生了變換，但是對一個人臉來說，嘴和鼻子等構(gòu)成人臉的構(gòu)件會協(xié)同地發(fā)生類似的視角變換，它們?nèi)匀唤M合在一起構(gòu)成了從另外一個視角看過去的人臉。如果從本質(zhì)上來說，動態(tài)路由機制其實是組成一個物體的構(gòu)件之間的特征聚類，通過聚類的方式把屬于某個物體的組成部分動態(tài)地自動找出來，并建立特征的“整體-部分”的層級構(gòu)成關(guān)系（比如人臉是由鼻子、嘴、眼睛等部件構(gòu)成）。

以上所述的三個方面是深入理解Capsule的關(guān)鍵。Capsule的論文發(fā)出來后引發(fā)了大量的關(guān)注和討論，目前關(guān)于Capsule計算框架，大部分人持贊賞的態(tài)度，當(dāng)然也有一些研究人員提出了質(zhì)疑，比如論文中采用的MINST數(shù)據(jù)集規(guī)模小不夠復(fù)雜、Capsule的性能優(yōu)勢不明顯、消耗較多內(nèi)存計算速度慢等。但是無論這項新計算框架能否在未來取代CNN標(biāo)準(zhǔn)模型，抑或它很快會被人拋棄并遺忘，Hinton老先生這種老而彌堅的求真治學(xué)態(tài)度，以及勇于推翻自己構(gòu)建的技術(shù)體系的勇氣，這些是值得所有人敬佩和學(xué)習(xí)的。

CTR預(yù)估：向深度學(xué)習(xí)進行技術(shù)升級

CTR預(yù)估作為一個偏應(yīng)用的技術(shù)方向，對于互聯(lián)網(wǎng)公司而言應(yīng)該是最重要也最關(guān)注的方向之一。道理很簡單，目前大型互聯(lián)網(wǎng)公司絕大多數(shù)利潤都來源于此，因為這是計算廣告方向最主要的技術(shù)手段。從計算廣告的角度講，所謂CTR預(yù)估就是對于給定的用戶User，在特定的上下文Context下，如果展示給這個用戶某個廣告或者產(chǎn)品Product，估算用戶是否會點擊這個廣告或者是否會購買某個產(chǎn)品，即求點擊概率P(Click|User,Product,Context)。可以看到，這是個適用范圍很廣的技術(shù)，很多推薦場景以及包括目前比較火的信息流排序等場景都可以轉(zhuǎn)換為CTR預(yù)估問題。

CTR預(yù)估常用的技術(shù)手段包括演進路線一般是按照:“LR→GBDT等樹模型→FM因子分解機模型→深度學(xué)習(xí)”這個路徑來發(fā)展的。深度學(xué)習(xí)在圖像視頻、語音、自然語言處理等領(lǐng)域最近幾年獲得了飛速的進展，但是最近一兩年學(xué)術(shù)界才開始比較頻繁地陸續(xù)出現(xiàn)深度學(xué)習(xí)如何和CTR預(yù)估相結(jié)合的文章。Google最早在幾年前就開始研究這方面的內(nèi)容，之后國內(nèi)的大型互聯(lián)網(wǎng)公司也開始跟進。

CTR預(yù)估場景有自己獨特的應(yīng)用特點，而想要用深度學(xué)習(xí)解決CTR預(yù)估問題，必須考慮如何融入和體現(xiàn)這些特點。我們知道，DNN模型便于處理連續(xù)數(shù)值型特征，而圖像語音等天然滿足這一條件，但是CTR預(yù)估場景會包含大量的離散特征，比如一個人的性別、畢業(yè)學(xué)校等都屬于離散特征。所以用深度學(xué)習(xí)做CTR預(yù)估首先要解決的問題是如何表征離散特征，一種常見的方法是把離散特征轉(zhuǎn)換為Onehot表示，但是在大型互聯(lián)網(wǎng)公司應(yīng)用場景下，特征維度都是百億以上級別的，如果采用Onehot表征方式，意味著網(wǎng)絡(luò)模型會包含太多參數(shù)需要學(xué)習(xí)。所以目前主流的深度學(xué)習(xí)解決方案都采用將Onehot特征表示轉(zhuǎn)換為低維度實數(shù)向量（Dense Vector，類似于NLP中的Word Embedding）的思路，這樣可以大量降低參數(shù)規(guī)模。另外一個CTR關(guān)注的重心是如何進行自動特征組合的問題，因為好的特征組合對于性能影響非常關(guān)鍵，而深度學(xué)習(xí)天然具有端對端的優(yōu)勢，所以這是神經(jīng)網(wǎng)絡(luò)模型能夠自然發(fā)揮作用的地方，能夠無需人工介入自動找到好的特征組合，這一般體現(xiàn)在深度CTR模型的Deep網(wǎng)絡(luò)部分。

圖6 并行深度CTR網(wǎng)絡(luò)結(jié)構(gòu)

圖7 串行深度CTR網(wǎng)絡(luò)結(jié)構(gòu)

除了更早一些的流傳甚廣的Wide&Deep模型，最近一年出現(xiàn)了一些新的深度CTR模型，比如DeepFM、DeepCross、NFM模型等。這些模型其實如果仔細(xì)進行分析，會發(fā)現(xiàn)它們在網(wǎng)絡(luò)結(jié)構(gòu)上存在極大的相似性。除了在網(wǎng)絡(luò)結(jié)構(gòu)上體現(xiàn)上述的兩個特點：一個是Dense Vector表示離散特征，另外一個是利用Deep網(wǎng)絡(luò)對特征組合進行自動建模外。另外一個主流的特點是將低維特征組合和高維特征組合在網(wǎng)絡(luò)結(jié)構(gòu)上進行分離，Deep網(wǎng)絡(luò)體現(xiàn)高維度特征組合，而引入神經(jīng)網(wǎng)絡(luò)版本的FM模型來對兩兩特征組合進行建模。這三個網(wǎng)絡(luò)結(jié)構(gòu)特點基本囊括了目前所有深度CTR模型。圖6和圖7是兩種常見的深度CTR網(wǎng)絡(luò)結(jié)構(gòu)，目前所有模型基本都采用了其中之一種結(jié)構(gòu)。

計算機視覺：平穩(wěn)發(fā)展的一年

計算機視覺是AI領(lǐng)域最重要的研究方向之一，它本身又包含了諸多的研究子領(lǐng)域，包括物體分類與識別、目標(biāo)檢測與追蹤、語義分割、3D重建等一些基礎(chǔ)方向，也有超分辨率、圖片視頻描述、圖片著色、風(fēng)格遷移等偏應(yīng)用的方向。目前計算機視覺處理的主流技術(shù)中，深度學(xué)習(xí)已經(jīng)占據(jù)了絕對優(yōu)勢地位。

對于物體識別、目標(biāo)檢測與語義分割等基礎(chǔ)研究領(lǐng)域來說，F(xiàn)aster R-CNN、SSD、YOLO等技術(shù)仍然是業(yè)界最先進最主流的技術(shù)手段。在2017年新出現(xiàn)的重要技術(shù)中，F(xiàn)acebook的何愷明等提出的Mask R-CNN獲得ICCV2017的最佳論文，它通過對Faster R-CNN增加分支網(wǎng)絡(luò)的改進方式，同時完成了物體識別、目標(biāo)檢測與語義分割等基礎(chǔ)任務(wù)，這展示了使用同一套技術(shù)同時解決多個基礎(chǔ)領(lǐng)域問題的可能性，并會促進后續(xù)相關(guān)研究的繼續(xù)深入探索；而YOLO9000以及同樣是何愷明團隊在論文“Learning to Segment Every Thing”提出的MaskX R-CNN則體現(xiàn)了基礎(chǔ)領(lǐng)域的另外一個重要發(fā)展趨勢：嘗試通過技術(shù)手段自動識別出更多種類的物品，終極目標(biāo)是能夠識別任何物體。

目前MaskX R-CNN能夠識別超過3000種類別物體，而YOLO9000則能夠識別超過9000種物體類別。很明顯，目標(biāo)檢測要在各種現(xiàn)實領(lǐng)域大規(guī)模獲得使用，除了速度快、識別精準(zhǔn)外，能夠大量識別各種現(xiàn)實生活中各種各樣的物體類別也是至關(guān)重要的，而最近一年的研究在這方面產(chǎn)生了重要的進展。

從網(wǎng)絡(luò)模型結(jié)構(gòu)來說，2017年并未產(chǎn)生類似之前ResNet這種產(chǎn)生巨大影響的新模型，ResNet因為其明顯的性能優(yōu)勢已經(jīng)廣泛使用在視覺處理的各個子領(lǐng)域中。雖說DenseNet獲得了CVPR2017最佳論文，但它本質(zhì)上是對ResNet的改進模型，并非全新思路的新模型。

除了上述所說的視覺處理的基礎(chǔ)研究領(lǐng)域，如果對2017年的新技術(shù)進行歸納的話，在很多其他應(yīng)用領(lǐng)域也可以看到如下的一些明顯發(fā)展趨勢：

首先，增強學(xué)習(xí)與GAN等新技術(shù)開始被嘗試用來解決很多其它的圖像處理領(lǐng)域的問題并取得了一定進展，比如Image-Caption、超分辨率、3D重建等領(lǐng)域，開始嘗試引入這些新技術(shù)。另外，深度學(xué)習(xí)與傳統(tǒng)方法如何集成各自的優(yōu)點并深度融合也是最近一年來視覺處理的方向，深度學(xué)習(xí)技術(shù)具有性能優(yōu)異等優(yōu)點，但也存在黑箱不可解釋以及理論基礎(chǔ)薄弱等缺點，而傳統(tǒng)方法具備理論完備等優(yōu)勢，結(jié)合兩者來充分發(fā)揮各自優(yōu)勢克服自身缺點是很重要的。再次，弱監(jiān)督、自監(jiān)督或者無監(jiān)督的方法在各個領(lǐng)域也越來越重要，這是有現(xiàn)實需求的，深度學(xué)習(xí)雖然效果好，但是對于大量標(biāo)注訓(xùn)練數(shù)據(jù)是有要求的，而這又需要大量的標(biāo)注成本，在現(xiàn)實中往往不可行。而探索弱監(jiān)督、自監(jiān)督甚至無監(jiān)督的方法有助于更快促進各個領(lǐng)域研究的快速發(fā)展。

自然語言處理：進展相對緩慢，急需技術(shù)突破

自然語言處理也是人工智能的重要方向之一，最近兩年深度學(xué)習(xí)也已經(jīng)基本滲透到了自然語言處理的各個子領(lǐng)域并取得了一定進展，但是與深度學(xué)習(xí)在圖像、視頻、音頻、語音識別等領(lǐng)域取得的強勢進展相比，深度學(xué)習(xí)帶給自然語言處理的技術(shù)紅利相對有限，相比傳統(tǒng)方法而言，其效果并未取得壓倒性的優(yōu)勢。至于產(chǎn)生這種現(xiàn)象的原因其實是個值得深入探討的問題，關(guān)于其原因目前眾說紛紜，但并未有特別有說服力的解釋能夠被大多數(shù)人所接受。

與一年甚至兩年前相比，目前在自然語言處理領(lǐng)域應(yīng)用的最主流深度學(xué)習(xí)基本技術(shù)工具并未發(fā)生巨大變化，最主流的技術(shù)手段仍然是以下技術(shù)組合大禮包：Word Embedding、LSTM（包括GRU、雙向LSTM等）、Sequence to Sequence框架以及Attention注意力機制?？梢栽诖罅孔匀徽Z言處理子領(lǐng)域看到這些技術(shù)構(gòu)件的組合及其改進的變體模型。CNN在圖像領(lǐng)域占據(jù)壓倒性優(yōu)勢，但是自然語言處理領(lǐng)域仍然是RNN主導(dǎo)的局面，盡管Facebook一直大力倡導(dǎo)基于CNN模型來處理自然語言處理，除了在大規(guī)模分布式快速計算方面CNN確實相對RNN具備天然優(yōu)勢外，目前看不出其具備取代RNN主導(dǎo)地位的其它獨特優(yōu)勢。

最近一年深度學(xué)習(xí)在自然語言處理領(lǐng)域應(yīng)用有以下幾個值得關(guān)注的發(fā)展趨勢。首先，無監(jiān)督模型與Sequence to Sequence任務(wù)的融合是個很重要的進展和發(fā)展方向，比如ICLR 2018提交的論文“Unsupervised Machine Translation Using Monolingual Corpora Only”作為代表的技術(shù)思路，它使用非對齊的雙語訓(xùn)練語料集合訓(xùn)練機器翻譯系統(tǒng)并達(dá)到了較好的效果。這種技術(shù)思路本質(zhì)上是和CycleGAN非常類似的，相信這種無監(jiān)督模型的思路在2018年會有大量的跟進研究。其次，增強學(xué)習(xí)以及GAN等最近兩年比較熱門的技術(shù)如何和NLP進行結(jié)合并真正發(fā)揮作用是個比較有前景的方向，最近一年開始出現(xiàn)這方面的探索并取得了一定進展，但是很明顯這條路還沒有走通，這塊值得繼續(xù)進行深入探索。再次，Attention注意力機制進一步廣泛使用并引入更多變體，比如Self Attention以及層級Attention等，從Google做機器翻譯的新論文“Attention is all you need”的技術(shù)思路可以明顯體會這個趨勢。另外，如何將一些先驗知識或者語言學(xué)相關(guān)的領(lǐng)域知識和神經(jīng)網(wǎng)絡(luò)進行融合是個比較流行的研究趨勢，比如將句子的句法結(jié)構(gòu)等信息明確引入Sequence to Sequence框架中等。除此外，神經(jīng)網(wǎng)絡(luò)的可解釋性也是一個研究熱點，不過這一點不僅僅局限在NLP領(lǐng)域，在整個深度學(xué)習(xí)領(lǐng)域范圍也是非常關(guān)注的研究趨勢。

本文選擇了若干具有較高關(guān)注度的AI技術(shù)領(lǐng)域來闡述最近一年來該領(lǐng)域的重要技術(shù)進展，受作者能力以及平常主要關(guān)注領(lǐng)域的限制，難免掛一漏萬，很多方面的重要技術(shù)進展并未列在文中，比如Google在力推的TPU為代表的AI芯片技術(shù)的快速發(fā)展，讓機器自動學(xué)習(xí)設(shè)計神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)為代表的“學(xué)習(xí)一切”以及解決神經(jīng)網(wǎng)絡(luò)黑箱問題的可解釋性等很多重要領(lǐng)域的進展都未能在文中提及或展開，這些都是非常值得關(guān)注的AI技術(shù)發(fā)展方向。

過去的一年AI很多領(lǐng)域發(fā)生了重大的技術(shù)進展，也有不少領(lǐng)域前進步伐緩慢，但是不論如何，本文作者相信AI在未來的若干年內(nèi)會在很多領(lǐng)域產(chǎn)生顛覆目前人類想象力的技術(shù)進步，讓我們期待這一天早日到來！