增強學(xué)習(xí)（reinforcement learning）——讓機器觀測到一些輸入，并讓機器根據(jù)輸入做特定動作（action）。這些動作導(dǎo)致機器獲得收益或者懲罰（reward）。機器通過增強學(xué)習(xí)優(yōu)化它的動作策略（strategy），使得它的長期收益最大化。下棋就是這一類典型的問題，strategy就是行棋策略，reward就是贏棋。

深度學(xué)習(xí)（deep learning）——事實上不是一類問題，而只是一種方法，一種通過多層神經(jīng)網(wǎng)絡(luò)來構(gòu)建上述三種問題所需要的模型的方法。

回到歷史。這一波的AI熱，最早應(yīng)歸功于Hinton老頭子的文章《A fast learning algorithm for deep belief nets》這篇文章是2005年寫的，截至2017年1月14日已有5000＋的引用，足見其影響力）這篇文章實際上是用一種無監(jiān)督學(xué)習(xí)的方法實現(xiàn)了對原始數(shù)據(jù)逐層抽取深度特征，而這些深度特征可以被用為有監(jiān)督學(xué)習(xí)的特征來提高有監(jiān)督學(xué)習(xí)的準確率。這解決了長久以來神經(jīng)網(wǎng)絡(luò)“無法做深”的痛點（原因是訓(xùn)練信號會隨著深度增加而被稀釋，有興趣的讀者可查閱相關(guān)資料），算是一個比較大的貢獻。不過當時這個文章傳達的大方向是用無監(jiān)督學(xué)習(xí)的方法抽取特征（這個過程叫做pre－training），并沒有把重點放在有監(jiān)督學(xué)習(xí)本身的模型上，所以當時的同學(xué)們對于有監(jiān)督／無監(jiān)督在方向選擇上是有點迷茫的。

這種迷茫直到2012年還存在。這一年的一件大事是Andrew NG等人的Google Brain團隊，搞了一個龐大的分布式深度學(xué)習(xí)，在ImageNet圖片物體分類競賽中把對手遠遠甩在了身后（《Building High－level Features Using Large Scale Unsupervised Learning》）前面已經(jīng)說過，物體分類是一個有監(jiān)督學(xué)習(xí)任務(wù)，但是由于Hinton老爺子定下的無監(jiān)督學(xué)習(xí)基調(diào)，Andrew NG等人還是把重心放在了無監(jiān)督學(xué)習(xí)生成特征上面，并且做出了那幅著名的“機器學(xué)習(xí)出來的貓”。有趣的是，在2012年的NIPS上，Hinton和NG的團隊同時放棄了pre－training。失去了pre－training的幫助，就需要其他方法解決訓(xùn)練信號被稀釋的問題，Hinton團隊的方法是換了一種叫做ReLU的激活函數(shù)（ 《ImageNet Classification with Deep Convolutional Neural Networks》），NG團隊的方法則是懟機器，大量的機器（《Large Scale Distributed Deep Networks》）。Hinton團隊同時還拋出了CNN應(yīng)用到ImageNet上的表現(xiàn)，CNN和ReLU這兩個東西非常重要，成為此后深度學(xué)習(xí)研究的標配。結(jié)果Hinton團隊這篇文章的引用數(shù)有8000多，而NG團隊的兩篇分別是700多和1000多。NG的營銷能力強，學(xué)術(shù)創(chuàng)新上卻總是比Hinton老爺子慢半拍。Anyway，自從12年NIPS這兩篇文章之后的一段時間，大家對無監(jiān)督學(xué)習(xí)就不怎么感冒了。

2012年Andrew NG團隊無監(jiān)督學(xué)習(xí)生成的貓臉圖片。圖片來源：New York Times

也是從2012年的ImageNet競賽開始，AI進入第一個營銷高潮。當時的人們對于計算機識別小貓小狗這種事情還覺得很新鮮，于是接下來科研圈的開始對此類事情趨之若鶩。幾乎每個做機器學(xué)習(xí)的實驗室都會嘗試一把在State－of－the－art的模型上做一點哪怕是很小的微創(chuàng)新，希望能產(chǎn)生ImageNet準確率上一點哪怕是很小的提升，一旦成功了，就可以說自己是新的State－of－the－art。從那以后，大家開始只關(guān)心實驗的準確率，越來越少的人關(guān)心模型本身的理論價值。AI研究的方法論，從傳統(tǒng)科學(xué)的重視推理論證，變成了快速嘗試＋總結(jié)相關(guān)性（也就是所謂的“大數(shù)據(jù)思維”）。畢竟準確率數(shù)字是很好拿出去說的，理論價值卻很難講清楚。 AI自此進入營銷時代。

在AI學(xué)術(shù)界這一翻天覆地的變化背后，Andrew NG功不可沒。深度學(xué)習(xí)理論上的重要突破大多都不是歸屬于他的，然而他做了幾件重要的事情：2008年發(fā)起“Stanford Engineering Everywhere”（SEE）項目，把自己的機器學(xué)習(xí)課程曝光給全世界人民；2011年組建了Google Brain項目，這個項目初期的最主要產(chǎn)出之一就是后來被媒體大書特書的那張無監(jiān)督學(xué)習(xí)出來的貓臉，并且這個結(jié)果在報道的時候給人一種“機器有了自主學(xué)習(xí)能力”的認知；2012年創(chuàng)立Coursera，在MOOC社區(qū)中進一步營造出一種AI大繁榮的景象。NG大概是這幾年媒體出鏡率最高的AI學(xué)術(shù)圈人士。與其說是一位科學(xué)家，Andrew NG的角色更像是一位優(yōu)秀的AI產(chǎn)品經(jīng)理及營銷人員，他的營銷能力在圈內(nèi)早已得到公認。關(guān)于NG的營銷能力，在NIPS 2016會議上還有一個有趣的小細節(jié)，將會在后面提到。

回到我們的時間線，鑒于2012年底深度學(xué)習(xí)在有監(jiān)督學(xué)習(xí)上的巨大成功，一段時間內(nèi)大家忙于把這項技術(shù)推廣到各個應(yīng)用領(lǐng)域跑馬圈地（其實主要還是圖像和語音），暫時忘掉了無監(jiān)督學(xué)習(xí)和生成貓臉的事情。到了2014年，當各個領(lǐng)域都被圈的差不多了，學(xué)術(shù)界在苦苦尋找下一個噱頭的時候，大神Ian Goodfellow通過一個叫做“干”的東西（GAN，Generative Adversarial Network）把無監(jiān)督學(xué)習(xí)重新帶回了人們的視線。“干”干的就是“給計算機看一些小狗小貓的照片，讓計算機自動生成一些新的（與看過的相似但又不同的）小狗小貓的照片”這樣一件事情，不同點在于，它干的非常不錯。一時間，AI學(xué)術(shù)界迅速高潮了，紛紛競爭起生成圖片（以及語音、音樂等各種其他東西）的生意來。大家也并不關(guān)心我們?yōu)槭裁葱枰蛇@些圖片（相比之下語音合成和自動生成音樂反而更容易理解一些），大概只是覺得“能干這件事情看起來就很牛逼”，于是就做了，而且做的越來越好。下圖是Ian Goodfellow在NIPS 2016上講GAN的Tutorial里展示的一個生成小動物的demo（《NIPS 2016 Tutorial： Generative Adversarial Networks》）。

GAN生成的小動物圖片。圖片來源：Ian Goodfellow， NIPS 2016 Tutorial： Generative Adversarial

與此同時，DeepMind在增強學(xué)習(xí)上的努力，則一直在相對低調(diào)地進行。增強學(xué)習(xí)在很長一段時間內(nèi)被認為是“僅停留在學(xué)術(shù)研究”的存在，因其難以降下來的巨大狀態(tài)空間和動作空間，很難做出一個可展示又足夠吸引吃瓜群眾的demo。因而在AlphaGo誕生之前，增強學(xué)習(xí)的研究一直處于一個不溫不火的狀態(tài)。一個叫做“DQN”的東西的出現(xiàn)打破了這個局面。通過把深度學(xué)習(xí)應(yīng)用在strategy的學(xué)習(xí)更新上，巧妙避開大狀態(tài)空間和動作空間，DQN使得在一個相對小的多的參數(shù)空間內(nèi)訓(xùn)練成為可能（《Playing Atari with Deep Reinforcement Learning》）。這是一個了不起的成就，為后來的AlphaGo奠定了基礎(chǔ)。這個偉大想法產(chǎn)生的時間在2013年以前（前述文章在2013年發(fā)表），而直到2015年AlphaGo問世之后才被廣為傳頌?？梢娨粋€漂亮的demo是多么重要。

再然后，就是大家都知道的事情了。