導(dǎo)語(yǔ)：

記得前些年在買火車票時(shí)，還得玩?zhèn)€“大家來(lái)找茬”的驗(yàn)證碼游戲，比如讓你找出孫楠、楊臣剛、王大冶中的某一位，這對(duì)于那些臉盲患者而言，無(wú)疑是崩潰的。

當(dāng)然了，撞臉這事可不是娛樂(lè)圈獨(dú)有的，在AI界也有很多“長(zhǎng)相相似”的專有名詞，比如我們今天要說(shuō)的“三胞胎”DNN（深度神經(jīng)網(wǎng)絡(luò)）、CNN（卷積神經(jīng)網(wǎng)絡(luò)）、RNN（遞歸神經(jīng)網(wǎng)絡(luò)），就讓許許多多的AI初學(xué)者們傻傻分不清楚。

而今天，就讓我們一起擦亮眼睛，好好的把它們給區(qū)分出來(lái)！

什么是神經(jīng)網(wǎng)絡(luò)？

DNN（深度神經(jīng)網(wǎng)絡(luò)）、CNN（卷積神經(jīng)網(wǎng)絡(luò)）、RNN（遞歸神經(jīng)網(wǎng)絡(luò)）都屬于第三代神經(jīng)網(wǎng)絡(luò)，在認(rèn)識(shí)它們之前，讓我們簡(jiǎn)單了解下，第一代和第二代神經(jīng)網(wǎng)絡(luò)是什么樣子的。

第一代神經(jīng)網(wǎng)絡(luò)又稱為感知機(jī)，在上世紀(jì)五、六十年代被提出來(lái)，感知機(jī)屬于二分類的線性分類模型，其輸入為實(shí)例的特征向量，輸出為實(shí)例的類別（取+1和-1），即只能做到線性的區(qū)分工作（一分為二），不能解決重疊不可分的問(wèn)題，對(duì)稍微復(fù)雜一些的函數(shù)就無(wú)能為力。

為了解決第一代神經(jīng)網(wǎng)絡(luò)的缺陷，在1980年左右Rumelhart、Williams、Hinton、LeCun等人提出第二代神經(jīng)網(wǎng)絡(luò)多層感知器（MLP）。MLP可以看成一個(gè)輸入層由學(xué)習(xí)到的非線性轉(zhuǎn)化phi進(jìn)行轉(zhuǎn)化的邏輯回歸分類器。這種轉(zhuǎn)化將輸入數(shù)據(jù)投影到線性可分空間，這個(gè)中間層被稱為隱藏層。

第二代神經(jīng)網(wǎng)絡(luò)讓科學(xué)家們發(fā)現(xiàn)神經(jīng)網(wǎng)絡(luò)的層數(shù)直接決定了它對(duì)現(xiàn)實(shí)的表達(dá)能力，但是隨著層數(shù)的增加，優(yōu)化函數(shù)愈發(fā)容易出現(xiàn)局部最優(yōu)解的現(xiàn)象，由于存在梯度消失的問(wèn)題（在神經(jīng)網(wǎng)絡(luò)中，隨著隱藏層數(shù)目的增加，分類準(zhǔn)確率反而會(huì)降低的現(xiàn)象，被稱為消失的梯度問(wèn)題），深層網(wǎng)絡(luò)往往難以訓(xùn)練，效果還不如淺層網(wǎng)絡(luò)。

2006年，Hinton利用預(yù)訓(xùn)練方法緩解了梯度消失的問(wèn)題，使得深度神經(jīng)網(wǎng)絡(luò)變得可訓(xùn)練，將隱含層發(fā)展到7層，神經(jīng)網(wǎng)絡(luò)真正意義上有了“深度”，由此揭開(kāi)了深度學(xué)習(xí)的浪潮，第三代神經(jīng)網(wǎng)絡(luò)開(kāi)始正式興起。

第三代深度神經(jīng)網(wǎng)絡(luò)最常用的三大算法

DNN：深度神經(jīng)網(wǎng)絡(luò)

從結(jié)構(gòu)上來(lái)說(shuō)，DNN和傳統(tǒng)意義上的NN（神經(jīng)網(wǎng)絡(luò)）并無(wú)太大區(qū)別，最大的不同是層數(shù)增多了，并解決了模型可訓(xùn)練的問(wèn)題。

簡(jiǎn)言之，DNN比NN多了一些隱層，但這些隱層的作用是巨大的，帶來(lái)的效果是非常顯著和神奇的。

DNN中的“deep”意為深度，但深度學(xué)習(xí)中深度沒(méi)有固定的定義或者衡量標(biāo)準(zhǔn)，不同問(wèn)題的解決所需要的隱含層數(shù)自然也是不相同的，就大家比較熟識(shí)的語(yǔ)音識(shí)別來(lái)說(shuō)，解決問(wèn)題可能4層就夠了，但一般圖像識(shí)別需要達(dá)到20多層才能夠解決問(wèn)題。

DNN最大的問(wèn)題是只能看到預(yù)先設(shè)定長(zhǎng)度的數(shù)據(jù)，對(duì)于語(yǔ)音和語(yǔ)言等前后相關(guān)的時(shí)序信號(hào)的表達(dá)能力還是有限的。

CNN：卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)主要是模擬人的視覺(jué)神經(jīng)系統(tǒng)提出來(lái)的。

以CNN做人臉識(shí)別任務(wù)為例，先得到一些像素信息，再往上層得到一些邊界信息，然后再往上提取就是一些人臉的部件信息，包括眼睛、耳朵、眉毛嘴巴等，最后是人臉識(shí)別，這整個(gè)過(guò)程和人的視覺(jué)神經(jīng)系統(tǒng)是非常相似的。

對(duì)于CNN來(lái)說(shuō)，并不是所有上下層神經(jīng)單元都直接相連，而是通過(guò)“卷積核”作為中介。同一個(gè)卷積核在所有圖像內(nèi)是共享的，圖像通過(guò)卷積操作后仍然保留原有的位置關(guān)系。

每次卷積操作就會(huì)產(chǎn)生多個(gè)通道的“圖像”，每幅“圖像”都是對(duì)原始圖像不同特征的響應(yīng)，并按照這樣的結(jié)構(gòu)繼續(xù)傳遞下去。

RNN：遞歸神經(jīng)網(wǎng)絡(luò)

在普通的全連接神經(jīng)網(wǎng)絡(luò)或卷積神經(jīng)網(wǎng)絡(luò)中，每層神經(jīng)元的信號(hào)只能向上一層傳播，樣本的處理在各個(gè)時(shí)刻獨(dú)立，無(wú)法對(duì)時(shí)間序列上的變化進(jìn)行建模。然而，樣本出現(xiàn)的時(shí)間順序?qū)τ谧匀徽Z(yǔ)言處理、語(yǔ)音識(shí)別、手寫體識(shí)別等應(yīng)用非常重要，為了應(yīng)對(duì)這種需求，業(yè)內(nèi)提出了遞歸神經(jīng)網(wǎng)絡(luò)RNN。

在RNN中，神經(jīng)元的輸出可以在下一時(shí)間段直接作用到本身。換句話說(shuō)，就是遞歸神經(jīng)網(wǎng)絡(luò)的隱層不但可以接收到上一層的輸入，也可以得到上一時(shí)刻當(dāng)前隱層的輸入。

這一個(gè)變化的重要意義就在于使得神經(jīng)網(wǎng)絡(luò)具備了歷史記憶的功能，原則上它可以看到無(wú)窮長(zhǎng)的歷史信息，這非常適合于像語(yǔ)音語(yǔ)言這種具有長(zhǎng)時(shí)相關(guān)性的任務(wù)。

結(jié)語(yǔ)：

相信看到這里大家應(yīng)該對(duì)DNN、CNN、RNN有了一個(gè)大致的了解。雖然他們各有特點(diǎn)，各有不同，但他們?cè)趯?shí)際應(yīng)用中常常都是混合使用的。值得期待的是，隨著人工智能的不斷發(fā)展，更多的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)將被發(fā)展應(yīng)用起來(lái)！