深度學(xué)習(xí)是多層神經(jīng)網(wǎng)絡(luò)運用各種學(xué)習(xí)算法解決圖像、文本等相關(guān)問題的算法合集。卷積神經(jīng)網(wǎng)絡(luò)作為深度學(xué)習(xí)的重要算法，尤其擅長圖像處理領(lǐng)域。卷積神經(jīng)網(wǎng)絡(luò)通過卷積核來提取圖像的各種特征，通過權(quán)值共享和池化極大降低了網(wǎng)絡(luò)需要訓(xùn)練的數(shù)量級。本文以MINST手寫體數(shù)據(jù)庫為訓(xùn)練樣本，討論卷積神經(jīng)網(wǎng)絡(luò)的權(quán)值反向傳播機制和MATLAB的實現(xiàn)方法；對激活函數(shù)tanh和relu梯度消失問題進行分析和優(yōu)化，對改進后的激活函數(shù)進行訓(xùn)練，得出最優(yōu)的修正參數(shù)和學(xué)習(xí)速率。

　　卷積神經(jīng)網(wǎng)絡(luò)最早是由Yann Lecun 提出用于手寫數(shù)字識別，近年來在語音識別，自然語言處理等方面，均取得重大突破。卷積神經(jīng)網(wǎng)絡(luò)在傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，最重要的改進是局部感知、權(quán)值共享，卷積神經(jīng)網(wǎng)絡(luò)中的卷積層有若干個特征地圖（Feature Map）構(gòu)成［2］。每個feature map由若干神經(jīng)元組成，代表著提取出的圖像特征，這些神經(jīng)元通過同一個卷積核（權(quán)值）去卷積圖像而獲得，即這些同一個feature map共享同一組權(quán)值，權(quán)值共享機制大大減少了神經(jīng)網(wǎng)絡(luò)需要訓(xùn)練的參數(shù)量級，例如識別一個1000 × 1000的圖像，假設(shè)隱藏層有1 M即106個神經(jīng)元，那么傳統(tǒng)神經(jīng)網(wǎng)絡(luò)采用全連接方式需要訓(xùn)練的參數(shù)個數(shù)為106 × 1000 × 1000，即1012 （2 G）個參數(shù)，顯然這個計算數(shù)量級非常龐大。而采用卷積神經(jīng)網(wǎng)絡(luò)，假設(shè)同樣設(shè)置隱藏層有1 M個神經(jīng)元，每個神經(jīng)元采用10 × 10大小卷積核去感知圖像的固定區(qū)域，那么這種方式需要訓(xùn)練的參數(shù)為106 × 10 × 10，即108 （100 M）個參數(shù)，卷積神經(jīng)網(wǎng)絡(luò)局部連接的算法，一方面降低了需要訓(xùn)練的參數(shù)量級，另一方更符合人類神經(jīng)對于圖像的認知，即先感知局部，再到全局