第0層是輸入層,最后一層是輸出層,中間是中間層或隱藏層。上圖中的網(wǎng)絡(luò)有3層神經(jīng)元,實(shí)質(zhì)只有兩層有權(quán)重,因此稱為兩層網(wǎng)絡(luò)。
1、激活函數(shù)
感知器:y=0(b+w1x1+w2x2<=0)或y=1(b+w1x1+w2x2>0)改寫為
y=h(b+w1x1+w2x2),h(x)=0(x<=0)或h(x)=1(x>0)
激活函數(shù)h(x):將輸入信號的總和轉(zhuǎn)換為輸出信號的表達(dá)式,決定如何激活輸入信號的總和。
上式中的激活函數(shù)是階躍函數(shù),只能返回0或1,而神經(jīng)網(wǎng)絡(luò)中的激活函數(shù)常用的是sigmoid函數(shù)和ReLU函數(shù)。
1'sigmoid函數(shù)
h(x)=1/(1+exp(-x))
和階躍函數(shù)的對比:sigmoid是平滑的函數(shù),輸出隨輸入發(fā)生連續(xù)的變化,因此可以返回0-1之間的實(shí)數(shù)。
和階躍函數(shù)的相同點(diǎn):輸入小時,輸出接近0,輸入增大時輸出向1靠近,即當(dāng)輸入信號為重要信息時,都會輸出較大值,且兩者輸出都在0-1之間。
2'ReLU函數(shù)
h(x)=x(x>0);h(x)=0(x<=0)
輸入大于0時直接輸出,輸入小于0時輸出0
總結(jié):激活函數(shù)只能為非線性函數(shù),因?yàn)榫€性函數(shù)的問題是多個隱藏層可以用一個隱藏層實(shí)現(xiàn)。例如h(x)=cx作為激活函數(shù),y(x)=h(h(h(x)))對應(yīng)的三層神經(jīng)網(wǎng)絡(luò)可以用一層表示y(x)=c^3x。如果要用疊加層則必須使用非線性函數(shù)。
-
神經(jīng)網(wǎng)絡(luò)
+關(guān)注
關(guān)注
42文章
4783瀏覽量
101236 -
網(wǎng)絡(luò)
+關(guān)注
關(guān)注
14文章
7600瀏覽量
89304 -
函數(shù)
+關(guān)注
關(guān)注
3文章
4346瀏覽量
63020 -
感知器
+關(guān)注
關(guān)注
0文章
34瀏覽量
11865 -
深度學(xué)習(xí)
+關(guān)注
關(guān)注
73文章
5518瀏覽量
121604
發(fā)布評論請先 登錄
相關(guān)推薦
單片機(jī)基礎(chǔ)知識學(xué)習(xí)筆記分享
通信基礎(chǔ)知識教程
FPGA開發(fā)經(jīng)驗(yàn)與技巧_基礎(chǔ)知識學(xué)習(xí)篇(1)
使用Eclipse基礎(chǔ)知識
Verilog_HDL基礎(chǔ)知識非常好的學(xué)習(xí)教程 (1)
學(xué)習(xí)PLC必備四方面基礎(chǔ)知識
機(jī)器學(xué)習(xí)的基礎(chǔ)知識詳細(xì)說明
![機(jī)器<b class='flag-5'>學(xué)習(xí)</b>的<b class='flag-5'>基礎(chǔ)知識</b>詳細(xì)說明](https://file.elecfans.com/web1/M00/B8/E4/pIYBAF55Y0qANF1tAADBv5QpDMI712.png)
直流穩(wěn)壓電路的基礎(chǔ)知識學(xué)習(xí)課件免費(fèi)下載
![直流穩(wěn)壓電路的<b class='flag-5'>基礎(chǔ)知識</b><b class='flag-5'>學(xué)習(xí)</b>課件免費(fèi)下載](https://file.elecfans.com/web1/M00/DD/EA/o4YBAGAYzxiAfZosAALa9Z0qP1s212.png)
了解一下機(jī)器學(xué)習(xí)中的基礎(chǔ)知識
51單片機(jī)學(xué)習(xí) 基礎(chǔ)知識總結(jié)
![51單片機(jī)<b class='flag-5'>學(xué)習(xí)</b> <b class='flag-5'>基礎(chǔ)知識</b>總結(jié)](https://file.elecfans.com/web1/M00/D9/4E/pIYBAF_1ac2Ac0EEAABDkS1IP1s689.png)
單片機(jī)基礎(chǔ)知識學(xué)習(xí)筆記
![單片機(jī)<b class='flag-5'>基礎(chǔ)知識</b><b class='flag-5'>學(xué)習(xí)</b>筆記](https://file.elecfans.com/web1/M00/D9/4E/pIYBAF_1ac2Ac0EEAABDkS1IP1s689.png)
評論