摘要：什么是激活函數(shù)，它在神經(jīng)網(wǎng)絡(luò)模型中是如何使用的激活函數(shù)對(duì)于人工神經(jīng)網(wǎng)絡(luò)模型去學(xué)習(xí)理解非常復(fù)雜和非線性的函數(shù)來(lái)說(shuō)具有十分重要的作用。線性函數(shù)一個(gè)一級(jí)多項(xiàng)式。

什么是人工神經(jīng)網(wǎng)絡(luò)？

現(xiàn)在，我相信我們大家都很熟悉什么是A-NN了，但接下來(lái)請(qǐng)?jiān)试S我按照自己的理解給A-NN下個(gè)定義——它是一個(gè)強(qiáng)健有力的，同時(shí)也非常復(fù)雜的機(jī)器學(xué)習(xí)技術(shù)，它可以模仿人類(lèi)的大腦，繼而模仿大腦的運(yùn)作。

正如我們的人腦一樣，在一個(gè)層次上和神經(jīng)元網(wǎng)絡(luò)中有數(shù)百萬(wàn)個(gè)神經(jīng)元，這些神經(jīng)元通過(guò)一種稱(chēng)之為synapses（突觸）的結(jié)構(gòu)彼此緊緊相連。它可以通過(guò) Axons（軸突），將電信號(hào)從一個(gè)層傳遞到另一個(gè)層。這就是我們?nèi)祟?lèi)學(xué)習(xí)事物的方式。 每當(dāng)我們看到、聽(tīng)到、感覺(jué)和思考時(shí)，一個(gè)突觸（電脈沖）從層次結(jié)構(gòu)中的一個(gè)神經(jīng)元被發(fā)射到另一個(gè)神經(jīng)元，這使我們能夠從我們出生的那一天起，就開(kāi)始學(xué)習(xí)、記住和回憶我們?nèi)粘Ｉ钪械臇|西。

好的，接下來(lái)我保證大家看到的不再是生物學(xué)領(lǐng)域的知識(shí)了。

什么是激活函數(shù)，它在神經(jīng)網(wǎng)絡(luò)模型中是如何使用的？

激活函數(shù)（Activation functions）對(duì)于人工神經(jīng)網(wǎng)絡(luò)模型去學(xué)習(xí)、理解非常復(fù)雜和非線性的函數(shù)來(lái)說(shuō)具有十分重要的作用。它們將非線性特性引入到我們的網(wǎng)絡(luò)中。其主要目的是將A-NN模型中一個(gè)節(jié)點(diǎn)的輸入信號(hào)轉(zhuǎn)換成一個(gè)輸出信號(hào)。該輸出信號(hào)現(xiàn)在被用作堆疊中下一個(gè)層的輸入。

而在A-NN中的具體操作是這樣的，我們做輸入（X）和它們對(duì)應(yīng)的權(quán)重（W）的乘積之和，并將激活函數(shù)f（x）應(yīng)用于其獲取該層的輸出并將其作為輸入饋送到下一個(gè)層。

問(wèn)題是，為什么我們不能在不激活輸入信號(hào)的情況下完成此操作呢？

如果我們不運(yùn)用激活函數(shù)的話(huà)，則輸出信號(hào)將僅僅是一個(gè)簡(jiǎn)單的線性函數(shù)。線性函數(shù)一個(gè)一級(jí)多項(xiàng)式?，F(xiàn)如今，線性方程是很容易解決的，但是它們的復(fù)雜性有限，并且從數(shù)據(jù)中學(xué)習(xí)復(fù)雜函數(shù)映射的能力更小。一個(gè)沒(méi)有激活函數(shù)的神經(jīng)網(wǎng)絡(luò)將只不過(guò)是一個(gè)線性回歸模型（Linear regression Model）罷了，它功率有限，并且大多數(shù)情況下執(zhí)行得并不好。我們希望我們的神經(jīng)網(wǎng)絡(luò)不僅僅可以學(xué)習(xí)和計(jì)算線性函數(shù)，而且還要比這復(fù)雜得多。同樣是因?yàn)闆](méi)有激活函數(shù)，我們的神經(jīng)網(wǎng)絡(luò)將無(wú)法學(xué)習(xí)和模擬其他復(fù)雜類(lèi)型的數(shù)據(jù)，例如圖像、視頻、音頻、語(yǔ)音等。這就是為什么我們要使用人工神經(jīng)網(wǎng)絡(luò)技術(shù)，諸如深度學(xué)習(xí)（Deep learning），來(lái)理解一些復(fù)雜的事情，一些相互之間具有很多隱藏層的非線性問(wèn)題，而這也可以幫助我們了解復(fù)雜的數(shù)據(jù)。

那么為什么我們需要非線性函數(shù)？

非線性函數(shù)是那些一級(jí)以上的函數(shù)，而且當(dāng)繪制非線性函數(shù)時(shí)它們具有曲率?，F(xiàn)在我們需要一個(gè)可以學(xué)習(xí)和表示幾乎任何東西的神經(jīng)網(wǎng)絡(luò)模型，以及可以將輸入映射到輸出的任意復(fù)雜函數(shù)。神經(jīng)網(wǎng)絡(luò)被認(rèn)為是通用函數(shù)近似器（Universal Function Approximators）。這意味著他們可以計(jì)算和學(xué)習(xí)任何函數(shù)。幾乎我們可以想到的任何過(guò)程都可以表示為神經(jīng)網(wǎng)絡(luò)中的函數(shù)計(jì)算。

而這一切都?xì)w結(jié)于這一點(diǎn)，我們需要應(yīng)用激活函數(shù)f（x），以便使網(wǎng)絡(luò)更加強(qiáng)大，增加它的能力，使它可以學(xué)習(xí)復(fù)雜的事物，復(fù)雜的表單數(shù)據(jù)，以及表示輸入輸出之間非線性的復(fù)雜的任意函數(shù)映射。因此，使用非線性激活函數(shù)，我們便能夠從輸入輸出之間生成非線性映射。

激活函數(shù)的另一個(gè)重要特征是：它應(yīng)該是可以區(qū)分的。我們需要這樣做，以便在網(wǎng)絡(luò)中向后推進(jìn)以計(jì)算相對(duì)于權(quán)重的誤差（丟失）梯度時(shí)執(zhí)行反向優(yōu)化策略，然后相應(yīng)地使用梯度下降或任何其他優(yōu)化技術(shù)優(yōu)化權(quán)重以減少誤差。

只要永遠(yuǎn)記住要做：

“輸入時(shí)間權(quán)重，添加偏差和激活函數(shù)”

最流行的激活函數(shù)類(lèi)型

1.Sigmoid函數(shù)或者Logistic函數(shù)

2.Tanh?—?Hyperbolic tangent（雙曲正切函數(shù)）

3.ReLu -Rectified linear units（線性修正單元）

Sigmoid激活函數(shù)：它是一個(gè)f（x）= 1/1 + exp（-x）形式的激活函數(shù)。它的值區(qū)間在0和1之間，是一個(gè)S形曲線。它很容易理解和應(yīng)用，但使其不受歡迎的主要原因是：

·梯度消失問(wèn)題

·其次，它的輸出不是以0為中心。它的梯度更新在不同的方向上且走得太遠(yuǎn)。 0

·Sigmoids函數(shù)飽和且kill掉梯度。

·Sigmoids函數(shù)收斂緩慢。

現(xiàn)在我們?cè)撊绾谓鉀Q上述問(wèn)題？

雙曲正切函數(shù)——Tanh：其數(shù)學(xué)公式是f（x）= 1 - exp（-2x）/ 1 + exp（-2x）。現(xiàn)在它的輸出是以0中心的，因?yàn)樗闹祬^(qū)間在-1到1之間，即-1

那么我們?cè)撊绾翁幚砗图m正梯度消失問(wèn)題呢？

ReLu -Rectified linear units（線性修正單元）：其實(shí)在過(guò)去幾年中它就已經(jīng)非常受歡迎了。最近證明，相較于Tanh函數(shù)，它的收斂性提高了6倍。只要R（x）= max（0，x），即如果x <0，R（x）= 0，如果x> = 0，則R（x）= x。因此，只看這個(gè)函數(shù)的數(shù)學(xué)形式，我們就可以看到它非常簡(jiǎn)單、有效。其實(shí)很多時(shí)候我們都會(huì)注意到，在機(jī)器學(xué)習(xí)和計(jì)算機(jī)科學(xué)領(lǐng)域，最簡(jiǎn)單、相容的技術(shù)和方法才是推薦，才是表現(xiàn)較好的。因此，它可以避免和糾正梯度消失問(wèn)題?，F(xiàn)如今，幾乎所有深度學(xué)習(xí)模型現(xiàn)在都使用ReLu函數(shù)。

但它的局限性在于它只能在神經(jīng)網(wǎng)絡(luò)模型的隱藏層中使用。

因此，對(duì)于輸出層，我們應(yīng)該使用Softmax函數(shù)來(lái)處理分類(lèi)問(wèn)題從而計(jì)算類(lèi)的概率。而對(duì)于回歸問(wèn)題，它只要簡(jiǎn)單地使用線性函數(shù)就可以了。

ReLu函數(shù)的另一個(gè)問(wèn)題是，一些梯度在訓(xùn)練過(guò)程中可能很脆弱，甚至可能會(huì)死亡。它可以導(dǎo)致權(quán)重更新，這將使其永遠(yuǎn)不會(huì)在任何數(shù)據(jù)點(diǎn)上激活。簡(jiǎn)單地說(shuō)ReLu可能會(huì)導(dǎo)致死亡神經(jīng)元。

為了解決這個(gè)問(wèn)題，我們引進(jìn)了另一個(gè)被稱(chēng)為L(zhǎng)eaky ReLu的修改函數(shù)，讓它來(lái)解決死亡神經(jīng)元的問(wèn)題。它引入了一個(gè)小斜坡從而保持更新值具有活力。

然后，我們還有另一個(gè)變體，它形成于ReLu函數(shù)和Leaky ReLu函數(shù)的結(jié)合，我們稱(chēng)之為Maxout函數(shù)。

結(jié)論

問(wèn)題是哪一個(gè)更好用呢？

這個(gè)問(wèn)題的答案就是，現(xiàn)在我們應(yīng)該使用只應(yīng)用于隱藏層的ReLu函數(shù)。當(dāng)然，如果我們的模型在訓(xùn)練過(guò)程中遇到死亡神經(jīng)元，我們就應(yīng)該使用leaky ReLu函數(shù)或Maxout函數(shù)。

而考慮到現(xiàn)實(shí)的情況，Sigmoid函數(shù)和Tanh函數(shù)是不適用的，因?yàn)樘荻认?wèn)題（vanishing Gradient Problem）是一個(gè)很?chē)?yán)重的問(wèn)題，會(huì)在訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)模型中導(dǎo)致更多問(wèn)題。

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識(shí)

QQ群：81035754