資訊專欄INFORMATION COLUMN
摘要：反向傳播算法算法是目前用來訓練人工神經(jīng)網(wǎng)絡的最常用且最有效的算法。作為谷歌機器學習速成課程的配套材料，谷歌推出一個演示網(wǎng)站，直觀地介紹了反向傳播算法的工作原理。網(wǎng)站地址反向傳播算法對于快速訓練大型神經(jīng)網(wǎng)絡來說至關重要。
反向傳播算法（BP算法）是目前用來訓練人工神經(jīng)網(wǎng)絡的最常用且最有效的算法。作為谷歌機器學習速成課程的配套材料，谷歌推出一個演示網(wǎng)站，直觀地介紹了反向傳播算法的工作原理。網(wǎng)站地址：
https://google-developers.appspot.com/machine-learning/crash-course/backprop-scroll/
反向傳播算法對于快速訓練大型神經(jīng)網(wǎng)絡來說至關重要。本文將介紹該算法的工作原理。
簡單的神經(jīng)網(wǎng)絡
如上圖，你會看到一個神經(jīng)網(wǎng)絡，其中包含一個輸入節(jié)點、一個輸出節(jié)點，以及兩個隱藏層（分別有兩個節(jié)點）。?
激活函數(shù)
每個節(jié)點都有一個總輸入 x、一個激活函數(shù) f(x) 以及一個輸出 y=f(x)。?
f(x)必須是非線性函數(shù)，否則神經(jīng)網(wǎng)絡就只能學習線性模型。?
常用的激活函數(shù)是 S 型函數(shù)：
誤差函數(shù)
正向傳播
現(xiàn)在，我們更新第一個隱藏層。我們?nèi)∩弦粚庸?jié)點的輸出 y，并使用權重來計算下一層節(jié)點的輸入 x。
然后，我們更新第一個隱藏層中節(jié)點的輸出。 為此，我們使用激活函數(shù) f(x)。
使用這兩個公式，我們可以傳播到網(wǎng)絡的其余內(nèi)容，并獲得網(wǎng)絡的最終輸出。
誤差導數(shù)
其他導數(shù)
反向傳播
一旦得出相對于某節(jié)點的總輸入的誤差導數(shù)，我們便可以得出相對于進入該節(jié)點的權重的誤差導數(shù)。
接下來，只需重復前面的 3 個公式，直到計算出所有誤差導數(shù)即可。
結(jié)束。
聲明：文章收集于網(wǎng)絡，如有侵權，請聯(lián)系小編及時處理，謝謝！
歡迎加入本站公開興趣群商業(yè)智能與數(shù)據(jù)分析群
興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價值的辦法，實際應用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報表系統(tǒng)等全方位知識
QQ群：81035754
文章版權歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址：http://m.hztianpu.com/yun/4795.html
摘要：在最近的一次人工智能會議上，表示自己對于反向傳播非常懷疑，并提出應該拋棄它并重新開始。在人工智能多年的發(fā)展過程中，反向傳播已經(jīng)成為了深度學習不可或缺的一部分。最后，我們會將這些規(guī)則組合成可用于任意神經(jīng)網(wǎng)絡的反向傳播算法。 現(xiàn)在的深度學習發(fā)展似乎已經(jīng)陷入了大型化、深度化的怪圈，我們設計的模型容易被對抗樣本欺騙，同時又需要大量的訓練數(shù)據(jù)——在無監(jiān)督學習上我們?nèi)〉玫耐黄七€很少。作為反向傳播這一深度...
閱讀 893·2021-11-22 15:25
閱讀 1529·2021-09-08 09:45
閱讀 1841·2021-09-02 09:46
閱讀 1430·2019-08-30 15:56
閱讀 1593·2019-08-29 15:14
閱讀 1227·2019-08-29 13:06
閱讀 2069·2019-08-29 12:34
閱讀 1468·2019-08-26 12:14
