摘要：而從數(shù)學(xué)上看的話，更是短時(shí)記憶了，因?yàn)樘荻攘鹘?jīng)的時(shí)候，經(jīng)歷的是的連環(huán)相乘的路徑在輸入輸出門關(guān)閉前，顯然如前邊的數(shù)學(xué)證明中所述，這樣會發(fā)生梯度爆炸和

引人入勝的開篇：

想要搞清楚LSTM中的每個(gè)公式的每個(gè)細(xì)節(jié)為什么是這樣子設(shè)計(jì)嗎？想知道simple RNN是如何一步步的走向了LSTM嗎？覺得LSTM的工作機(jī)制看不透？恭喜你打開了正確的文章！?

前方核彈級高能預(yù)警！本文信息量非常大，文章長且思維連貫性強(qiáng)，建議預(yù)留20分鐘以上的時(shí)間進(jìn)行閱讀。

前置知識1:

簡單的循環(huán)神經(jīng)網(wǎng)絡(luò)，即無隱藏層的循環(huán)神經(jīng)網(wǎng)絡(luò)，起名叫“simple RNN”，公式如下：

這種方式即在每個(gè)時(shí)刻做決策的時(shí)候都考慮一下上一個(gè)時(shí)刻的決策結(jié)果。畫出圖來就是醬的：

?

（其中圓球里的下半球代表兩向量的內(nèi)積，上半球代表將內(nèi)積結(jié)果激活）

?

雖然通過這種簡單反饋確實(shí)可以看出每個(gè)時(shí)間點(diǎn)的決策會受前一時(shí)間點(diǎn)決策的影響，但是似乎很難讓人信服這竟然能跟記憶扯上邊！

?

想一下，人的日常行為流程是這樣的。比如你在搭積木，那么每個(gè)時(shí)間點(diǎn)你的行為都會經(jīng)歷下面的子過程：

1、眼睛看到現(xiàn)在手里的積木。

2、回憶一下目前較高層的積木的場景。

3、結(jié)合1和2的信息來做出當(dāng)前時(shí)刻積木插到哪里的決策。

?

相信聰明的小伙伴已經(jīng)知道我要表達(dá)的意思啦。第1步手里的積木就是當(dāng)前時(shí)刻的外部輸入X；第2步就是調(diào)用歷史時(shí)刻的信息/記憶；第3步就是融合X和歷史記憶的信息來推理出決策結(jié)果，即RNN的一步前向過程的輸出y(t)。

?

有沒有更加聰明的小伙伴驚奇的注意到第2步！！！我們在回憶歷史的時(shí)候，一般不是簡單的回憶上一個(gè)積木的形狀，而是去回憶一個(gè)更加模糊而宏觀的場景。在這個(gè)例子中，這個(gè)場景就是最近幾次行為所產(chǎn)生出的抽象記憶——即“積木較高層的地形圖”！

?

也就是說，人們在做很多時(shí)序任務(wù)的時(shí)候，尤其是稍微復(fù)雜的時(shí)序任務(wù)時(shí)，潛意識的做法并不是直接將上個(gè)時(shí)刻的輸出y(t-1)直接連接進(jìn)來，而是連接一個(gè)模糊而抽象的東西進(jìn)來！這個(gè)東西是什么呢？

當(dāng)然就是神經(jīng)網(wǎng)絡(luò)中的隱結(jié)點(diǎn)h啊！也就是說，人們潛意識里直接利用的是一段歷史記憶融合后的東西h，而不單單是上一時(shí)間點(diǎn)的輸出。而網(wǎng)絡(luò)的輸出則取自這個(gè)隱結(jié)點(diǎn)。所以更合理的刻畫人的潛意識的模型應(yīng)該是這樣的：

（記憶在隱單元中存儲和流動，輸出取自隱單元）

?

這種加入了隱藏層的循環(huán)神經(jīng)網(wǎng)絡(luò)就是經(jīng)典的RNN神經(jīng)網(wǎng)絡(luò)！即“standard RNN”。

?

RNN從simple到standard的變動及其意義對于本文后續(xù)內(nèi)容非常重要哦。

?

前置知識2:?

由于在誤差反向傳播時(shí)，算出來的梯度會隨著往前傳播而發(fā)生指數(shù)級的衰減或放大！而且這是在數(shù)學(xué)上板上釘釘?shù)氖虑椤Ｒ虼耍琑NN的記憶單元是短時(shí)的。

好啦，那我們就借鑒前輩設(shè)計(jì)RNN的經(jīng)驗(yàn)，從simple版本開始，即無隱藏層的、簡單完成輸出到輸入反饋的網(wǎng)絡(luò)結(jié)構(gòu)開始，去設(shè)計(jì)一個(gè)全新的、可以解決梯度爆炸消失問題從而記住長距離依賴關(guān)系的神經(jīng)網(wǎng)絡(luò)吧！

?

那么如何讓梯度隨著時(shí)間的流動不發(fā)生指數(shù)級消失或者爆炸呢？

好像想起來挺難的，但是這個(gè)問題可能中學(xué)生會解答！那就是讓算出來的梯度恒為1！因?yàn)?的任何次方都是1嘛(￣?￣)

?

所以按照這個(gè)搞笑的想法，我們把要設(shè)計(jì)的長時(shí)記憶單元記為c（以下全部用c指代長時(shí)記憶單元），那么我們設(shè)計(jì)出來的長時(shí)記憶單元的數(shù)學(xué)模型就是這樣子嘍：

?

c(t) = c(t-1)

?

這樣的話，誤差反向傳播時(shí)的導(dǎo)數(shù)就恒定為1啦～誤差就可以一路無損耗的向前傳播到網(wǎng)絡(luò)的前端，從而學(xué)習(xí)到遙遠(yuǎn)的前端與網(wǎng)絡(luò)末端的遠(yuǎn)距離依賴關(guān)系。

?

不要急不要急，反正假設(shè)我們的c中存儲了信息，那么c就能把這個(gè)信息一路帶到輸出層沒問題吧？在T時(shí)刻算出來的梯度信息存儲在c里后，它也能把梯度一路帶到時(shí)刻0而無任何損耗也沒問題吧？對吧(￣?￣)

?

所以信息的運(yùn)輸問題解決了，那么就要解決對信息進(jìn)行裝箱和卸車的問題。

??

先來看裝箱問題，即如何把新信息寫入c里面去呢？

?

1、乘進(jìn)去！

2、加進(jìn)去！

?

那么這兩種哪種可行呢？

其實(shí)稍微一想就很容易判斷：乘法操作更多的是作為一種對信息進(jìn)行某種控制的操作（比如任意數(shù)與0相乘后直接消失，相當(dāng)于關(guān)閉操作；任意數(shù)與大于1的數(shù)相乘后會被放大規(guī)模等），而加法操作則是新信息疊加舊信息的操作。

?

下面我們深入的討論一下乘性操作和加性操作，這在理解LSTM里至關(guān)重要。當(dāng)然，首先，你要掌握偏導(dǎo)的概念和方法、復(fù)合函數(shù)的求導(dǎo)法則、鏈?zhǔn)角髮?dǎo)法則。有了這三點(diǎn)微積分基礎(chǔ)后才能看懂哦。

（害怕數(shù)學(xué)和基礎(chǔ)不夠的童鞋可以跳過這里的論乘法和論加法小節(jié)。）

噫？也有指數(shù)項(xiàng)～不過由于v加了一個(gè)偏置1，導(dǎo)致爆炸的可能性遠(yuǎn)遠(yuǎn)大于消失。不過通過做梯度截?cái)啵材芎艽蟪潭鹊木徑馓荻缺ǖ挠绊憽?/p>

嗯～梯度消失的概率小了很多，梯度爆炸也能勉強(qiáng)緩解，看起來比RNN靠譜多了，畢竟控制好爆炸的前提下，梯度消失的越慢，記憶的距離就越長嘛。

?

因此，在往長時(shí)記憶單元添加信息方面，加性規(guī)則要顯著優(yōu)于乘性規(guī)則。也證明了加法更適合做信息疊加，而乘法更適合做控制和scaling。

?

由此，我們就確定應(yīng)用加性規(guī)則啦，至此我們設(shè)計(jì)的網(wǎng)絡(luò)應(yīng)該是這樣子的：

那么有沒有辦法讓信息裝箱和運(yùn)輸同時(shí)存在的情況下，讓梯度消失的可能性變的更低，讓梯度爆炸的可能性和程度也更低呢？

你想呀，我們往長時(shí)記憶單元添加新信息的頻率肯定是很低的，現(xiàn)實(shí)生活中只有很少的時(shí)刻我們可以記很久，大部分時(shí)刻的信息沒過幾天就忘了。因此現(xiàn)在這種模型一股腦的試圖永遠(yuǎn)記住每個(gè)時(shí)刻的信息的做法肯定是不合理的，我們應(yīng)該只記憶該記的信息。

?

顯然，對新信息選擇記或者不記是一個(gè)控制操作，應(yīng)該使用乘性規(guī)則。因此在新信息前加一個(gè)控制閥門，只需要讓公式【3.1】變?yōu)?/p>

?

嗯～由于輸入門只會在必要的時(shí)候開啟，因此大部分情況下公式【4】可以看成

C(t)=C(t-1)，也就是我們最理想的狀態(tài)。由此加性操作帶來的梯度爆炸也大大減輕啦，梯度消失更更更輕了。

?

等等，愛思考的同學(xué)可能會注意到一個(gè)問題。萬一神經(jīng)網(wǎng)絡(luò)讀到一段信息量很大的文本，以致于這時(shí)輸入門欣喜若狂，一直保持大開狀態(tài)，狼吞虎咽的試圖記住所有這些信息，會發(fā)生什么呢？

?

顯然就會導(dǎo)致c的值變的非常大！

要知道，我們的網(wǎng)絡(luò)要輸出的時(shí)候是要把c激活的（參考公式【0.3】），當(dāng)c變的很大時(shí)，sigmoid、tanh這些常見的激活函數(shù)的輸出就完全飽和了！比如如圖tanh：

?

當(dāng)c很大時(shí)，tanh趨近于1，這時(shí)c變得再大也沒有什么意義了，因?yàn)轱柡土耍∧X子記不住這么多東西！

?

這種情況怎么辦呢？顯然relu函數(shù)這種正向無飽和的激活函數(shù)是一種選擇，但是我們總不能將這個(gè)網(wǎng)絡(luò)輸出的激活函數(shù)限定為relu吧？那也設(shè)計(jì)的太失敗啦！

?

那怎么辦呢？

其實(shí)想想我們自己的工作原理就知道啦。我們之所以既可以記住小時(shí)候的事情，也可以記住一年前的事情，也沒有覺得腦子不夠用，不就是因?yàn)槲覀儭！！弁侣铩Ｋ赃€需要加一個(gè)門用來忘事！這個(gè)門就叫做“遺忘門”吧。這樣每個(gè)時(shí)刻到來的時(shí)候，記憶要先通過遺忘門忘掉一些事情再考慮要不要接受這個(gè)時(shí)刻的新信息。

?

顯然，遺忘門是用來控制記憶消失程度的，因此也要用乘性運(yùn)算，即我們設(shè)計(jì)的網(wǎng)絡(luò)已進(jìn)化成：

?

好啦～解決了如何為我們的長時(shí)記憶單元可控的添加新信息的問題，又貼心的考慮到并優(yōu)雅解決了信息輸入太過豐富導(dǎo)致輸入控制門“合不攏嘴”的尷尬情況，那么是時(shí)候考慮我們的長時(shí)記憶單元如何輸出啦～

?

有人說，輸出有什么好考慮的，當(dāng)前的輸出難道不就僅僅是激活當(dāng)前的記憶嗎？難道不就是最前面說的y(t)=f(c(t))？（其中f(·)為激活函數(shù)）

?

試想，假如人有1萬個(gè)長時(shí)記憶的腦細(xì)胞，每個(gè)腦細(xì)胞記一件事情，那么我們在處理眼前的事情的時(shí)候是每個(gè)時(shí)刻都把這1萬個(gè)腦細(xì)胞里的事情都回憶一遍嗎？顯然不是呀，我們只會讓其中一部分跟當(dāng)前任務(wù)當(dāng)前時(shí)刻相關(guān)的腦細(xì)胞輸出，即應(yīng)該給我們的長時(shí)記憶單元添加一個(gè)輸出閥門！也就是說應(yīng)該輸出：

?

?

嗯～終于看起來好像沒有什么問題了。

?

然而，作為偉大的設(shè)計(jì)者，怎么能止步于simple呢！我們要像simple RNN推廣出standard RNN的做法那樣，推廣出我們的standard版本！即加入隱藏層！

?

為什么要加隱藏層已經(jīng)在本文開頭提到了，這也是simpleRNN到standardRNN的核心區(qū)別，這也是RNN及其變種可以作為深度學(xué)習(xí)的主角之一的原因。模仿RNN的做法，我們直接用隱藏層單元h來代替最終輸出y：

?

?

顯然，由于h隨時(shí)都可以被輸出門截?cái)啵晕覀兛梢院芨行缘陌裩理解為短時(shí)記憶單元。

而從數(shù)學(xué)上看的話，更是短時(shí)記憶了，因?yàn)樘荻攘鹘?jīng)h的時(shí)候，經(jīng)歷的是h(t)->c(t)->h(t-1)的連環(huán)相乘的路徑（在輸入輸出門關(guān)閉前），顯然如前邊的數(shù)學(xué)證明中所述，這樣會發(fā)生梯度爆炸和消失，而梯度消失的時(shí)候就意味著記憶消失了，即h為短時(shí)記憶單元。

同樣的思路可以再證明一下，由于梯度只從c走的時(shí)候，存在一條無連環(huán)相乘的路徑，可以避免梯度消失。又有遺忘門避免激活函數(shù)和梯度飽和，因此c為長時(shí)記憶單元。

好啦，我們standard版本的新型網(wǎng)絡(luò)也完成了！有沒有覺得信息量超級大，又亂掉了呢？不要急，貼心的小夕就再帶你總結(jié)一下我們這個(gè)網(wǎng)絡(luò)的前饋過程：

?

新時(shí)刻t剛剛到來的時(shí)候，

1、首先長時(shí)記憶單元c(t-1)通過遺忘門g_forget去遺忘一些信息。

2、其中g(shù)_forget受當(dāng)前時(shí)刻的外部輸入x(t)、上一時(shí)刻的輸出(短時(shí)記憶)h(t-1)、上一時(shí)刻的長時(shí)記憶c(t-1)的控制。

3、然后由當(dāng)前時(shí)刻外部輸入x(t)和上一時(shí)刻的短時(shí)記憶h(t-1)計(jì)算出當(dāng)前時(shí)刻的新信息hat c(t)。

4、然后由輸入門g_in控制，將當(dāng)前時(shí)刻的部分新信息hat c(t)寫入長時(shí)記憶單元，產(chǎn)生新的長時(shí)記憶c(t)。

5、其中g(shù)_in受x(t)、h(t-1)、c(t-1)的控制。

6、激活長時(shí)記憶單元c(t)，準(zhǔn)備上天（輸出）。

7、然后由輸出門g_out把控，將至目前積累下來的記憶c(t)選出部分相關(guān)的記憶生成這一時(shí)刻我們關(guān)注的記憶h(t)，再把這部分記憶進(jìn)行輸出y(t)。

8、其中輸出門g_out受x(t)、h(t-1)和當(dāng)前時(shí)刻的長時(shí)記憶c(t)的控制。

?

前饋的過程寫完了，梯度反傳的過程就讓深度學(xué)習(xí)平臺去自動求導(dǎo)來完成吧～有M傾向的同學(xué)可以嘗試對上述過程進(jìn)行手動求導(dǎo)。

?

好啦，最后對全文的設(shè)計(jì)過程總結(jié)一下：

1、我們?yōu)榱私鉀QRNN中的梯度消失的問題，為了讓梯度無損傳播，想到了c(t)=c(t-1)這個(gè)樸素卻沒毛病的梯度傳播模型，我們于是稱c為“長時(shí)記憶單元”。

2、然后為了把新信息平穩(wěn)安全可靠的裝入長時(shí)記憶單元，我們引入了“輸入門”。

3、然后為了解決新信息裝載次數(shù)過多帶來的激活函數(shù)飽和的問題，引入了“遺忘門”。

4、然后為了讓網(wǎng)絡(luò)能夠選擇合適的記憶進(jìn)行輸出，我們引入了“輸出門”。

5、然后為了解決記憶被輸出門截?cái)嗪笫沟酶鱾€(gè)門單元受控性降低的問題，我們引入了“peephole”連接。

6、然后為了將神經(jīng)網(wǎng)絡(luò)的簡單反饋結(jié)構(gòu)升級成模糊歷史記憶的結(jié)構(gòu)，引入了隱單元h，并且發(fā)現(xiàn)h中存儲的模糊歷史記憶是短時(shí)的，于是記h為短時(shí)記憶單元。

7、于是該網(wǎng)絡(luò)既具備長時(shí)記憶，又具備短時(shí)記憶，就干脆起名叫“長短時(shí)記憶神經(jīng)網(wǎng)絡(luò)(Long Short Term Memory Neural Networks，簡稱LSTM)“啦。

?

參考文獻(xiàn)：

1. Hochreiter S, Schmidhuber J. Long Short-Term Memory[J]. Neural Computation, 1997, 9(8): 1735-1780.

2. Gers F A, Schmidhuber J, Cummins F, et al.Learning to Forget: Continual Prediction with LSTM[J]. Neural Computation,2000, 12(10): 2451-2471.

3. Gers F A, Schraudolph N N, Schmidhuber J, etal. Learning precise timing with lstm recurrent networks[J]. Journal of MachineLearning Research, 2003, 3(1): 115-143.

4. A guide to recurrent neural networks and backpropagation. Mikael Bod ?en.

5. http://colah.github.io/posts/2015-08-Understanding-LSTMs/

6. 《Supervised Sequence Labelling with Recurrent Neural Networks》Alex Graves

7. 《Hands on machine learning with sklearn and tf》Aurelien Geron

8. 《Deep learning》Goodfellow et.

聲明：文章收集于網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系小編及時(shí)處理，謝謝！

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識

QQ群：81035754