摘要：強(qiáng)化學(xué)習(xí)這就是神經(jīng)網(wǎng)絡(luò)流行起來(lái)的地方。而且，我們也在這一范圍內(nèi)取得了強(qiáng)化學(xué)習(xí)史上最重要的成績(jī)之一一個(gè)學(xué)習(xí)并成為西洋雙陸棋玩家的神經(jīng)網(wǎng)絡(luò)。遞歸神經(jīng)網(wǎng)絡(luò)圖。

這是「神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)簡(jiǎn)史」的第三部分（第一部分，第二部分）。在這一部分，我們將繼續(xù)了解90年代研究的飛速發(fā)展，搞清楚神經(jīng)網(wǎng)絡(luò)在60年代末失去眾多青睞的原因。

神經(jīng)網(wǎng)絡(luò)做決定

神經(jīng)網(wǎng)絡(luò)運(yùn)用于無(wú)監(jiān)督學(xué)習(xí)的發(fā)現(xiàn)之旅結(jié)束后，讓我們也快速了解一下它們?nèi)绾伪挥糜跈C(jī)器學(xué)習(xí)的第三個(gè)分支領(lǐng)域：強(qiáng)化學(xué)習(xí)。正規(guī)解釋強(qiáng)化學(xué)習(xí)需要很多數(shù)學(xué)符號(hào)，不過(guò)，它也有一個(gè)很容易加以非正式描述的目標(biāo)：學(xué)會(huì)做出好決定。給定一些理論代理（比如，一個(gè)小軟件），讓代理能夠根據(jù)當(dāng)前狀態(tài)做出行動(dòng)，每個(gè)采取行動(dòng)會(huì)獲得一些獎(jiǎng)勵(lì)，而且每個(gè)行動(dòng)也意圖較大化長(zhǎng)期效用。

因此，盡管監(jiān)督學(xué)習(xí)確切告訴了學(xué)習(xí)算法它應(yīng)該學(xué)習(xí)的用以輸出的內(nèi)容，但是，強(qiáng)化學(xué)習(xí)會(huì)過(guò)一段時(shí)間提供獎(jiǎng)勵(lì)，作為一個(gè)好決定的副產(chǎn)品，不會(huì)直接告訴算法應(yīng)該選擇的正確決定。從一開始，這就是一個(gè)非常抽象的決策模型——數(shù)目有限的狀態(tài)，并且有一組已知的行動(dòng)，每種狀態(tài)下的獎(jiǎng)勵(lì)也是已知的。為了找到一組最優(yōu)行動(dòng)，編寫出非常優(yōu)雅的方程會(huì)因此變得簡(jiǎn)單，不過(guò)這很難用于解決真實(shí)問(wèn)題——那些狀態(tài)持續(xù)或者很難界定獎(jiǎng)勵(lì)的問(wèn)題。

強(qiáng)化學(xué)習(xí)

這就是神經(jīng)網(wǎng)絡(luò)流行起來(lái)的地方。機(jī)器學(xué)習(xí)大體上，特別是神經(jīng)網(wǎng)絡(luò)，很善于處理混亂的連續(xù)性數(shù)據(jù) ，或者通過(guò)實(shí)例學(xué)習(xí)很難加以定義的函數(shù)。盡管分類是神經(jīng)網(wǎng)絡(luò)的飯碗，但是，神經(jīng)網(wǎng)絡(luò)足夠普適（general），能用來(lái)解決許多類型的問(wèn)題——比如，Bernard Widrow和Ted Hoff的Adaline后續(xù)衍生技術(shù)被用于電路環(huán)境下的自適應(yīng)濾波器。

因此，BP研究復(fù)蘇之后，不久，人們就設(shè)計(jì)了利用神經(jīng)網(wǎng)絡(luò)進(jìn)行強(qiáng)化學(xué)習(xí)的辦法。早期例子之一就是解決一個(gè)簡(jiǎn)單卻經(jīng)典的問(wèn)題：平衡運(yùn)動(dòng)著的平臺(tái)上的棍子，各地控制課堂上學(xué)生熟知的倒立擺控制問(wèn)題。

雙擺控制問(wèn)題——單擺問(wèn)題進(jìn)階版本，是一個(gè)經(jīng)典的控制和強(qiáng)化學(xué)習(xí)任務(wù)。

因?yàn)橛凶赃m應(yīng)濾波，這項(xiàng)研究就和電子工程領(lǐng)域密切相關(guān)，這一領(lǐng)域中，在神經(jīng)網(wǎng)絡(luò)出現(xiàn)之前的幾十年當(dāng)中，控制論已經(jīng)成為一個(gè)主要的子領(lǐng)域。雖然該領(lǐng)域已經(jīng)設(shè)計(jì)了很多通過(guò)直接分析解決問(wèn)題的辦法，也有一種通過(guò)學(xué)習(xí)解決更加復(fù)雜狀態(tài)的辦法，事實(shí)證明這一辦法有用——1990年，「Identification and control of dynamical systems using neural networks」的7000次高被引就是證明?；蛟S可以斷定，另有一個(gè)獨(dú)立于機(jī)器學(xué)習(xí)領(lǐng)域，其中，神經(jīng)網(wǎng)絡(luò)就是有用的機(jī)器人學(xué)。用于機(jī)器人學(xué)的早期神經(jīng)網(wǎng)絡(luò)例子之一就是來(lái)自CMU的NavLab，1989年的「Alvinn: An autonomous land vehicle in a neural network」：

1. “NavLab 1984 - 1994”

正如論文所討論的，這一系統(tǒng)中的神經(jīng)網(wǎng)絡(luò)通過(guò)普通的監(jiān)督學(xué)習(xí)學(xué)會(huì)使用傳感器以及人類駕駛時(shí)記錄下的駕駛數(shù)據(jù)來(lái)控制車輛。也有研究教會(huì)機(jī)器人專門使用強(qiáng)化學(xué)習(xí)，正如1993年博士論文「Reinforcement learning for robots using neural networks」所示例的。論文表明，機(jī)器人能學(xué)會(huì)一些動(dòng)作，比如，沿著墻壁行走，或者在合理時(shí)間范圍內(nèi)通過(guò)門，考慮到之前倒立擺工作所需的長(zhǎng)得不切實(shí)際的訓(xùn)練時(shí)間，這真是件好事。

這些發(fā)生在其他領(lǐng)域中的運(yùn)用當(dāng)然很酷，但是，當(dāng)然多數(shù)強(qiáng)化學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)的研究發(fā)生在人工智能和機(jī)器學(xué)習(xí)范圍內(nèi)。而且，我們也在這一范圍內(nèi)取得了強(qiáng)化學(xué)習(xí)史上最重要的成績(jī)之一：一個(gè)學(xué)習(xí)并成為西洋雙陸棋玩家的神經(jīng)網(wǎng)絡(luò)。研究人員用標(biāo)準(zhǔn)強(qiáng)化學(xué)習(xí)算法來(lái)訓(xùn)練這個(gè)被稱為TD-Gammon的神經(jīng)網(wǎng)絡(luò)，它也是第一個(gè)證明強(qiáng)化學(xué)習(xí)能夠在相對(duì)復(fù)雜任務(wù)中勝過(guò)人類的證據(jù)。而且，這是個(gè)特別的加強(qiáng)學(xué)習(xí)辦法，同樣的僅采用神經(jīng)網(wǎng)絡(luò)（沒有加強(qiáng)學(xué)習(xí)）的系統(tǒng)，表現(xiàn)沒這么好。

西洋雙陸棋游戲中，掌握專家級(jí)別水平的神經(jīng)網(wǎng)絡(luò)

?

但是，正如之前已經(jīng)看到，接下來(lái)也會(huì)在人工智能領(lǐng)域再次看到，研究進(jìn)入死胡同。下一個(gè)要用TD-Gammnon辦法解決的問(wèn)題，Sebastian Thrun已經(jīng)在1995年「Learning To Play the Game of Chess」中研究過(guò)了，結(jié)果不是很好..盡管神經(jīng)網(wǎng)絡(luò)表現(xiàn)不俗，肯定比一個(gè)初學(xué)者要好，但和很久以前實(shí)現(xiàn)的標(biāo)準(zhǔn)計(jì)算機(jī)程序GNU-Chess相比，要遜色得多。人工智能長(zhǎng)期面臨的另一個(gè)挑戰(zhàn)——圍棋，亦是如此。這樣說(shuō)吧，TD-Gammon 有點(diǎn)作弊了——它學(xué)會(huì)了較精確評(píng)估位置，因此，無(wú)需對(duì)接下來(lái)的好多步做任何搜索，只用選擇可以占據(jù)下一個(gè)最有利位置的招數(shù)。但是，在象棋游戲和圍棋游戲里，這些游戲?qū)θ斯ぶ悄芏允且粋€(gè)挑戰(zhàn)，因?yàn)樾枰A(yù)估很多步，可能的行動(dòng)組合如此之巨。而且，就算算法更聰明，當(dāng)時(shí)的硬件又跟不上，Thrun稱「NeuroChess不怎么樣，因?yàn)樗汛蟛糠謺r(shí)間花在評(píng)估棋盤上了。計(jì)算大型神經(jīng)網(wǎng)絡(luò)函數(shù)耗時(shí)是評(píng)價(jià)優(yōu)化線性評(píng)估函數(shù)（an optimized linear evaluation function），比如GNU-Chess，的兩倍。」當(dāng)時(shí)，計(jì)算機(jī)相對(duì)于神經(jīng)網(wǎng)絡(luò)需求的不足是一個(gè)很現(xiàn)實(shí)的問(wèn)題，而且正如我們將要看到的，這不是一個(gè)…

神經(jīng)網(wǎng)絡(luò)變得呆頭呆腦

盡管無(wú)監(jiān)督學(xué)習(xí)和加強(qiáng)學(xué)習(xí)很簡(jiǎn)潔，監(jiān)督學(xué)習(xí)仍然是我最喜歡的神經(jīng)網(wǎng)絡(luò)應(yīng)用實(shí)例。誠(chéng)然，學(xué)習(xí)數(shù)據(jù)的概率模型很酷，但是，通過(guò)反向傳播解決實(shí)際問(wèn)題更容易讓人興奮。我們已經(jīng)看到了Yann Lecun成功解決了識(shí)別手寫的問(wèn)題（這一技術(shù)繼續(xù)被全國(guó)用來(lái)掃描支票，而且后來(lái)的使用更多），另一項(xiàng)顯而易見且相當(dāng)重要的任務(wù)也在同時(shí)進(jìn)行著：理解人類的語(yǔ)音。

和識(shí)別手寫一樣，理解人類的語(yǔ)音很難，同一個(gè)詞根據(jù)表達(dá)的不同，意思也有很多變化。不過(guò)，還有額外的挑戰(zhàn)：長(zhǎng)序列的輸入。你看，如果是圖片，你就可以把字母從圖片中切出來(lái)，然后，神經(jīng)網(wǎng)絡(luò)就能告訴你這個(gè)字母是啥，輸入-輸出模式。但語(yǔ)言就沒那么容易了，把語(yǔ)音拆成字母完全不切實(shí)際，就算想要找出語(yǔ)音中的單詞也沒那么容易。而且你想啊，聽到語(yǔ)境中的單詞相比單個(gè)單詞，要好理解一點(diǎn)吧！盡管輸入-輸出模式用來(lái)逐個(gè)處理圖片相當(dāng)有效，這并不適用于很長(zhǎng)的信息，比如音頻或文本。神經(jīng)網(wǎng)絡(luò)沒有記憶賴以處理一個(gè)輸入能影響后續(xù)的另一個(gè)輸入的情況，但這恰恰是我們?nèi)祟愄幚硪纛l或者文本的方式——輸入一串單詞或者聲音，而不是多帶帶輸入。要點(diǎn)是：要解決理解語(yǔ)音的問(wèn)題，研究人員試圖修改神經(jīng)網(wǎng)絡(luò)來(lái)處理一系列輸入（就像語(yǔ)音中的那樣）而不是批量輸入（像圖片中那樣）。

Alexander Waibel等人（還有Hinton）提出的解決方法之一，在1989年的「 Phoneme recognition using time-delay neural networks」中得到了介紹。這些時(shí)延神經(jīng)網(wǎng)絡(luò)和通常意義上的神經(jīng)網(wǎng)絡(luò)非常類似，除了每個(gè)神經(jīng)元只處理一個(gè)輸入子集，而且為不同類型的輸入數(shù)據(jù)延遲配備了幾套權(quán)重。易言之，針對(duì)一系列音頻輸入，一個(gè)音頻的「移動(dòng)窗口」被輸入到神經(jīng)網(wǎng)絡(luò)，而且隨著窗口移動(dòng)，每個(gè)帶有幾套不同權(quán)重的神經(jīng)元就會(huì)根據(jù)這段音頻在窗口中位置，賦予相應(yīng)的權(quán)重，用這種方法來(lái)處理音頻。畫張圖就好理解了：

時(shí)延神經(jīng)網(wǎng)絡(luò)

從某種意義上來(lái)說(shuō)，這和卷積神經(jīng)網(wǎng)絡(luò)差不多——每個(gè)單元一次只看一個(gè)輸入子集，對(duì)每個(gè)小子集進(jìn)行相同的運(yùn)算，而不是一次性計(jì)算整個(gè)集合。不同之處在于，在卷積神經(jīng)網(wǎng)絡(luò)中不存在時(shí)間概念， 每個(gè)神經(jīng)元的輸入窗形成整個(gè)輸入圖像來(lái)計(jì)算出一個(gè)結(jié)果，而時(shí)延神經(jīng)網(wǎng)絡(luò)中有一系列的輸入和輸出。一個(gè)有趣的事實(shí)：據(jù)Hinton說(shuō)，時(shí)延神經(jīng)網(wǎng)絡(luò)的理念啟發(fā)了LeCun開發(fā)卷積神經(jīng)網(wǎng)絡(luò)。但是，好笑的是，積卷神經(jīng)網(wǎng)絡(luò)變得對(duì)圖像處理至關(guān)重要，而在語(yǔ)音識(shí)別方面，時(shí)延神經(jīng)網(wǎng)絡(luò)則敗北于另一種方法——遞歸神經(jīng)網(wǎng)絡(luò)(RNNs)。你看，目前為止討論過(guò)的所有神經(jīng)網(wǎng)絡(luò)都是前歸網(wǎng)絡(luò)，這意味著某神經(jīng)元的輸出是下一層神經(jīng)元的輸入。但并不一定要這樣，沒有什么阻止我們勇敢的計(jì)算機(jī)科學(xué)家將最后一層的輸出變成第一層的輸入，或者將神經(jīng)元的輸出連接到神經(jīng)元自身。將神經(jīng)元回路接回神經(jīng)網(wǎng)絡(luò)，賦予神經(jīng)網(wǎng)絡(luò)記憶就被優(yōu)雅地解決了。

遞歸神經(jīng)網(wǎng)絡(luò)圖。還記得之前的玻爾茲曼機(jī)嗎？大吃一驚吧！那些是遞歸性神經(jīng)網(wǎng)絡(luò)。

然而，這可沒有那么容易。注意這個(gè)問(wèn)題——如果反向傳播需要依賴『正向傳播』將輸出層的錯(cuò)誤反饋回來(lái)，那么，如果第一層往回連接到輸出層，系統(tǒng)怎么工作？錯(cuò)誤會(huì)繼續(xù)傳到第一層再傳回到輸出層，在神經(jīng)網(wǎng)絡(luò)中循環(huán)往復(fù)，無(wú)限次地。解決辦法是，通過(guò)多重群組獨(dú)立推導(dǎo)，通過(guò)時(shí)間進(jìn)行反向傳播。基本來(lái)說(shuō)，就是將每個(gè)通過(guò)神經(jīng)網(wǎng)絡(luò)的回路做為另一個(gè)神經(jīng)網(wǎng)絡(luò)的輸入，而且回路次數(shù)有限，通過(guò)這樣的辦法把遞歸神經(jīng)網(wǎng)絡(luò)鋪開。

通過(guò)時(shí)間概念反向傳播的直觀圖解。

?

這個(gè)很簡(jiǎn)單的想法真的起作用了——訓(xùn)練遞歸神經(jīng)網(wǎng)絡(luò)是可能的。并且，有很多人探索出了RNN在語(yǔ)言識(shí)別領(lǐng)域的應(yīng)用。但是，你可能也聽說(shuō)過(guò)其中的波折：這一方法效果并不是很好。為了找出原因，讓我們來(lái)認(rèn)識(shí)另一位深度學(xué)習(xí)的巨人：Yoshua Bengion。大約在1986年，他就開始進(jìn)行語(yǔ)言識(shí)別方向的神經(jīng)網(wǎng)絡(luò)研究工作，也參與了許多使用ANN和RNN進(jìn)行語(yǔ)言識(shí)別的學(xué)術(shù)論文，最后進(jìn)入AT&T BELL實(shí)驗(yàn)室工作，Yann LeCun正好也在那里攻克CNN。 實(shí)際上，1995年，兩位共同發(fā)表了文章「Convolutional Networks for Images, Speech, and Time-Series」，這是他們第一次合作，后來(lái)他們也進(jìn)行了許多合作。但是，早在1993年，Bengio曾發(fā)表過(guò)「A Connectionist Approach to Speech Recognition」。其中，他對(duì)有效訓(xùn)練RNN的一般錯(cuò)誤進(jìn)行了歸納：

盡管在許多例子中，遞歸網(wǎng)絡(luò)能勝過(guò)靜態(tài)網(wǎng)絡(luò)，但是，優(yōu)化訓(xùn)練起來(lái)也更有難度。我們的實(shí)驗(yàn)傾向于顯示（遞歸神經(jīng)網(wǎng)絡(luò)）的參數(shù)調(diào)整往往收斂在亞優(yōu)化的解里面，（這種解）只考慮了短效應(yīng)影響因子而不計(jì)長(zhǎng)效影響因子。例如，在所述實(shí)驗(yàn)中我們發(fā)現(xiàn)，RNN根本捕獲不到單音素受到的簡(jiǎn)單時(shí)間約束…雖然這是一個(gè)消極的結(jié)果，但是，更好地理解這一問(wèn)題可以幫助設(shè)計(jì)替代系統(tǒng)來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，讓它學(xué)會(huì)通過(guò)長(zhǎng)效影響因子，將輸出序列映射到輸入序列（map input sequences to output sequences with long term dependencies ），比如，為了學(xué)習(xí)有限狀態(tài)機(jī)，語(yǔ)法，以及其他語(yǔ)言相關(guān)的任務(wù)。既然基于梯度的方法顯然不足以解決這類問(wèn)題，我們要考慮其他最優(yōu)辦法，得出可以接受的結(jié)論，即使當(dāng)判別函數(shù)（criterion function）并不平滑時(shí)。

?

新的冬日黎明

因此，有一個(gè)問(wèn)題。一個(gè)大問(wèn)題。而且，基本而言，這個(gè)問(wèn)題就是近來(lái)的一個(gè)巨大成就：反向傳播。卷積神經(jīng)網(wǎng)絡(luò)在這里起到了非常重要的作用，因?yàn)榉聪騻鞑ピ谟兄芏喾謱拥囊话闵窠?jīng)網(wǎng)絡(luò)中表現(xiàn)并不好。然而，深度學(xué)習(xí)的一個(gè)關(guān)鍵就是——很多分層，現(xiàn)在的系統(tǒng)大概有20左右的分層。但是，二十世紀(jì)八十年代后期，人們就發(fā)現(xiàn)，用反向傳播來(lái)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)效果并不盡如人意，尤其是不如對(duì)較少層數(shù)的網(wǎng)絡(luò)訓(xùn)練的結(jié)果。原因就是反向傳播依賴于將輸出層的錯(cuò)誤找到并且連續(xù)地將錯(cuò)誤原因歸類到之前的各個(gè)分層。然而，在如此大量的層次下，這種數(shù)學(xué)基礎(chǔ)的歸咎方法最終產(chǎn)生了不是極大就是極小的結(jié)果，被稱為『梯度消失或爆炸的問(wèn)題』，Jurgen Schmidhuber——另一位深度學(xué)習(xí)的權(quán)威，給出了更正式也更深刻的歸納：

一篇學(xué)術(shù)論文（發(fā)表于1991年，作者Hochreiter）曾經(jīng)對(duì)深度學(xué)習(xí)研究給予了里程碑式的描述。文中第五、第六部分提到：二十世紀(jì)九十年代晚期，有些實(shí)驗(yàn)表明，前饋或遞歸深度神經(jīng)網(wǎng)絡(luò)是很難用反向傳播法進(jìn)行訓(xùn)練的（見5.5）。Horchreiter在研究中指出了導(dǎo)致問(wèn)題的一個(gè)主要原因：傳統(tǒng)的深度神經(jīng)網(wǎng)絡(luò)遭遇了梯度消失或爆炸問(wèn)題。在標(biāo)準(zhǔn)激活狀態(tài)下（見1），累積的反向傳播錯(cuò)誤信號(hào)不是迅速收縮，就是超出界限。實(shí)際上，他們隨著層數(shù)或CAP深度的增加，以幾何數(shù)衰減或爆炸（使得對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行有效訓(xùn)練幾乎是不可能的事）。

通過(guò)時(shí)間順序扁平化BP路徑本質(zhì)上跟具有許多層的神經(jīng)網(wǎng)絡(luò)一樣，所以，用反向傳播來(lái)訓(xùn)練遞歸神經(jīng)網(wǎng)絡(luò)是比較困難的。由Schmidhuber指導(dǎo)的Sepp Hochreiter及Yoshua Bengio都寫過(guò)文章指出，由于反向傳播的限制，學(xué)習(xí)長(zhǎng)時(shí)間的信息是行不通的。分析問(wèn)題以后其實(shí)是有解決辦法的，Schmidhuber 及 Hochreiter在1997年引進(jìn)了一個(gè)十分重要的概念，這最終解決了如何訓(xùn)練遞歸神經(jīng)網(wǎng)絡(luò)的問(wèn)題，這就是長(zhǎng)短期記憶（Long Short Term Memory, LSTM）。簡(jiǎn)言之，卷積神經(jīng)網(wǎng)絡(luò)及長(zhǎng)短期記憶的突破最終只為正常的神經(jīng)網(wǎng)絡(luò)模型帶來(lái)了一些小改動(dòng)：

LSTM的基本原理十分簡(jiǎn)單。當(dāng)中有一些單位被稱為恒常誤差木馬（Constant Error Carousels， CECs）。每個(gè)CEC使用一個(gè)激活函數(shù) f，它是一個(gè)恒常函數(shù)，並有一個(gè)與其自身的連接，其固定權(quán)重為1.0。由於 f 的恒常導(dǎo)數(shù)為1.0，通過(guò)CEC的誤差反向傳播將不會(huì)消失或爆炸（5.9節(jié)），而是保持原狀（除非它們從CEC「流出」到其他一些地方，典型的是「流到」神經(jīng)網(wǎng)絡(luò)的自適應(yīng)部分）。CEC被連接到許多非線性自適應(yīng)單元上（有一些單元具有乘法的激活函數(shù)），因此需要學(xué)習(xí)非線性行為。單元的權(quán)重改變經(jīng)常得益于誤差信號(hào)在時(shí)間里通過(guò)CECs往后傳播。為什么LSTM網(wǎng)絡(luò)可以學(xué)習(xí)探索發(fā)生在幾千個(gè)離散時(shí)間步驟前的事件的重要性，而之前的遞歸神經(jīng)網(wǎng)絡(luò)對(duì)于很短的時(shí)間步驟就已經(jīng)失敗了呢？CEC是最主要的原因。

但這對(duì)于解決更大的知覺問(wèn)題，即神經(jīng)網(wǎng)絡(luò)比較粗糙、沒有很好的表現(xiàn)這一問(wèn)題是沒有太大幫助的。用它們來(lái)工作是十分麻煩的——電腦不夠快、算法不夠聰明，人們不開心。所以在九十年代左右，對(duì)于神經(jīng)網(wǎng)絡(luò)一個(gè)新的AI寒冬開始來(lái)臨——社會(huì)對(duì)它們?cè)俅问バ判?。一個(gè)新的方法，被稱為支持向量機(jī)（Support Vector Machines），得到發(fā)展并且漸漸被發(fā)現(xiàn)是優(yōu)于先前棘手的神經(jīng)網(wǎng)絡(luò)。簡(jiǎn)單的說(shuō)，支持向量機(jī)就是對(duì)一個(gè)相當(dāng)于兩層的神經(jīng)網(wǎng)絡(luò)進(jìn)行數(shù)學(xué)上的最優(yōu)訓(xùn)練。事實(shí)上，在1995年，LeCun的一篇論文，「 Comparison of Learning Algorithms For Handwritten Digit Recognition」，就已經(jīng)討論了這個(gè)新的方法比先前較好的神經(jīng)網(wǎng)絡(luò)工作得更好，最起碼也表現(xiàn)一樣。

支持向量機(jī)分類器具有非常棒的準(zhǔn)確率，這是最顯著的優(yōu)點(diǎn)，因?yàn)榕c其他高質(zhì)量的分類器比，它對(duì)問(wèn)題不包含有先驗(yàn)的知識(shí)。事實(shí)上，如果一個(gè)固定的映射被安排到圖像的像素上，這個(gè)分類器同樣會(huì)有良好的表現(xiàn)。比起卷積網(wǎng)絡(luò)，它依然很緩慢，并占用大量?jī)?nèi)存。但由于技術(shù)仍較新，改善是可以預(yù)期的。

另外一些新的方法，特別是隨機(jī)森林（Random Forests），也被證明十分有效，并有強(qiáng)大的數(shù)學(xué)理論作為后盾。因此，盡管遞歸神經(jīng)網(wǎng)絡(luò)始終有不俗的表現(xiàn)，但對(duì)于神經(jīng)網(wǎng)絡(luò)的熱情逐步減退，機(jī)器學(xué)習(xí)社區(qū)再次否認(rèn)了它們。寒冬再次降臨。在第四部分，我們會(huì)看到一小批研究者如何在這條坎坷的道路上前行，并最終讓深度學(xué)習(xí)以今天的面貌向大眾展現(xiàn)。

參考文獻(xiàn)：

Anderson, C. W. (1989). Learning to control an inverted pendulum using neural networks. Control Systems Magazine, IEEE, 9(3), 31-37.?

Narendra, K. S., & Parthasarathy, K. (1990). Identification and control of dynamical systems using neural networks. Neural Networks, IEEE Transactions on, 1(1), 4-27.?

Lin, L. J. (1993). Reinforcement learning for robots using neural networks (No. CMU-CS-93-103). Carnegie-Mellon Univ Pittsburgh PA School of Computer Science.?

Tesauro, G. (1995). Temporal difference learning and TD-Gammon. Communications of the ACM, 38(3), 58-68.?

Thrun, S. (1995). Learning to play the game of chess. Advances in neural information processing systems, 7.?

Schraudolph, N. N., Dayan, P., & Sejnowski, T. J. (1994). Temporal difference learning of position evaluation in the game of Go. Advances in Neural Information Processing Systems, 817-817.?

Waibel, A., Hanazawa, T., Hinton, G., Shikano, K., & Lang, K. J. (1989). Phoneme recognition using time-delay neural networks. Acoustics, Speech and Signal Processing, IEEE Transactions on, 37(3), 328-339.?

Yann LeCun and Yoshua Bengio. 1998. Convolutional networks for images, speech, and time series. In The handbook of brain theory and neural networks, Michael A. Arbib (E()d.). MIT Press, Cambridge, MA, USA 255-258.?

Yoshua Bengio, A Connectionist Approach To Speech Recognition Int. J. Patt. Recogn. Artif. Intell., 07, 647 (1993).?

J. Schmidhuber. “Deep Learning in Neural Networks: An Overview”. “Neural Networks”, “61”, “85-117”. http://arxiv.org/abs/1404.7828?

Hochreiter, S. (1991). Untersuchungen zu dynamischen neuronalen Netzen. Diploma thesis, Institutfur Informatik, Lehrstuhl Prof. Brauer, Technische Universitat Munchen. Advisor: J. Schmidhuber.?

Bengio, Y.; Simard, P.; Frasconi, P., “Learning long-term dependencies with gradient descent is difficult,” in Neural Networks, IEEE Transactions on , vol.5, no.2, pp.157-166, Mar 1994?

Sepp Hochreiter and Jürgen Schmidhuber. 1997. Long Short-Term Memory. Neural Comput. 9, 8 (November 1997), 1735-1780. DOI=http://dx.doi.org/10.1162/neco.1997.9.8.1735.?

Y. LeCun, L. D. Jackel, L. Bottou, A. Brunot, C. Cortes, J. S. Denker, H. Drucker, I. Guyon, U. A. Muller, E. Sackinger, P. Simard and V. Vapnik: Comparison of learning algorithms for handwritten digit recognition, in Fogelman, F. and Gallinari, P. (Eds), International Conference on Artificial Neural Networks, 53-60, EC2 & Cie, Paris, 1995?

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識(shí)

QQ群：81035754