資訊專欄INFORMATION COLUMN
摘要：長期以來，困擾人工神經(jīng)網(wǎng)絡的難題就是如何設計出一套系統(tǒng)，不僅能夠自行學習，而且在嘗試新事物時，仍然記得曾經(jīng)學過的東西。
DeepMind的研究人員指出，讓系統(tǒng)學會「記憶」是一塊全新的研究領域，他們正在試圖解決這個難題。這篇文章正好談到這個問題并介紹了當前的研究進展。
雖然諸多科技大佬（譬如Musk、霍金）都悲觀的認為，人類終究會被自己制造出來的數(shù)字「生物」奴役。但現(xiàn)在，即便是最復雜的計算機，也無法與人類大腦比肩，其中一個原因就是那些模仿人腦的神經(jīng)網(wǎng)絡還無法像人類那樣進行記憶，但好（壞）消息是，的研究正在改變這種狀況。
長期以來，困擾人工神經(jīng)網(wǎng)絡的難題就是如何設計出一套系統(tǒng)，不僅能夠自行學習，而且在嘗試新事物時，仍然記得曾經(jīng)學過的東西。神經(jīng)網(wǎng)絡輸入時，它會在數(shù)字神經(jīng)元與輸出方案之間建立聯(lián)系。而當它學習新事物時，神經(jīng)網(wǎng)絡不得不重新建立新的聯(lián)系，同時有效覆蓋舊的聯(lián)系。
這被稱之為「災難性忘卻」（catastrophic forgetting），儼然成了人工智能實現(xiàn)與真實世界與時俱進路上的絆腳石。之前解決這個問題的一個方法是將神經(jīng)網(wǎng)絡接入一個外部記憶裝置，這個裝置儲存著機器學習過的一切信息。但是，問題在于，神經(jīng)網(wǎng)絡能夠自己學會記憶嗎？
既然人工神經(jīng)網(wǎng)絡的靈感源自生物學，當一個集合了法國、挪威和美國研究人員的國際團隊試圖從動物大腦獲取的靈感，利用模塊化（modularity）來解決「災難性忘卻」的難題，也就不足為奇了。
這個方法的出發(fā)點在于，動物大腦由許多緊密的神經(jīng)元（組成某個團簇的神經(jīng)元也和其他團簇松散相連）團簇模塊組成。通過將神經(jīng)網(wǎng)絡劃分為若干模塊，動物能夠?qū)W習更多的東西，那么通過這個辦法，人工神經(jīng)網(wǎng)絡的「記憶」研究能有新突破嗎？
圖片來自視頻截圖
在最近發(fā)布在PLoS Computational Biology（這是一份面向計算生物學的月刊，創(chuàng)立于2005年——譯者注）上的一篇論文中，研究人員展現(xiàn)了如何將動物進化原則以及現(xiàn)代記憶學習理論運用到神經(jīng)網(wǎng)絡，從而讓虛擬大腦中產(chǎn)生模塊。
科學家認為，受生物學啟發(fā)的第一個設計原則是大腦記憶成分布狀。當你回想某些信息時，并不存在一個供你提取信息的「中央記憶銀行」。研究人員面臨的第一個任務就是按照下述方式復制神經(jīng)網(wǎng)絡——當大腦處理某個任務時，關(guān)閉某些神經(jīng)元；在大腦處理其他任務時，再將關(guān)閉的神經(jīng)元打開，在此過程中，將神經(jīng)網(wǎng)絡分割成若干模塊 （segmenting the network into modules）。
第二個啟發(fā)點則是隨著時間的推移，在大腦內(nèi)部建立連接需要一定成本，比如能量。通過為神經(jīng)網(wǎng)絡連接活動設定「成本」，研究人員迫使神經(jīng)網(wǎng)絡節(jié)約用于處理輸入的節(jié)點，并以此鼓勵上述分割設計。由于「成本」很高，
網(wǎng)絡也不會變成一團亂的糾纏節(jié)點。
第三個原則就是人類、動物心理學中的一個古老原則：獎懲效應——通過獎勵鼓勵學習。換句話說，通過一定手段對神經(jīng)網(wǎng)絡的節(jié)點進行獎懲，鼓勵神經(jīng)網(wǎng)絡僅學習那些符合獎勵信號要求的輸出。
最后，在神經(jīng)網(wǎng)絡學習如何完成兩種不同的任務時，研究人員讓網(wǎng)絡自主地進化與變化，利用前述三種設計原則引導神經(jīng)網(wǎng)絡進化出最終組織形式。
結(jié)果，研究人員發(fā)現(xiàn)，分割（segmentation）和迫使減少連接的壓力，使得神經(jīng)網(wǎng)絡最終進化成一種高度模塊化的網(wǎng)絡，它能在學習其他技能時，記住之前學到的一切。
這正是邁向能夠進化、學習新事物的神經(jīng)網(wǎng)絡的一步，同時也是人工智能能與真實世界與時俱進的關(guān)鍵一步。但是，當神經(jīng)網(wǎng)絡學習如何新事物的時候，可能需要重復十幾次這樣的學習過程。
讓數(shù)字大腦學會「記憶」，可不是件容易的事兒。
文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址：http://m.hztianpu.com/yun/4290.html
摘要：摘要本文著重介紹了深度學習的一些關(guān)鍵術(shù)語，其中包括生物神經(jīng)元，多層感知器，前饋神經(jīng)網(wǎng)絡和遞歸神經(jīng)網(wǎng)絡。深度學習最近取得了令人吃驚的成就。人工神經(jīng)網(wǎng)絡機器學習架構(gòu)最初是由深度學習的腦神經(jīng)尤其是神經(jīng)元所啟發(fā)的。 摘要： 本文著重介紹了深度學習的一些關(guān)鍵術(shù)語，其中包括生物神經(jīng)元，多層感知器（MLP），前饋神經(jīng)網(wǎng)絡和遞歸神經(jīng)網(wǎng)絡。對于初學者來說，掌握它們可以防止在學習請教時的尷尬~ 深度學習已...
摘要：接上文深度學習和的聯(lián)合綜述上卷積神經(jīng)網(wǎng)絡卷積神經(jīng)網(wǎng)絡被設計用來處理到多維數(shù)組數(shù)據(jù)的，比如一個有個包含了像素值圖像組合成的一個具有個顏色通道的彩色圖像。近年來，卷積神經(jīng)網(wǎng)絡的一個重大成功應用是人臉識別。 三大牛Yann LeCun、Yoshua Bengio和Geoffrey Hinton在深度學習領域的地位無人不知。為紀念人工智能提出60周年，的《Nature》雜志專門開辟了一個人工智能 +...
摘要：深度學習現(xiàn)在被視為能夠超越那些更加直接的機器學習的關(guān)鍵一步。的加入只是谷歌那一季一系列重大聘任之一。當下谷歌醉心于深度學習，顯然是認為這將引發(fā)下一代搜索的重大突破。移動計算的出現(xiàn)已經(jīng)迫使谷歌改變搜索引擎的本質(zhì)特征。 Geoffrey Hiton說：我需要了解一下你的背景，你有理科學位嗎？Hiton站在位于加利福尼亞山景城谷歌園區(qū)辦公室的一塊白板前，2013年他以杰出研究者身份加入這家公司。H...
閱讀 3942·2021-09-10 11:22
閱讀 2446·2021-09-03 10:30
閱讀 3738·2019-08-30 15:55
閱讀 2058·2019-08-30 15:44
閱讀 906·2019-08-30 15:44
閱讀 647·2019-08-30 14:04
閱讀 3126·2019-08-29 17:18
閱讀 1338·2019-08-29 15:04
