資訊專欄INFORMATION COLUMN
摘要：為此，來自牛津大學(xué)和倫敦大學(xué)的研究人員提出了一種新的模型，與傳統(tǒng)處理器中的算術(shù)邏輯單元類比，他們稱該結(jié)構(gòu)為神經(jīng)算數(shù)邏輯單元。故而研究者進一步提出了，神經(jīng)算數(shù)邏輯單元。結(jié)構(gòu)簡單，功能強大，盡管論文剛剛發(fā)布數(shù)日，卻已經(jīng)引起熱議。
計算機問世以來，人類對于制造智能機器的興趣便有增無減。尤其是近年來，第四次技術(shù)革命掀起巨大的風(fēng)暴，機器學(xué)習(xí)和深度學(xué)習(xí)領(lǐng)域技術(shù)飛速發(fā)展并快速轉(zhuǎn)化為產(chǎn)品走入人們的生活，人工智能儼然成為了全民話題。能識別人臉，能自動駕駛，能診斷疾病，能預(yù)測未來……人們早已開始幻想制造出真正的人工智能時的景象，探討人類與這位“超人”的關(guān)系。
?
圖一：《極限挑戰(zhàn)》人工智能主題節(jié)目
?
然而，人類距離制造出這樣一個擁有真正的智能的機器還有相當(dāng)遙遠的距離。當(dāng)下人工智能領(lǐng)域當(dāng)之無愧的明星神經(jīng)網(wǎng)絡(luò)，才剛剛學(xué)會“數(shù)數(shù)”。
?
神經(jīng)網(wǎng)絡(luò)可以在學(xué)習(xí)表示和操縱數(shù)字，但當(dāng)他們遇到超出訓(xùn)練范圍之外的數(shù)值時，卻往往不知所措。圖一中展示了不同多層感知器學(xué)習(xí)標量的恒等函數(shù)（f(x)=x）時的行為。恒等函數(shù)是最簡單的數(shù)值關(guān)系之一，盡管許多結(jié)構(gòu)在理論上可以表示這一數(shù)值關(guān)系，但在實踐中它們的表現(xiàn)卻差強人意。
?
圖二：利用 MLP（多層感知器）學(xué)習(xí)恒等函數(shù)。MLP 只“學(xué)會”了訓(xùn)練數(shù)據(jù)數(shù)值范圍內(nèi)的內(nèi)容。訓(xùn)練數(shù)值外的平均誤差斜向上升。誤差的大小與模型激活函數(shù)的非線性程度相關(guān)。
?
究其原因，是系統(tǒng)結(jié)構(gòu)導(dǎo)致泛化能力的缺失，使得這些模型缺乏對數(shù)值的推理能力。然而，從像人類一樣的高級哺乳動物到如蜜蜂等昆蟲般簡單的生物，這種能力在生物界十分常見。由此也表明，基本的數(shù)值推理是智能的基本的組成部分。
?
為此，來自 DeepMind、牛津大學(xué)和倫敦大學(xué)的研究人員提出了一種新的模型 NALU（neural arithmetic logic unit），與傳統(tǒng)處理器中的算術(shù)邏輯單元類比，他們稱該結(jié)構(gòu)為神經(jīng)算數(shù)邏輯單元。
NALU 通過線性激活函數(shù)表示數(shù)值量，由門結(jié)構(gòu)控制，通過原始的算術(shù)運算來操縱。實驗結(jié)果表明，通過該結(jié)構(gòu)加強的神經(jīng)網(wǎng)絡(luò)可以學(xué)習(xí)追蹤時間、對數(shù)字圖像進行運算、將數(shù)值語言轉(zhuǎn)化為實值標量、執(zhí)行計算機代碼、計算圖像中的物體數(shù)目……和傳統(tǒng)結(jié)構(gòu)相比，該結(jié)構(gòu)在訓(xùn)練時學(xué)習(xí)的數(shù)值范圍之內(nèi)和在外都表現(xiàn)出了更好的泛化能力，可以把握數(shù)據(jù)底層的數(shù)值本質(zhì)，推理能力往往可以超出訓(xùn)練中觀測數(shù)據(jù)幾個數(shù)量級。
?
研究人員提出了兩種模型。第一個模型稱為 NAC（neural accumulator，神經(jīng)累積器）。這是一種特殊的線性層，它的轉(zhuǎn)換矩陣 W 僅僅由 0，-1，1 組成。也就是說，它的輸出只會是輸入向量各個行進行加減運算的結(jié)果，而不會像之前的處理包含縮放。因此，不論進行多少操作，在整個模型中，數(shù)值表示的尺度都是不變的。該模型不包含偏置向量，也不對輸出結(jié)果應(yīng)用任何非線性操作。
?
圖三：NAC 對其輸入進行線性轉(zhuǎn)換。NALU 通過門結(jié)構(gòu)（b 中橙色部分）控制兩個 NAC 結(jié)構(gòu)的組合和相應(yīng)的權(quán)重實現(xiàn)加減（b 中小紫色色部分）和乘除（b 中大紫色部分）操作。
?
僅僅可以進行加法減法操作并一般化是不夠的，乘法等更為復(fù)雜的操作也是必須的。故而研究者進一步提出了 NALU（neural arithmetic logic unit，神經(jīng)算數(shù)邏輯單元）。他通過學(xué)習(xí)得到兩個子細胞（NAC）的不同權(quán)重的和，其中一個處理加減操作，另一個處理乘除冪運算等。NALU 也表明了 NAC 可以通過門控制的子操作擴展，進行新型數(shù)值函數(shù)的端到端學(xué)習(xí)。和 NAC 一樣，NALU 也不包含任何改變數(shù)值表示的尺度的操作。
?
圖四：NAC 與 NALU 的運算規(guī)則
?
這項工作可以視為是在深度神經(jīng)網(wǎng)絡(luò)中應(yīng)用線性激活函數(shù)的倡導(dǎo)。正如最近其他結(jié)構(gòu)創(chuàng)新，如 Highway Networks、ResNets 和 DenseNet 等，他們都倡導(dǎo)使用線性連接以減少梯度爆照和梯度消失。盡管由于模型體系的深度增加會帶來額外的計算開銷，但這樣的方式的確會改善性能。這項工作也符合機器學(xué)習(xí)中更廣泛的主題，即尋求以控制方程的形式確定那些能探索空間中不可見部分的系統(tǒng)的基礎(chǔ)結(jié)構(gòu)。
?
實驗一：簡單的函數(shù)學(xué)習(xí)任務(wù)
這個簡單的實驗意在展示 NAC 結(jié)構(gòu)和 NALU 結(jié)構(gòu)學(xué)習(xí)選擇相關(guān)輸入并對其應(yīng)用不同算數(shù)方法的能力，也就是設(shè)計它們的初衷。該任務(wù)分成兩個部分。第一部分是靜態(tài)任務(wù)，每個輸入作為一個向量僅僅出現(xiàn)一次。第二個任務(wù)是循環(huán)的，輸入組成序列依次呈現(xiàn)。
?
圖五：實驗一測試結(jié)果 插入值（Interpolation）和外推（Extrapolation）錯誤率。0.0 是最優(yōu)的表現(xiàn)結(jié)果，100.0 表示隨機效果，>100.0 表示效果比隨機初始化的模型還差。
?
圖中的結(jié)果表明，各種模型即使在插值的處理中取得了不錯的結(jié)果，但是它們無一能較好地處理數(shù)值外推的情形。而 NAC 在加法，減法運算中均取得了較好的結(jié)果，更為復(fù)雜的 NALU 表現(xiàn)得則更為優(yōu)秀，除了數(shù)值外推的除法運算。
?
實驗二：MINST 計數(shù)和算數(shù)任務(wù)
在上一個任務(wù)中，輸入和輸出已經(jīng)被泛化為可以直接進行計算的形式，需要學(xué)習(xí)的僅僅是中間的操作和表示方法。在這個任務(wù)中，研究者探究了該模型能否學(xué)習(xí)非數(shù)字化輸入。他們隨機選擇 10 個 MNIST 數(shù)據(jù)集中的數(shù)字輸入循環(huán)網(wǎng)絡(luò)模型中。在 MNIST 計數(shù)任務(wù)中，要求其輸出各種類型數(shù)字出現(xiàn)的次數(shù)。在 MNIST 數(shù)字加法任務(wù)中，則要求其輸出這些數(shù)字的和。
?
圖六：實驗二測試結(jié)果
?
與實驗一呈現(xiàn)出的結(jié)果相同，標準結(jié)構(gòu)盡管可以較好的處理插值，在處理數(shù)值外推方面卻表現(xiàn)欠佳。而 NAC 結(jié)構(gòu)在這兩種情況下都表現(xiàn)優(yōu)異。
?
除此之外，研究者還進行了文本數(shù)字轉(zhuǎn)換、程序評估、時間追蹤等實驗，證明了 NALU 的優(yōu)良性能。這一結(jié)構(gòu)還可以很容易地與各種神經(jīng)網(wǎng)絡(luò)模型結(jié)合使用，提高模型性能。
?
NALU 結(jié)構(gòu)簡單，功能強大，盡管論文剛剛發(fā)布數(shù)日，卻已經(jīng)引起熱議。GitHub 上已經(jīng)出現(xiàn)了十幾個利用不同工具對該結(jié)構(gòu)的實現(xiàn)和應(yīng)用，其中包括包括 pytorch、tensorflow 等廣泛應(yīng)用的機器學(xué)習(xí)框架。研究者 Trask 也在 twitter 上不竭余力的為其宣傳，希望其在更多任務(wù)中被嘗試應(yīng)用。
參考：https://arxiv.org/pdf/1808.00508.pdf
github ：
https://github.com/search?utf8=%E2%9C%93&q=Neural+Arithmetic+Logic+Units&type
聲明：文章收集于網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系小編及時處理，謝謝！
歡迎加入本站公開興趣群商業(yè)智能與數(shù)據(jù)分析群
興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價值的辦法，實際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報表系統(tǒng)等全方位知識
QQ群：81035754
文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址：http://m.hztianpu.com/yun/4804.html
摘要：取得博士學(xué)位后，他加入的團隊，在多倫多大學(xué)攻讀博士后，在年跟和合著了提出深度信念網(wǎng)絡(luò)的論文。只有充分了解，才能做出強有力的戰(zhàn)略決策。這帶來的一個重大問題是，個人隱私數(shù)據(jù)被其他人控制。機器學(xué)習(xí)是數(shù)據(jù)驅(qū)動的，與統(tǒng)計數(shù)據(jù)緊密相關(guān)。 昨天，谷歌 DeepMind 聯(lián)合創(chuàng)始人 Demis Hassabis 發(fā)布了這樣一條消息：很高興 Yee Whye Teh 和 Simon Osindero 加入團隊...
摘要：是蒙特利爾大學(xué)的計算機科學(xué)家，他與以及另外幾個人被稱為深度學(xué)習(xí)的先驅(qū)。的結(jié)果顯示了深度學(xué)習(xí)的能力。讓人們激動的是這一領(lǐng)域的一種學(xué)習(xí)方法深度學(xué)習(xí)，能夠應(yīng)用于眾多不同的領(lǐng)域，谷歌機器智能研究部門負責(zé)人如今負責(zé)搜索引擎的表示，谷歌正在使用深度學(xué) 1. 「機器問題」重現(xiàn)從最初的屢屢失敗，到現(xiàn)在的朝氣蓬勃，人工智能會導(dǎo)致大面積失業(yè)甚至讓人類滅絕嗎？或許歷史會給我們一些有用的線索。有些人害怕機器會搶走所...
摘要：然而反向傳播自誕生起，也受到了無數(shù)質(zhì)疑。主要是因為，反向傳播機制實在是不像大腦。他集結(jié)了來自和多倫多大學(xué)的強大力量，對這些替代品進行了一次評估。號選手，目標差傳播，。其中來自多倫多大學(xué)和，一作和來自，來自多倫多大學(xué)。 32年前，人工智能、機器學(xué)習(xí)界的泰斗Hinton提出反向傳播理念，如今反向傳播已經(jīng)成為推動深度學(xué)習(xí)爆發(fā)的核心技術(shù)。然而反向傳播自誕生起，也受到了無數(shù)質(zhì)疑。這些質(zhì)疑來自各路科學(xué)家...
摘要：深度學(xué)習(xí)現(xiàn)在被視為能夠超越那些更加直接的機器學(xué)習(xí)的關(guān)鍵一步。的加入只是谷歌那一季一系列重大聘任之一。當(dāng)下谷歌醉心于深度學(xué)習(xí)，顯然是認為這將引發(fā)下一代搜索的重大突破。移動計算的出現(xiàn)已經(jīng)迫使谷歌改變搜索引擎的本質(zhì)特征。 Geoffrey Hiton說：我需要了解一下你的背景，你有理科學(xué)位嗎？Hiton站在位于加利福尼亞山景城谷歌園區(qū)辦公室的一塊白板前，2013年他以杰出研究者身份加入這家公司。H...
摘要：實驗蒙特祖瑪?shù)膹?fù)仇蒙特祖瑪?shù)膹?fù)仇是上最難的游戲之一。圖蒙特祖瑪?shù)膹?fù)仇的學(xué)習(xí)曲線在第一個房間中學(xué)習(xí)的子目標的可視化呈現(xiàn)。結(jié)論如何創(chuàng)建一個能夠?qū)W習(xí)將其行為分解為有意義的基元，然后重新利用它們以更有效地獲取新的行為，這是一個長期存在的研究問題。 論文題目：分層強化學(xué)習(xí)的 FeUdal 網(wǎng)絡(luò)（FeUdal Networks for Hierarchical Reinforcement Learnin...
閱讀 4289·2021-11-22 13:52
閱讀 2154·2021-09-22 15:12
閱讀 1211·2019-08-30 15:53
閱讀 3524·2019-08-29 17:12
閱讀 2255·2019-08-29 16:23
閱讀 1732·2019-08-26 13:56
閱讀 1845·2019-08-26 13:44
閱讀 1952·2019-08-26 11:56
