摘要：三人造神經(jīng)元工作原理及電路實現(xiàn)人工神經(jīng)網(wǎng)絡人工神經(jīng)網(wǎng)絡，縮寫，簡稱神經(jīng)網(wǎng)絡，縮寫，是一種模仿生物神經(jīng)網(wǎng)絡的結(jié)構(gòu)和功能的數(shù)學模型或計算模型。神經(jīng)網(wǎng)絡是一種運算模型，由大量的節(jié)點或稱神經(jīng)元，或單元和之間相互聯(lián)接構(gòu)成。

一、與傳統(tǒng)計算機的區(qū)別

1946年美籍匈牙利科學家馮·諾依曼提出存儲程序原理，把程序本身當作數(shù)據(jù)來對待。此后的半個多世紀以來，計算機的發(fā)展取得了巨大的進步，但“馮·諾依曼架構(gòu)”中信息存儲器和處理器的設計一直沿用至今，連接存儲器和處理器的信息傳遞通道仍然通過總線來實現(xiàn)。隨著處理的數(shù)據(jù)量海量地增長，總線有限的數(shù)據(jù)傳輸速率被稱為“馮·諾依曼瓶頸”——尤其是移動互聯(lián)網(wǎng)、社交網(wǎng)絡、物聯(lián)網(wǎng)、云計算、高通量測序等的興起，使得‘馮·諾依曼瓶頸’日益突出，而計算機的自我糾錯能力缺失的局限性也已成為發(fā)展障礙。

結(jié)構(gòu)上的缺陷也導致功能上的局限。例如，從效率上看，計算機運算的功耗較高——盡管人腦處理的信息量不比計算機少，但顯然而功耗低得多。為此，學習更多層的神經(jīng)網(wǎng)絡，讓計算機能夠更好地模擬人腦功能，成為上世紀后期以來研究的熱點。

在這些研究中，核心的研究是“馮·諾依曼架構(gòu)”與“人腦架構(gòu)”的本質(zhì)結(jié)構(gòu)區(qū)別——與計算機相比，人腦的信息存儲和處理，通過突觸這一基本單元來實現(xiàn)，因而沒有明顯的界限。正是人腦中的千萬億個突觸的可塑性——各種因素和各種條件經(jīng)過一定的時間作用后引起的神經(jīng)變化（可變性、可修飾性等），使得人腦的記憶和學習功能得以實現(xiàn)。

大腦有而計算機沒有的三個特性:低功耗（人腦的能耗僅約20瓦，而目前用來嘗試模擬人腦的超級計算機需要消耗數(shù)兆瓦的能量）；容錯性（壞掉一個晶體管就能毀掉一塊微處理器，但是大腦的神經(jīng)元每時每刻都在死亡）；還有不需為其編制程序（大腦在與外界互動的同時也會進行學習和改變，而不是遵循預設算法的固定路徑和分支運行。）

這段描述可以說是“電”腦的最終理想了吧。

注：最早的電腦也是模擬電路實現(xiàn)的，之后發(fā)展成現(xiàn)在的只有0、1的數(shù)字CPU。

今天的計算機用的都是所謂的馮諾依曼結(jié)構(gòu)，在一個中央處理器和記憶芯片之間以線性計算序列來回傳輸數(shù)據(jù)。這種方式在處理數(shù)字和執(zhí)行較精確撰寫的程序時非常好用，但在處理圖片或聲音并理解它們的意義時效果不佳。

有件事很說明問題：2012年，谷歌展示了它的人工智能軟件在未被告知貓是什么東西的情況下，可以學會識別視頻中的貓，而完成這個任務用到了1.6萬臺處理器。

要繼續(xù)改善這類處理器的性能，生產(chǎn)商得在其中配備更多更快的晶體管、硅存儲緩存和數(shù)據(jù)通路，但所有這些組件產(chǎn)生的熱量限制了芯片的運作速度，尤其在電力有限的移動設備中。這可能會阻礙人們開發(fā)出有效處理圖片、聲音和其他感官信息的設備，以及將其應用于面部識別、機器人，或者交通設備航運等任務中。

神經(jīng)形態(tài)芯片嘗試在硅片中模仿人腦以大規(guī)模的平行方式處理信息：幾十億神經(jīng)元和千萬億個突觸對視覺和聲音刺激物這類感官輸入做出反應。

作為對圖像、聲音等內(nèi)容的反應，這些神經(jīng)元也會改變它們相互間連接的方式，我們把這個過程叫做學習。神經(jīng)形態(tài)芯片納入了受人腦啟發(fā)的“神經(jīng)網(wǎng)路”模式，因此能做同樣的事。

人工智能的頂尖思想家杰夫·霍金斯（Jeff Hawkins）說，在傳統(tǒng)處理器上用專門的軟件嘗試模擬人腦（谷歌在貓實驗中所做的），以此作為不斷提升的智能基礎，這太過低效了。

霍金斯創(chuàng)造了掌上電腦（Palm Pilot），后來又聯(lián)合創(chuàng)辦了Numenta公司，后者制造從人腦中獲得啟發(fā)的軟件?！澳悴豢赡苤辉谲浖薪ㄔ焖?，”他說到人工智能，“你必須在硅片中建造它?！?/p>

現(xiàn)有的計算機計算，程序的執(zhí)行是一行一行執(zhí)行的，而神經(jīng)網(wǎng)絡計算機則有所不同。

現(xiàn)行的人工智能程式，基本上都是將大大小小的各種知識寫成一句一句的陳述句，再灌進系統(tǒng)之中。當輸入問題進去智能程式時，它就會搜尋本身的資料庫，再選擇出較佳或最近解。2011年時，IBM 有名的 Watson 智能電腦，便是使用這樣的技術(shù)，在美國的電視益智節(jié)目中打敗的人類的最強衛(wèi)冕者。

（神經(jīng)網(wǎng)絡計算機）以這種異步信號發(fā)送（因沒有能使其同步的中央時鐘而得名）處理數(shù)據(jù)的速度比同步信號發(fā)送更快，以為沒有時間浪費在等待時鐘發(fā)出信號上。異步信號發(fā)送消耗的能量也更少，這樣便滿足了邁耶博士理想的計算機的第一個特點。如果有一個處理器壞了，系統(tǒng)會從另一路線繞過它，這樣便滿足了邁耶博士理想的計算機的第二個特點。正是由于為異步信號發(fā)送編程并不容易，所以大多數(shù)計算機工程師都無視于此。然而其作為一種模仿大腦的方式堪稱完美。

功耗方面：

硬件方面，近年來主要是通過對大型神經(jīng)網(wǎng)絡進行仿真，如 Google 的深度學習系統(tǒng)Google Brain，微軟的Adam等。但是這些網(wǎng)絡需要大量傳統(tǒng)計算機的集群。比方說 Google Brain 就采用了 1000 臺各帶 16 核處理器的計算機，這種架構(gòu)盡管展現(xiàn)出了相當?shù)哪芰Γ悄芎囊廊痪薮?。?IBM 則是在芯片上的模仿。4096 個內(nèi)核，100 萬個“神經(jīng)元”、2.56 億個“突觸”集成在直徑只有幾厘米的方寸（是 2011 年原型大小的 1/16）之間，而且能耗只有不到 70 毫瓦。

IBM 研究小組曾經(jīng)利用做過 DARPA 的NeoVision2 Tower數(shù)據(jù)集做過演示。它能夠?qū)崟r識別出用 30 幀每秒的正常速度拍攝自斯坦福大學胡佛塔的十字路口視頻中的人、自行車、公交車、卡車等，準確率達到了 80%。相比之下，一臺筆記本編程完成同樣的任務用時要慢 100 倍，能耗卻是 IBM 芯片的 1 萬倍。

Ref: A million spiking-neuron integrated circuit with a Scalable communication network and interface. Paul A. Merolla et al. Science 345, 668 (2014); DOI: 10.1126/science.1254642

因為需要擁有極多數(shù)據(jù)的Database 來做training以及需要極強大的計算能力來做prediction，現(xiàn)有的一些Deep learning如Andrew Ng的Google Brain、Apple的Siri等都需要連接網(wǎng)絡到云端的服務器。

二、爭議：

雖然深度學習已經(jīng)被應用到尖端科學研究及日常生活當中，而 Google 已經(jīng)實際搭載在核心的搜尋功能之中。但其他知名的人工智能實驗室，對於深度學習技術(shù)的反應並不一致。例如艾倫人工智慧中心的執(zhí)行長 Oren Etzioni，就沒有考慮將深度學習納入當前開發(fā)中的人工智慧系統(tǒng)中。該機構(gòu)目前的研究是以小學程度的科學知識為目標，希望能開發(fā)出光是看學校的教科書，就能夠輕鬆應付各類考試的智能程式。Oren Etzioni 以飛機為例，他表示，最成功的飛機設計都不是來自於模仿鳥的結(jié)構(gòu)，所以腦神經(jīng)的類比並無法保證人工智能的實現(xiàn)，因此他們暫不考慮借用深度學習技術(shù)來開發(fā)這個系統(tǒng)。

但是從短期來看，情況也許并沒有那么樂觀。

首先芯片的編程仍然是個大問題。芯片的編程要考慮選擇哪一個神經(jīng)元來連接，以及神經(jīng)元之間相互影響的程度。比方說，為了識別上述視頻中的汽車，編程人員首先要對芯片的仿真版進行必要的設置，然后再傳給實際的芯片。這種芯片需要顛覆以往傳統(tǒng)的編程思想，盡管 IBM 去年已經(jīng)發(fā)布了一套工具，但是目前編程仍非常困難，IBM 團隊正在編制令該過程簡單一點的開發(fā)庫。（當然，如果我們回顧過去編程語言從匯編一路走來的歷史，這一點也許不會成為問題。）

其次，在部分專業(yè)人士看來，這種芯片的能力仍有待證實。

再者，真正的認知計算應該能從經(jīng)驗中學習，尋找關(guān)聯(lián)，提出假設，記憶，并基于結(jié)果學習，而IBM 的演示里所有學習（training）都是在線下的馮諾依曼計算機上進行的。不過目前大多數(shù)的機器學習都是離線進行的，因為學習經(jīng)常需要對算法進行調(diào)整，而 IBM 的硬件并不具備調(diào)整的靈活性，不擅長做這件事情。

三、人造神經(jīng)元工作原理及電路實現(xiàn)

人工神經(jīng)網(wǎng)絡

人工神經(jīng)網(wǎng)絡（artificial neural network，縮寫ANN），簡稱神經(jīng)網(wǎng)絡（neural network，縮寫NN），是一種模仿生物神經(jīng)網(wǎng)絡的結(jié)構(gòu)和功能的數(shù)學模型或計算模型。

神經(jīng)網(wǎng)絡是一種運算模型，由大量的節(jié)點（或稱“神經(jīng)元”，或“單元”）和之間相互聯(lián)接構(gòu)成。每個節(jié)點代表一種特定的輸出函數(shù)，稱為激勵函數(shù)（activation function）。每兩個節(jié)點間的連接都代表一個對于通過該連接信號的加權(quán)值，稱之為權(quán)重（weight），這相當于人工神經(jīng)網(wǎng)絡的記憶。網(wǎng)絡的輸出則依網(wǎng)絡的連接方式，權(quán)重值和激勵函數(shù)的不同而不同。而網(wǎng)絡自身通常都是對自然界某種算法或者函數(shù)的逼近，也可能是對一種邏輯策略的表達。

Ref：Wikipedia： 人工神經(jīng)網(wǎng)絡

電路原理

神經(jīng)遞質(zhì)的分泌反過來又是對動作電位刺激的反應。然而神經(jīng)元在接收到這些神經(jīng)遞質(zhì)信號中的一個后便不會再繼續(xù)發(fā)出動作電位。當然，它們會逐漸累加至一個極限值。在神經(jīng)元接受了一定數(shù)量的信號并超過極限值后----從根本上講是一個模擬進程----然后它們會發(fā)出一個動作電位，并自行重置。Spikey的人造神經(jīng)元也是這么做的，當它們每次受到激發(fā)時都會在電容中累積電荷，直至達到限值，電容再進行放電。

具體電路結(jié)構(gòu)和分析之后有機會的話再更新。

現(xiàn)階段硬件的實現(xiàn)方式有數(shù)電（IBM、Qualcomm）、模電、數(shù)模混合（學界）、GPUs等等，還有各種不是基于硅半導體制程制作的神經(jīng)元等的device方面的研究。

四、歷史

Neuromorphic engineering由老祖宗Carver Mead提出

卡?！っ椎率羌又堇砉W院的一名工程師，被公認為神經(jīng)形態(tài)計算機之父（當然還發(fā)明了“神經(jīng)形態(tài)學”這個詞）

神經(jīng)形態(tài)芯片的創(chuàng)意可以追溯到幾十年前。加州理工大學的退休教授、集成電路設計的傳奇人物卡弗·米德（Carver Mead）在1990年發(fā)表的一篇論文中首次提出了這個名稱。

這篇論文介紹了模擬芯片如何能夠模仿腦部神經(jīng)元和突觸的電活動。所謂模擬芯片，其輸出是變化的，就像真實世界中發(fā)生的現(xiàn)象，這和數(shù)字芯片二進制、非開即關(guān)的性質(zhì)不同。

Carver Mead是超大規(guī)模集成電路(VLSI)之父、定義了摩爾定律。

關(guān)于這個領(lǐng)域的著作 C. Mead, Analog VLSI and Neural Systems.Boston, MA, USA: Addison-Wesley, 1989.Analog VLSI and Neural Systems: Carver Mead: 9780201059922: Amazon.com: Books

Carver MeadCNS :: Carver Mead 中文介紹卡弗?米德-半導體人物

California Institute of Technology的Computation & Neural Systems group Computation & Neural Systems :: CALTECH

此外Jeff Hawkins在TED的演講也值得一看

Jeff Hawkins: How brain science will change computing

TED演講：Jeff Hawkins.大腦研究將改變計算機科學【高清中文字幕】

http://www.tudou.com/programs/view/tq07cQoYxB4/

摘其中有意思的一段：

后來這（大腦研究）成為我畢生的工作，我覺得我可以有所貢獻，我嘗試離開計算機行業(yè)而專注大腦研究。首先我去了MIT的人工智能研究院，我想，我也想設計和制作聰明的機器，但我的想法是先研究大腦怎么運作。而他們說，呃，你不需要這樣做，我們只需要計算機編程。而我說，不，你應該先研究大腦。他們說，呃，你錯了。而我說，不，你們錯了。最后我沒被錄取。但我真的有點失望，那時候年輕，但我再嘗試。幾年后再加州的Berkley，這次我嘗試去學習生物方面的研究。我開始攻讀生物物理博士課程。我在學習大腦了，而我想學理論。而他們說，不，你不可以學大腦的理論，這是不可以的，你不會拿到研究經(jīng)費，而作為研究生，沒有經(jīng)費是不可以的。我的天。

八卦：老師說neural network這個方向每20年火一次，之前有很長一段時間的沉寂期，甚至因為理論的不完善一度被認為是江湖術(shù)士的小把戲，申請研究經(jīng)費都需要改課題名稱才能成功。（這段為小弟的道聽途說，請大家看過就忘。后來看相關(guān)的資料發(fā)現(xiàn)，這段歷史可能與2006年Geoffrey E. Hinton提出深度學習的概念這一革命性工作改變了之前的狀況有關(guān)。）

五、針對IBM這次的工作：

關(guān)于 SyNAPSE

美國國防部先進研究項目局的研究項目，由兩個大的group組成：IBM team和HRL Team。

Synapse在英文中是突觸的意思，而SyNAPSE是Systems of Neuromorphic Adaptive Plastic Scalable Electronics的簡稱。

Cognitive computing: Neurosynaptic chips

IBM produces first working chips modeled on the human brain

另一個SyNAPSE項目是由IBM阿爾馬登實驗室（位于圣何塞）的達爾門德拉·穆德哈負責。與四所美國大學（哥倫比亞大學，康奈爾大學，加州大學默塞德分校以及威斯康辛-麥迪遜大學）合作，穆德哈博士及其團隊制造了一臺神經(jīng)形態(tài)學計算機的原型機，擁有256個“積分觸發(fā)式”神經(jīng)元，之所以這么叫是因為這些神經(jīng)元將自己的輸入累加（即積分）直至達到閾值，然后發(fā)出一個信號后再自行重置。它們在這一點上與Spikey中的神經(jīng)元類似，但是電子方面的細節(jié)卻有所不同，因為它們是由一個數(shù)字儲存器而非許多電容來記錄輸入信號的。

Ref: A million spiking-neuron integrated circuit with a scalable communication network and interface. Paul A. Merolla et al. Science 345, 668 (2014); DOI: 10.1126/science.1254642

IBM 的網(wǎng)站上有一篇很好的報道供參考Cognitive computing: Neurosynaptic chips

中文的話36kr的這篇報道寫得非常好 http://www.36kr.com/p/214445.htm

六、Reference

以上引用部分的reference以及推薦幾篇看到的很有價值的干貨資料：

The Economist有一篇長文非常詳細 Neuromorphic computing: The machine of a new soul

（譯言的翻譯版 譯者： gg1122譯言網(wǎng) | 計算機脫胎換骨）

生命科學研究快報 作者：于建榮 江洪波 神經(jīng)形態(tài)芯片：仿生學的驅(qū)動力 --神經(jīng)--新聞 --生物360 --中文生命科學界資訊站

36Kr 作者: boxi ?TrueNorth：IBM的百萬神經(jīng)元類人腦芯片

搜狐IT “人腦”芯片離我們有多遠？

Nature Nicola JonesComputer science: The learning machines : Nature News & Comment

(譯文 曾郁蓁 ?深度學習──人工智能的現(xiàn)在與未來）

國立臺灣大學科學教育發(fā)展中心 特約寫手方程毅 【神經(jīng)科學】漫談神經(jīng)形態(tài)工程學

神經(jīng)網(wǎng)絡和人工腦http://www.braincampaign.org/Common/Docs/Files/2766/chchap16.pdf

MITTechReview 羅伯特·霍夫（Robert D. Hof） 2014年全球十大突破技術(shù)：高通的神經(jīng)形態(tài)芯片

學術(shù)論文：14年的兩篇IEEE Press很好

[1]B. V. Benjamin, P. Gao, E. McQuinn, S. Choudhary, A. Chandrasekaran, J.-M. Bussat, R. Alvarez-Icaza, J. Arthur, P. Merolla, and K. Boahen, “Neurogrid: A mixed-analog-digital multichip system for large-scale neural simulations,” Proceedings of the IEEE, vol. 102 no. 5, pp. 699–716, May 2014.

[2]Furber, S.B.; Galluppi, F.; Temple, S.; Plana, L.A The SpiNNaker Project.IEEE Proceedings, Vol:102, Iss:5 pp 652-665, May 2014. ISSN 0018-9219 IEEE Xplore Abstract

[3]以及IBM這次發(fā)表在Sceince上的這篇 Paul A. Merolla et al. A million spiking-neuron integrated circuit with a scalable communication network and interface. Science 345, 668 (2014); DOI: 10.1126/science.1254642Science Magazine: Sign In

[4]S Menon, S Fok, A Neckar, O Khatib, and K Boahen, Controlling Articulated Robots in Task-Space with Spiking Silicon Neurons, IEEE International Conference on Biomedical Robotics and Biomechatronics (BioRob), IEEE Press, pp nn-mm, 2014.

http://web.stanford.edu/group/brainsinsilicon/documents/Menon-BioRob.pdf

[5] Challenges for Brain Emulation: Why is Building a Brain so Difficult?

http://synapticlink.org/Brain%20Emulation%20Challenges.pdf

七、現(xiàn)有的部分業(yè)界學界神經(jīng)形態(tài)芯片相關(guān)工作的介紹：

產(chǎn)業(yè)界：

IBM

高通 Zeroth

Introducing Qualcomm Zeroth Processors: Brain-Inspired Computing

新聞介紹Qualcomm’s Neuromorphic Chips Could Make Robots and Phones More Astute About the World

中文2014年全球十大突破技術(shù)：高通的神經(jīng)形態(tài)芯片 （推薦）

Intel

上個月（2012），英特爾宣布啟動了一項模擬人類大腦活動的技術(shù)研究工作。現(xiàn)在，該公司的工程師在預印本網(wǎng)站上遞交了一篇論文，透露了神經(jīng)形態(tài)芯片設計，模擬大腦神經(jīng)元行為。他們的設計基于兩項技術(shù)：橫向自旋閥（lateral spin valves）和憶阻器。橫向自旋閥是一種金屬線連接的小型磁鐵，能根據(jù)通過的電子自旋方向開關(guān)。憶阻器則是有記憶功能的非線性電阻器。英特爾工程師設計的芯片架構(gòu)工作方式類似神經(jīng)元，能復制出大腦處理能力。橫向自旋閥工作的終端電壓在毫伏內(nèi)，遠低于傳統(tǒng)芯片，因此消耗的電力要少得多。

Intel Reveals Neuromorphic Chip Design

Solidot | 英特爾透露神經(jīng)形態(tài)芯片設計

HRL Laboratories?

HRL LaboratoriesHRL Laboratories : Laboratories : CNES : Center for Neural & Emergent Systems

Audience

Audience公司出于對神經(jīng)系統(tǒng)的學習性和可塑性、容錯、免編程、低能耗等特征進行了研究，研發(fā)出基于人的耳蝸而設計的神經(jīng)形態(tài)芯片，可以模擬人耳抑制噪音，應用于智能手機。Audience公司也由此成為行業(yè)內(nèi)領(lǐng)先的語音處理芯片公司。

Audience | Advanced Voice

相關(guān)技術(shù)論文Resources

Numenta

Numenta | New Era of Machine IntelligenceNumenta | NuPIC

CLA White Paper： CLA White PaperChinese Translation - Yu Tianxiang

Braincorporation（有高通投資）

Brain Corporation

學術(shù)界：

Standford 的Kwabena Boahen。

Boahen于1990年加入Mead在Caltech的實驗室，現(xiàn)為stanford的Principal Investigator。Brains in Silicon

Kwabena Boahen TED演講（有字幕）卡貝納?博罕談論像人腦般運作的電腦

模擬人腦的神經(jīng)形態(tài)計算方式漸成學界熱點

Universit?t Heidelberg的 Karlheinz Meier教授

VISION: The "Spikey" ChipFACETS Material

Manchester 的SpiNNaker

Research Groups: APT

Institute of Neuroinformatics 蘇黎世神經(jīng)信息研究所

（由蘇黎世大學與同城的一所工程院校ETH合辦）Giacomo Indiveri INI Institute of NeuroinformaticsINI Institute of Neuroinformatics People

歐盟人腦計劃

Home - The Human Brain Project

***現(xiàn)有的一些研究group的列表及比較（非常詳細，推薦）

Comparison of Artificial Brain Projects

Brain Project Comparison

ps：其實IC業(yè)和CS的之間的代溝也并不是那么大，比如ISSCC 2015的conference theme就是SILICON SYSTEMS — SMALL CHIPS for BIG DATA。

8/21更新，（多圖多視頻預警）有知友反應看了這么多還有些地方不太懂，小弟這兩天也在想各種方法怎么解釋得更清楚，后來發(fā)現(xiàn)，以前看過的一個視頻不就是Stanford的Boahen研究員（相當于教授）介紹他group的工作的么，這個視頻很多知友也一定看過：

斯坦福大學公開課:健康未來 七個顛覆你思想的演講：07 在芯片上搜索大腦

斯坦福大學：健康未來：七個顛覆你思想的演講 7.在芯片上搜索大腦

http://v.youku.com/v_show/id_XNTE2OTczNDE2.html

（Boahen研究員07年在TED也有一個演講，通俗易懂，卡貝納?博罕談論像人腦般運作的電腦）不過這個公開課比較早期了，詳細的解釋以及的研究成果還請大家參考后文。

2014/9/27更

剛剛果殼上發(fā)表了一篇USC博后 @米糯牛(知乎ID) 的文章，推薦閱讀： ?芯片造腦：科幻照進現(xiàn)實？

果殼上還有兩篇較早的文章 ?IBM:用超級計算機模擬人腦別了馮諾依曼，神經(jīng)芯片幾時來？

10/27更：路邊社小道消息：IBM這顆芯片是在Samsung流的片，可能有用到一些特殊工藝。于是TSMC坐不住了（不論將來類神經(jīng)芯片到底能不能火起來，現(xiàn)在一定要有積累，至少要知道對手在干什么），開始尋找這方面的學界合作了。

11/8更 在今天下午的騰訊“2014 WE大會”上IBM全球副總裁王陽介紹了IBM的神經(jīng)元芯片。

新聞稿和視頻如下：IBM王陽：計算的未來是把智慧注入設備

IBM王陽：計算的未來是把智慧注入設備

http://v.qq.com/cover/t/trg4ikjrtr4tols.html?vid=i0015g1aet7&start=38&ptag=tech_qq_com