資訊專欄INFORMATION COLUMN
摘要：橡樹嶺國家實驗室的研究人員通過使用基于的方法，將數(shù)千個網(wǎng)絡(luò)劃分開，在超過個上運行，從而進行大規(guī)模深度學(xué)習(xí)。神經(jīng)元裝置，特別是那些像橡樹嶺國家實驗室開發(fā)的脈沖神經(jīng)網(wǎng)絡(luò)，，可以卸載一些包含時間序列元素神經(jīng)網(wǎng)絡(luò)。
橡樹嶺國家實驗室圖
從系統(tǒng)的架構(gòu)的復(fù)雜性上來講，摩爾定律很難對其適用。
盡管如此，過去兩年來，我們一直在迎來了新一輪針對深度學(xué)習(xí)和其他專業(yè)工作的新架構(gòu)熱潮，并涌現(xiàn)出FPGA、更快的GPU，以及迅速出現(xiàn)的開放架構(gòu)等。這些架構(gòu)在頂尖的系統(tǒng)架構(gòu)師中一樣不落，它們急于被應(yīng)用，以建立可以有效消化不斷增長的數(shù)據(jù)集的系統(tǒng)，具有更好的性能、更低的功耗，同時保持可編程性和可擴展性。
橡樹嶺國家實驗室的研究人員通過使用基于MPI的方法，將數(shù)千個網(wǎng)絡(luò)劃分開，在超過18000個GPU上運行，從而進行大規(guī)模深度學(xué)習(xí)。正如科研人員所討論的那樣，將深度學(xué)習(xí)和機器學(xué)習(xí)添加到超級計算應(yīng)用程序組合中，可以更好地利用大量的科學(xué)數(shù)據(jù)庫，并提高了仿真的復(fù)雜性和最終的功能。
Thomas Potok
科學(xué)家創(chuàng)建自動生成的神經(jīng)網(wǎng)絡(luò)，以方便研究人員對神經(jīng)網(wǎng)絡(luò)進行更進一步的硬件調(diào)查。托馬斯?波托克（Thomas Potok）和他的團隊建立了一個新穎的深度學(xué)習(xí)工作流，充分利用了超級計算機、神經(jīng)元設(shè)備和量子計算機。Thomas E. Potok博士是橡樹嶺國家實驗室（ORNL）計算數(shù)據(jù)分析小組的創(chuàng)始人。
titan超算圖
他們評估了這三個計算平臺的優(yōu)勢，并發(fā)現(xiàn)他們能夠通過使用HPC模擬數(shù)據(jù)作為其在titan超算上的自動網(wǎng)絡(luò)工具生成的卷積神經(jīng)網(wǎng)絡(luò)的基準線，然后將該網(wǎng)絡(luò)的單元移動到量子計算機（使用南加州大學(xué) /洛克希德設(shè)計的1000量子位計算機）和神經(jīng)元（由橡樹嶺國家實驗室開發(fā)）設(shè)備上，來處理他們最擅長的單元。
比較超算、量子計算機和神經(jīng)元裝置在深度學(xué)習(xí)應(yīng)用中的性能是比較困難的，因為測量標準是不同的，有各有所長。Potok表示，量子系統(tǒng)可以提供深度連接的網(wǎng)絡(luò)并表達更多的信息，而不需要傳統(tǒng)機器的計算成本，但是，無法跨越整個深度學(xué)習(xí)工作流。
上圖顯示了ORNL研究人員應(yīng)用的超混合深度學(xué)習(xí)架構(gòu)。數(shù)據(jù)運行在Titan超算上的卷積網(wǎng)絡(luò)上，之后移動到量子計算一側(cè)，然后脈沖神經(jīng)網(wǎng)絡(luò)/神經(jīng)元利用以時間為中心的數(shù)據(jù)深挖這些結(jié)果。
神經(jīng)元裝置，特別是那些像橡樹嶺國家實驗室（DANNA）開發(fā)的脈沖神經(jīng)網(wǎng)絡(luò)（spiking neural network，SNN），可以卸載一些包含時間序列元素神經(jīng)網(wǎng)絡(luò)。換句話說，HPC模擬和網(wǎng)絡(luò)初始化在超級計算機上完成地較好，卷積神經(jīng)網(wǎng)絡(luò)的高階函數(shù)可以通過量子機來解決，而結(jié)果則可以從神經(jīng)網(wǎng)絡(luò)設(shè)備以時間層面進行進一步分析。
“有了科學(xué)的數(shù)據(jù)，你通常會得到一個與時間相關(guān)的成像。你會得到一個與粒子交互的傳感器。對于神經(jīng)網(wǎng)絡(luò)，我們可以采用標準卷積神經(jīng)網(wǎng)絡(luò)，并且具有互補的脈沖神經(jīng)網(wǎng)絡(luò)，用于數(shù)據(jù)或?qū)嶒灥臅r間單元。我們可以同時使用這些技術(shù)，不僅可以從圖像中的某個位置層面看待這個問題，而且可以在時間層面上看待這個問題。”
“三四年前，當(dāng)我們開始關(guān)注這一領(lǐng)域的時候，吳恩達和其他人都試圖在節(jié)點之間擴展神經(jīng)網(wǎng)絡(luò)。問題是，人們沒法超過64個節(jié)點”，Potok解釋說，“我們采取了不同的做法；我們選擇了難度較大的挑戰(zhàn)，通過配置網(wǎng)絡(luò)、構(gòu)建拓撲和參數(shù)，并使用進化優(yōu)化來自動配置它，而不是建立一個巨大的18000個節(jié)點的深度學(xué)習(xí)系統(tǒng)，我們使它成為了一個優(yōu)化問題。
“大公司已經(jīng)能夠自動執(zhí)行標注圖像或識別語音，但是這需要很多人為這些網(wǎng)絡(luò)辛苦工作。在HPC中，有很多數(shù)據(jù)集，但是沒有很多人在使用它們，了解它們的人更少，”Potok說。“試圖建立一個在那里工作的深度學(xué)習(xí)網(wǎng)絡(luò)將是艱巨的，這就是HPC開始流行的原因。我們可以很快地為一個新的數(shù)據(jù)集定制一個深度學(xué)習(xí)網(wǎng)絡(luò)，并快速獲得結(jié)果。最重要的是，它可以在Titan上進行擴展，然后到Summit超算或者是一臺超級計算機上?！?/p>
所有這些可能聽起來像是對集成發(fā)起了挑戰(zhàn)，即許多數(shù)據(jù)類型的工作朝著同一個最終結(jié)果進行——即使在整個問題中，輸入和輸出在分布式網(wǎng)絡(luò)上是分步生成的。Potok認為上述的架構(gòu)確實有效，但實際測試將會合并CNN和SNN，看看可能會取得什么樣的結(jié)果。最終，較大的問題就是混合架構(gòu)如何需要滿足計算和應(yīng)用需求。擁有一種新的、更強大的、可擴展的方式來創(chuàng)建更復(fù)雜的模擬結(jié)果將是有益的，但是很多設(shè)備尚未規(guī)?；a(chǎn)。
當(dāng)然，超大型理論工作是國家實驗室最擅長的部分，但這可能會超越下一代機器的概念。Potok并不認為在未來五年內(nèi)會出現(xiàn)如此大規(guī)模的混合體系結(jié)構(gòu)，而是認為，在未來十年，所有三種計算模式都將有希望。換句話說，不僅計算平臺是全新的，而且解決問題的方式也是全新的。
歡迎加入本站公開興趣群商業(yè)智能與數(shù)據(jù)分析群
興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價值的辦法，實際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報表系統(tǒng)等全方位知識
QQ群：81035754
文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址：http://m.hztianpu.com/yun/4511.html
摘要：在經(jīng)歷五年多的落后之后，如今美國終于在超級計算機領(lǐng)域再度超越中國，重奪頭名桂冠。這一消息在本周于德國法蘭克福舉行的年度國際超級計算機大會上正式公布。在經(jīng)歷五年多的落后之后，如今美國終于在超級計算機領(lǐng)域再度超越中國，重奪頭名桂冠。這臺由IBM公司為田納西州橡樹嶺國家實驗室建造的Summit超級計算機（如上圖所示）在本周一發(fā)布的全球超算五百強中位列第一（這份榜單每年發(fā)布兩輪，列舉世界上五百臺最為...
摘要：現(xiàn)在，騰訊正在將新服務(wù)器集成到它為大數(shù)據(jù)工作負載提供服務(wù)的超大規(guī)模數(shù)據(jù)中心上。這將有助于騰訊抑制數(shù)據(jù)中心的擴張。 上圖：IBM 為高性能計算提供的Linux 服務(wù)器，圖片來源：IBMIBM已經(jīng)推出了三代Power8 Linux服務(wù)器，旨在加快人工智能、深度學(xué)習(xí)和先進分析的應(yīng)用。IBM的副總裁Stefanie Chiras在VentureBeat的采訪中說，這個新系統(tǒng)開發(fā)了Nvidia NVL...
摘要：深度學(xué)習(xí)方法是否已經(jīng)強大到可以使科學(xué)分析任務(wù)產(chǎn)生最前沿的表現(xiàn)在這篇文章中我們介紹了從不同科學(xué)領(lǐng)域中選擇的一系列案例，來展示深度學(xué)習(xí)方法有能力促進科學(xué)發(fā)現(xiàn)。 深度學(xué)習(xí)在很多商業(yè)應(yīng)用中取得了前所未有的成功。大約十年以前，很少有從業(yè)者可以預(yù)測到深度學(xué)習(xí)驅(qū)動的系統(tǒng)可以在計算機視覺和語音識別領(lǐng)域超過人類水平。在勞倫斯伯克利國家實驗室（LBNL）里，我們面臨著科學(xué)領(lǐng)域中最具挑戰(zhàn)性的數(shù)據(jù)分析問題。雖然商業(yè)...
摘要：而從貝葉斯概率視角描述深度學(xué)習(xí)會產(chǎn)生很多優(yōu)勢，即具體從統(tǒng)計的解釋和屬性，從對優(yōu)化和超參數(shù)調(diào)整更有效的算法，以及預(yù)測性能的解釋這幾個方面進一步闡述。貝葉斯層級模型和深度學(xué)習(xí)有很多相似的優(yōu)勢。 論文地址：https://arxiv.org/abs/1706.00473深度學(xué)習(xí)是一種為非線性高維數(shù)據(jù)進行降維和預(yù)測的機器學(xué)習(xí)方法。而從貝葉斯概率視角描述深度學(xué)習(xí)會產(chǎn)生很多優(yōu)勢，即具體從統(tǒng)計的解釋和屬性...
摘要：，，微軟顯然位居第二，占有大約的市場份額，領(lǐng)先于和谷歌，位列第三和阿里巴巴。與此同時，谷歌一年來情緒錯綜復(fù)雜。然而，谷歌云主管的離開，使得不久的將來成為一個有趣的未來。，對已經(jīng)過度緊張的安全部門的沉重負擔(dān)。永別了，2018年，大家好，2019年：云計算的最后12個月——以及HorizonTweet2018年是另一個精彩的一年，當(dāng)它涉及到云計算時，伴隨著新興的技術(shù)，這些技術(shù)補充并依賴于云。相應(yīng)...
閱讀 4077·2021-09-22 16:03
閱讀 5496·2021-09-22 15:40
閱讀 1281·2021-09-06 15:02
閱讀 926·2019-08-30 15:53
閱讀 2319·2019-08-29 15:35
閱讀 1167·2019-08-23 18:22
閱讀 3414·2019-08-23 16:06
閱讀 704·2019-08-23 12:27
