資訊專欄INFORMATION COLUMN
摘要：等一下，什么樣的神經(jīng)網(wǎng)絡才算是小型的哈哈這不一定，會隨著時間改變。我們一般是依照神經(jīng)網(wǎng)絡之間的連接數(shù)劃分。訓練的神經(jīng)網(wǎng)絡的連接數(shù)量一般可以達到幾百億。許多語言學家對此表示強烈的不滿，甚至公開地向我表示反對。
在原文作者Caleb Garling對話吳恩達時，他剛結束在舊金山的深度學習大會，這名斯坦福深度學習教授，前Google Brain負責人，Coursera的創(chuàng)始人和現(xiàn)任百度首席科學家在大會上受到了一大群仰慕他的計算機科學家的訪問。
吳恩達和我談論了他帶領“中國的 Google”（百度）在深度學習中面臨的挑戰(zhàn)，他強調，百度只對可以影響 1 億用戶的技術有興趣。其本人十分友好溫和，是那種說起話來你不好意思打斷他的人。
以下內容節(jié)選自訪問：
中文和英文，無論從哪個方面來說都是兩種完全不同的語言，所以對于理解這兩種語言的機器框架來說，究竟會有多不同呢？
嗯，現(xiàn)有科技理論還沒有成熟到讓我可以言簡意賅地給出答案的地步。對英語來說我們已經(jīng)有很好的框架了，現(xiàn)在我們想對中文進行嘗試。
英語有 26 個字母，然而中文大約有 5000 個字符。如果你看一篇中等長度英文的語料庫，出現(xiàn)的總是那么 26 個字母，而中文的語料庫中會有一些你只會見到一次的生僻字。所以你要如何學會認識這些中文字符？
相較而言，羅曼斯語言更加簡單。從法語轉到英語比從中文轉到英語要容易得多。
所以如果你有一張英文標簽的圖片，你如何把這些標簽轉換成中文？
我認為我很多值得嘗試的方法，并且這些方法都還沒有探索過。我們一般用的是多任務學習的方法。假設說你有一個識別英語標簽圖像的網(wǎng)絡，現(xiàn)在你要訓練一個網(wǎng)絡可以識別中文標簽，如果你訓練一個網(wǎng)絡同時完成這兩件事，很有可能這個網(wǎng)絡會比多帶帶兩個網(wǎng)絡分別識別英語和中文要好得多。
這么做是有優(yōu)勢的，但是優(yōu)勢并不明顯。原因是這樣，機器可能會學習識別圖像中的邊，然后又學會了辨別圖像中的角。對于兩種語言來說，這種知識都是通用的。一旦你學會了識別英語中的物體，這事實上對于你學習中文中的物體也有幫助，因為你可以辨別這些邊和物體。
那么，那些只存在于一種語言之中的詞又該怎么辦呢？
在英語里，姐妹只有一個單詞“sister”，但是在中文中，“姐”和“妹”是兩個不同意思的詞。事實上，當你想要翻譯“sister”這個詞的時候，就會遇到問題，因為你不知道應該把它翻譯成姐姐還是妹妹。不過我認為如果機器知道你的 sister 和屋子里其他的物體是有區(qū)別的話，那再區(qū)別是姐姐或者是妹妹并不困難。如果你不知道“sister”的概念，就要從零學習“姐妹”的概念了。
隨著不斷地訓練，投入會越來越昂貴，當然，除非你的神經(jīng)網(wǎng)絡規(guī)模比較小了。
等一下，什么樣的神經(jīng)網(wǎng)絡才算是小型的？
【哈哈】這不一定，會隨著時間改變。我們一般是依照神經(jīng)網(wǎng)絡之間的連接數(shù)劃分。Baidu 訓練的神經(jīng)網(wǎng)絡的連接數(shù)量一般可以達到幾百億。
那我們來聊聊語言識別，百度會不會從一些特殊的音節(jié)或是字母組合入手，比如像“th”這樣的組合？
過去的語音識別是這么做的。過去的語音識別都有一個標準管道，你輸入音頻，預計這些音節(jié)到底是什么。然后你再用另一套系統(tǒng)，把這些音節(jié)轉化成文字。不過近來人們一直在爭論，到底音節(jié)是語言的一個基本組成部分，還是語言學家臆想出來的？我花了很多年試圖向人們解釋，音節(jié)其實是人為劃分的，它不是語言的一個基本事實，只是人類發(fā)明出來，對語言的一種描述方式。許多語言學家對此表示強烈的不滿，甚至公開地向我表示反對。
我們在百度語音系統(tǒng)中做事并沒有用到音節(jié)的概念，這個過程更像是小孩學習語言的過程：我們給電腦聽一段音頻，告訴它文字的內容，然后讓它自己建立對應，而不是人工的構建所謂“音節(jié)”的概念。在我還不知道音節(jié)是什么之前，我就已經(jīng)會說英語了。
那么電影呢？百度有關注這方面嗎？
深度學習在視頻方面有很多的成果，但是考慮到機器對于時間這個基本維度的認識，我并不認為它們很成功。所以深度學習的研究者們常常會爭論，時間的概念對于我們的智能發(fā)展到底有多重要。
你能詳細闡述一下機器如何學習“時間”這個概念嗎？
當你的頭移動的時候，你看到的物體都是有視差的（這意味著你可以辨別不同時間下你所看到物體的差別）。有的在前景中移動，有的在后景中移動。我們不知道小孩子到底是不是先學會區(qū)分這些物體，再根據(jù)視察學會分辨它們之間的距離。反正我是不知道，我也不認為有人知道。也有一些圍繞視頻的其他特性的（關于時間的）想法，但是關于應該怎么處理時間，目前也沒有很好的結果。
動物們看到的世界就是一個視頻，那如果動物只能看到靜態(tài)的圖像呢，它們的視覺系統(tǒng)會怎么發(fā)展。神經(jīng)科學家們在貓身上做過一個實驗，它們把貓放在黑暗的環(huán)境中，利用頻閃閃光燈使貓只能看到不動的圖像，結果這些貓的視覺都沒有發(fā)育完全，所以看到動態(tài)的世界是很重要的，但是算法又該怎么寫？機器的“視覺系統(tǒng)”又該怎么利用它？
我認為解決這個問題的關鍵還是時間，只是我們現(xiàn)在還沒有開發(fā)出好的算法。
文章版權歸作者所有，未經(jīng)允許請勿轉載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉載請注明本文地址：http://m.hztianpu.com/yun/4296.html
摘要：百度北京深度學習實驗室主任余凱和吳是朋友，就是他力勸吳恩達加入百度的，余凱說實驗室確實以基礎技術為目標。實驗結果證實，深度學習是開發(fā)機器學習軟件的切實可行的辦法。 百度是中國網(wǎng)民上網(wǎng)時的常用工具，它致力于成為影響全球的力量。作為世界上人工智能領域的頂尖研究員，吳恩達先生能否助其成功挑戰(zhàn)硅谷較大的互聯(lián)網(wǎng)公司？百老匯音樂廳位于舊金山北海岸，是新古典主義建筑，已擁有95年歷史，歷經(jīng)歲月磨蝕，四周環(huán)...
摘要：今日，在第屆神經(jīng)信息處理系統(tǒng)大會中，百度首席科學家吳恩達教授發(fā)表演講利用深度學習開發(fā)人工智能應用的基本要點。為了方便讀者學習和收藏，雷鋒網(wǎng)特地把吳恩達教授的做為中文版。吳恩達先講述了常見的深度學習模型，然后再著分析端到端學習的具體應用。 今日，在第 30 屆神經(jīng)信息處理系統(tǒng)大會（NIPS 2016）中，百度首席科學家吳恩達教授發(fā)表演講：《利用深度學習開發(fā)人工智能應用的基本要點（Nuts an...
摘要：根據(jù)百度的說法，這是全球首次將深度學習領域技術應用在客戶端，獨創(chuàng)了深度神經(jīng)網(wǎng)絡查殺技術。在過去，吳恩達說，百度用神經(jīng)網(wǎng)絡來幫助偵測廣告。 吳恩達拿起他的手機，打開了臉優(yōu) app。他現(xiàn)在正位于硅谷公司的研究室。在辦公桌邊吃飯，談話內容很自然地也涉及到人工智能。他是百度的首席科學家，同時也是斯坦福大學計算機系的教授。在其他搜索引擎仍在發(fā)展時，他就曾幫助谷歌啟動了腦計劃，現(xiàn)在他在百度從事相似的人工...
摘要：的研究興趣涵蓋大多數(shù)深度學習主題，特別是生成模型以及機器學習的安全和隱私。與以及教授一起造就了年始的深度學習復興。目前他是僅存的幾個仍然全身心投入在學術界的深度學習教授之一。 Andrej Karpathy特斯拉 AI 主管Andrej Karpathy 擁有斯坦福大學計算機視覺博士學位，讀博期間師從現(xiàn)任 Google AI 首席科學家李飛飛，研究卷積神經(jīng)網(wǎng)絡在計算機視覺、自然語言處理上的應...
摘要：騰訊張潼在吳恩達宣布從百度離職后，行業(yè)內另一勁爆消息令人驚震，即張潼出任騰訊騰訊人工智能實驗室負責人。在人工智能浪潮下，每個企業(yè)都在談，各種產(chǎn)品和服務都將嵌入技術，賦予設備各種交互及感知能力。 人工智能熱潮，你家有AI大牛嗎？ 人工智能的異?；馃?，有望成為未來10年乃至更長時間內科技產(chǎn)業(yè)發(fā)展焦點，但推動該技術的發(fā)展關鍵因素是人才和數(shù)據(jù)，下面就來看看科舉巨頭和初創(chuàng)企業(yè)都有哪些人工智能技術...
閱讀 2678·2021-11-02 14:39
閱讀 4410·2021-10-11 10:58
閱讀 1627·2021-09-06 15:12
閱讀 1947·2021-09-01 10:49
閱讀 1400·2019-08-29 18:31
閱讀 1956·2019-08-29 16:10
閱讀 3413·2019-08-28 18:21
閱讀 947·2019-08-26 10:42
