摘要：是世界上最重要的研究者之一，他在谷歌大腦的競爭對手，由和創(chuàng)立工作過不長的一段時間，今年月重返，建立了一個探索生成模型的新研究團隊。機器學(xué)習(xí)系統(tǒng)可以在這些假的而非真實的醫(yī)療記錄進行訓(xùn)練。今年月在推特上表示是的，我在月底離開，并回到谷歌大腦。

理查德·費曼去世后，他教室的黑板上留下這樣一句話：“我不能創(chuàng)造的東西，我就不理解?！保╓hat I cannot create, I do not understand.）

Ian Goodfellow 在解釋他在 Google Brain 所做的研究時，引用了這位偉大的物理學(xué)家的這句名言，費曼是加州理工學(xué)院教授，同時也是暢銷書作者。但 Goodfellow 指的不是自己，也不是 Google 內(nèi)部的其他任何人。他指的是機器：“ AI 不能創(chuàng)造的東西，它就不理解?！?/p>

Goodfellow 是世界上最重要的 AI 研究者之一，他在 OpenAI（谷歌大腦的競爭對手，由 Elon Must 和 Sam Altman 創(chuàng)立）工作過不長的一段時間，今年3月重返 Google Brain，建立了一個探索“生成模型”（generative models）的新研究團隊。生成模型是創(chuàng)造照片、聲音、以及其他現(xiàn)實世界的表征的系統(tǒng)。Goodfellow 將這些工作描述為通向各種各樣的人工智能的重要途徑。

“如果 AI 能夠想象這個世界的現(xiàn)實細(xì)節(jié)——學(xué)習(xí)如何創(chuàng)造逼真的圖像和逼真的聲音——就能讓 AI 得以學(xué)習(xí)現(xiàn)實世界的結(jié)構(gòu)?！彼忉屨f，“這能幫助 AI 理解它看到的圖像或聽到的聲音?！?/p>

2014年，還是蒙特利爾大學(xué)的博士生時，一次在一家酒吧稍微喝醉與人爭論，Goodfellow 設(shè)想了這樣一種被稱為“生成對抗網(wǎng)絡(luò)”，即 GAN 的 AI 技術(shù)。雖然其起源有酒精的因素，但這是一個非常優(yōu)雅的設(shè)想：一個 AI 能夠創(chuàng)造出足以亂真的假圖像，然后第二個 AI 分析其結(jié)果，并判斷這些圖像是真實的還是假造的?！澳憧梢园阉胂蟪梢粋€藝術(shù)家和一個藝術(shù)評論家，”Goodfellow 說，“生成模型想要騙過藝術(shù)評論家——讓藝術(shù)評論家認(rèn)為它產(chǎn)生的圖像是真實的?！庇捎诘诙€ AI 要識別出圖像是假的非常困難，第一個 AI 學(xué)會了以這樣的方式模仿真實的圖像，而它獨自是沒法做到的。在這個過程中，這兩個神經(jīng)網(wǎng)絡(luò)能夠?qū)?AI 推向計算機宣布完全脫離它們的人類老師的一天。

Facebook AI 研究主管 Yann LeCun 稱 GAN 是“過去20年來深度學(xué)習(xí)方面最酷的想法”。深度學(xué)習(xí)是 AI 的一個子領(lǐng)域，它正在改變所有互聯(lián)網(wǎng)大公司的方向，包括 Google，微軟，Amazon，以及 Facebook。Goodfellow 的想法雖然尚未成熟仍在不斷發(fā)展，但它們已經(jīng)迅速在 AI 社區(qū)中廣為傳播。許多研究者，包括 LeCun，相信 GAN 能夠達成“無監(jiān)督學(xué)習(xí)”，這是 AI 研究領(lǐng)域的一個強烈愿景：不需要人類直接幫助的機器學(xué)習(xí)。

讓 Goodfellow 冒出這個想法的酒吧叫 Les 3 Brasseurs，或稱 The 3 Brewers。他的朋友 Razvan Pascanu，現(xiàn)在是 DeepMind 的研究員，當(dāng)時剛完成博士學(xué)位，Goodfellow 以及其他許多朋友一起聚在那個酒吧為他慶祝。其中一位朋友說起一個新的研究項目，研究如何在數(shù)學(xué)上確定一張照片里的所有信息。他們的想法是將這些統(tǒng)計數(shù)據(jù)輸入到一臺機器，然后讓機器自己創(chuàng)造照片。已經(jīng)喝得微醺的 Goodfellow 說這永遠(yuǎn)不可能奏效，因為需要考慮的數(shù)據(jù)太多，沒有人能夠把所有數(shù)據(jù)記錄下來。但這時，他想到了一個更好的方法：可以讓神經(jīng)網(wǎng)絡(luò)去教會機器如何創(chuàng)造逼真的圖像。

神經(jīng)網(wǎng)絡(luò)是一個復(fù)雜的數(shù)學(xué)系統(tǒng)，通過分析大量數(shù)據(jù)來學(xué)習(xí)任務(wù)，從識別照片中的人臉到理解對話，等等。在那間酒吧里，Goodfellow 想到在一個神經(jīng)網(wǎng)絡(luò)學(xué)會創(chuàng)造逼真的圖像后，第二個神經(jīng)網(wǎng)絡(luò)可以當(dāng)它的對手，試圖判斷這些圖像是否是假造的，然后，將這個判斷輸入給第一個網(wǎng)絡(luò)。Goodfellow 說，通過這種方式，最終能教會第一個神經(jīng)網(wǎng)絡(luò)生成足以亂真的“假造”圖像。

這隨后引來了爭論。Goodfellow 的朋友們同樣堅持這種方法不會奏效。所以，當(dāng)天晚上 Goodfellow 回家后，他就開始著手建這個東西。“我回到家時還是有點醉醺醺的，女朋友已經(jīng)睡著了，然后我就坐在那里想：‘是我的朋友們是錯的！’”他回憶道：“然后我就熬夜用 laptop 寫出了 GAN 的代碼?！闭缢南敕前?，代碼在第一次嘗試是就奏效了。“真的很幸運，”他說，“因為假如它第一次不工作，我可能就放棄這個想法了?！?/p>

當(dāng)年晚些時候，Goodfellow 和其他一些研究人員合作發(fā)表了一篇論文，描述了這些想法。三年來，探討這個概念的論文已經(jīng)有數(shù)百篇。在 Goodfellow 的第一篇 GAN 論文里，兩個神經(jīng)網(wǎng)絡(luò)一起工作，產(chǎn)生了一個能夠生成手寫數(shù)字的逼真圖像的系統(tǒng)。現(xiàn)在，研究人員已經(jīng)將這個想法應(yīng)用到貓、火山乃至整個星系的圖像。GAN 甚至能協(xié)助天文學(xué)實驗，幫助模擬粒子物理。

但這仍然是非常難以實現(xiàn)的想法。它需要訓(xùn)練的不僅僅是一個神經(jīng)網(wǎng)絡(luò)，而是要同時訓(xùn)練兩個神經(jīng)網(wǎng)絡(luò)。Goodfellow 在 Google 創(chuàng)建專注于 GAN 及其相關(guān)研究的新團隊時，他希望能夠改進這個過程。他說：“我作為一名機器學(xué)習(xí)的研究者，必須面對的一個主要問題，是提供一種能夠非常可靠地訓(xùn)練這些網(wǎng)絡(luò)的方法。”

最終的結(jié)果：不僅是生成圖像和聲音，而且在識別圖像和聲音方面，GAN 都能做得非常好，而識別圖像和聲音是通往不需人類太多幫助就能學(xué)習(xí)的系統(tǒng)的一個路徑。Goodfellow 說：“這些模型學(xué)會了理解世界的構(gòu)造，這能幫助系統(tǒng)在沒有很多明確的告知的情況下學(xué)習(xí)?！?/p>

GAN 甚至能夠提供無監(jiān)督學(xué)習(xí)，雖然這在目前還沒有真正實現(xiàn)。目前，神經(jīng)網(wǎng)絡(luò)可以通過分析幾百萬張貓的照片來學(xué)習(xí)識別貓，但這需要人工地仔細(xì)甄別這些照片，并將它們標(biāo)記為貓的照片。在這個過程中，人仍然是很重要的角色，而且這往往是很大的問題，例如偏見的問題，訓(xùn)練 AI 所需的龐大的人力的問題，等等。LeCun 等研究者正在推動不需這樣龐大的人力參與的情況下學(xué)習(xí)的系統(tǒng)，這可以加速 AI 的發(fā)展。?

但這僅僅是個開始。GAN 也帶來了數(shù)量眾多的可能性。南加州大學(xué)的AI 研究員David Kale 認(rèn)為，GAN 將會幫助他和他的同事在不侵犯病人隱私的前提下開發(fā)醫(yī)療AI。

基本上，GAN 可以“制造出”假的醫(yī)療記錄。機器學(xué)習(xí)系統(tǒng)可以在這些假的而非真實的醫(yī)療記錄進行訓(xùn)練?！芭c其把病人的醫(yī)療記錄放到互聯(lián)網(wǎng)上，讓大家都來用，為什么不在這樣的數(shù)據(jù)上訓(xùn)練GAN，創(chuàng)造出一個完全人造的數(shù)據(jù)集，并且對所有的研究者開放呢？” Kale 說?！盀槭裁次覀儾贿@樣做？畢竟從這個數(shù)據(jù)集訓(xùn)練的模型與原始數(shù)據(jù)訓(xùn)練并沒有什么區(qū)別。”

盡管現(xiàn)在有很多研究者都在探索GAN背后的原理，但是，GoodFellow 將在谷歌建立自己的研究團隊卻格外引人注目。GoodFellow 早年在谷歌，后加入Open AI，在不到一年以后又返回谷歌，因為他所有的合作者幾乎都在谷歌。

Goodfellow 今年3月在推特上表示：

是的，我在 2月底離開 OpenAI，并回到谷歌大腦。

我很喜歡在 OpenAI 的日子，也為 OpenAI 的同事們與我合作完成的工作感到自豪。我重回谷歌大腦，是因為隨著時間的推移，我發(fā)現(xiàn)我的研究集中在對抗樣本，以及與差分隱私相關(guān)的技術(shù)，而這些研究我主要是與谷歌的同事合作進行的。

“每天都把時間花費在視頻電話上，這可不好玩”，他說，“這不是做事的較佳方法”。分享很重要，但是，近距離的協(xié)作也很重要，不管對于AI研究者還是神經(jīng)網(wǎng)絡(luò)都是如此。

關(guān)于生成對抗網(wǎng)絡(luò)的詳細(xì)介紹

摘要

我們提出一個通過對抗過程評估生成模型的新框架，其中我們同時訓(xùn)練兩個模型：一個用于捕捉數(shù)據(jù)分布的生成模型 G，以及一個用于評估來自訓(xùn)練數(shù)據(jù)而非來自生成模型 G 的樣本概率的判別模型 D。生成模型 G 的訓(xùn)練過程目的是較大化判別模型 D 犯錯誤的概率。這個框架相當(dāng)于一個極小化極大的雙方對弈。在任意函數(shù) G 和 D 的空間中，存在一個的解，此時 G 恢復(fù)訓(xùn)練數(shù)據(jù)的分布，而 D 處處都等于 1/2。在 G 和 D 由多層感知器（multilayer perceptrons）定義的情況下，整個系統(tǒng)可以用反向傳播進行訓(xùn)練。在訓(xùn)練或生成樣本時，不需要任何馬爾科夫鏈（Markov chains）或展開的近似推理網(wǎng)絡(luò)（unrolled approximate inference networks）。實驗通過對生成的樣本進行定性或定量評估來證明這個框架的潛力。

論文地址：https://arxiv.org/pdf/1406.2661.pdf

生成對抗網(wǎng)絡(luò)的簡單介紹如下，訓(xùn)練一個生成器（Generator，簡稱G），從隨機噪聲或者潛在變量（Latent Variable）中生成逼真的的樣本，同時訓(xùn)練一個鑒別器（Discriminator，簡稱D）來鑒別真實數(shù)據(jù)和生成數(shù)據(jù)，兩者同時訓(xùn)練，直到達到一個納什均衡，生成器生成的數(shù)據(jù)與真實樣本無差別，鑒別器也無法正確的區(qū)分生成數(shù)據(jù)和真實數(shù)據(jù)。GAN的結(jié)構(gòu)如圖1所示。

Ian Goodfellow在生成對抗網(wǎng)絡(luò)（GAN）論文最后總結(jié)的幾點：

優(yōu)點

模型只用到了反向傳播，而不需要馬爾科夫鏈；

訓(xùn)練時不需要對隱變量做推斷；

理論上，只要是可微分函數(shù)都可以用于構(gòu)建D和G，因為能夠與深度神經(jīng)網(wǎng)絡(luò)結(jié)合做深度生成式模型；

G的參數(shù)更新不是直接來自數(shù)據(jù)樣本，而是使用來自D的反向傳播（這也是與傳統(tǒng)方法相比差別較大的一條吧）。

缺點

可解釋性差,生成模型的分布 Pg(G)沒有顯式的表達。

比較難訓(xùn)練,D與G之間需要很好的同步,例如D更新k次而G更新一次。

Ian Goodfellow?

Ian Goodfellow 是深度學(xué)習(xí)大神 Yoshua Bengio的學(xué)生，以第一作者的身份和Bengio、Allan Courville合著了“Deep Learning”這本書——是的，就是【那本】Deep Learning。

LinkedIn 頁面顯示 Goodfellow 的職業(yè)軌跡：

2013年6月到2013年9月，在谷歌實習(xí)，職位：軟件工程師

2014年7月到2015年11月，谷歌研究員

2015年11月到2016年3月，谷歌高級研究員

2016年3月到2017年3月，Open AI 研究員

2017年3月到現(xiàn)在，谷歌 Staff Research Scientist

原文地址：https://www.wired.com/2017/04/googles-dueling-neural-networks-spar-get-smarter-no-humans-required/

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價值的辦法，實際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報表系統(tǒng)等全方位知識

QQ群：81035754