摘要：引用格式王坤峰，茍超，段艷杰，林懿倫，鄭心湖，王飛躍生成對(duì)抗網(wǎng)絡(luò)的研究與展望自動(dòng)化學(xué)報(bào)，論文作者王坤峰，茍超，段艷杰，林懿倫，鄭心湖，王飛躍摘要生成式對(duì)抗網(wǎng)絡(luò)目前已經(jīng)成為人工智能學(xué)界一個(gè)熱門的研究方向。本文概括了的研究進(jìn)展并進(jìn)行展望。

3月27日的新智元 2017 年技術(shù)峰會(huì)上，王飛躍教授作為特邀嘉賓將參加本次峰會(huì)的 Panel 環(huán)節(jié)，就如何看待中國 AI學(xué)術(shù)界論文數(shù)量多，但大師級(jí)人物少的現(xiàn)狀？人工智能被首次寫入中國政府工作報(bào)告，但中國的AI開源生態(tài)還剛剛萌芽，在全球尚處邊緣化地位，如何打造中國AI的主流生態(tài)等議題進(jìn)行討論。關(guān)于GAN 與平行智能的關(guān)系，你可以來現(xiàn)場(chǎng)問問他。

本文2017年3月發(fā)表在《自動(dòng)化學(xué)報(bào)》（第43卷，第三期）。

引用格式 王坤峰 ，茍超 ，段艷杰 ，林懿倫 ，鄭心湖，王飛躍 . 生成對(duì)抗網(wǎng)絡(luò)GAN的研究與展望. 自動(dòng)化學(xué)報(bào), 2017，43(3): 321-332

DOI ?10.16383/j.aas.2017.y000003

論文作者：王坤峰 ，茍超 ，段艷杰 ，林懿倫 ，鄭心湖，王飛躍?

【摘要】 生成式對(duì)抗網(wǎng)絡(luò) GAN (Generative adversarial networks) 目前已經(jīng)成為人工智能學(xué)界一個(gè)熱門的研究方向。 GAN的基本思想源自博弈論的二人零和博弈, 由一個(gè)生成器和一個(gè)判別器構(gòu)成, 通過對(duì)抗學(xué)習(xí)的方式來訓(xùn)練。目的是估測(cè)數(shù)據(jù)樣本 的潛在分布并生成新的數(shù)據(jù)樣本。在圖像和視覺計(jì)算、語音和語言處理、信息安全、棋類比賽等領(lǐng)域, GAN 正在被廣泛研究,具有巨大的應(yīng)用前景。本文概括了 GAN 的研究進(jìn)展, 并進(jìn)行展望。在總結(jié)了 GAN 的背景、理論與實(shí)現(xiàn)模型、應(yīng)用領(lǐng)域、優(yōu)缺點(diǎn)及發(fā)展趨勢(shì)之后, 本文還討論了 GAN 與平行智能的關(guān)系, 認(rèn)為 GAN 可以深化平行系統(tǒng)的虛實(shí)互動(dòng)、交互一體的理念, 特別是計(jì)算實(shí)驗(yàn)的思想, 為 ACP （Artificial societies, computational experiments, and parallel execution) 理論提供了十分具體和豐富的算法支持。

關(guān)鍵詞 ?生成式對(duì)抗網(wǎng)絡(luò)，生成式模型，零和博弈，對(duì)抗學(xué)習(xí)，平行智能，ACP 方法

生成式對(duì)抗網(wǎng)絡(luò) GAN (Generative adversarial networks) 是 Goodfellow 等[1] 在 2014 年提出的一種生成式模型. GAN 在結(jié)構(gòu)上受博弈論中的二人零和博弈 (即二人的利益之和為零, 一方的所得正是另一方的所失) 的啟發(fā), 系統(tǒng)由一個(gè)生成器和一個(gè)判別器構(gòu)成。生成器捕捉真實(shí)數(shù)據(jù)樣本的潛在分布, 并生成新的數(shù)據(jù)樣本; 判別器是一個(gè)二分類器, 判別輸入是真實(shí)數(shù)據(jù)還是生成的樣本. 生成器和判別器均[2]可以采用目前研究火熱的深度神經(jīng)網(wǎng)絡(luò). GAN 的優(yōu)化過程是一個(gè)極小極大博弈 (Minimax game) 問 題, 優(yōu)化目標(biāo)是達(dá)到納什均衡[3] , 使生成器估測(cè)到數(shù)據(jù)樣本的分布。

在當(dāng)前的人工智能熱潮下, GAN 的提出滿足了 許多領(lǐng)域的研究和應(yīng)用需求, 同時(shí)為這些領(lǐng)域注入了新的發(fā)展動(dòng)力. GAN 已經(jīng)成為人工智能學(xué)界一個(gè)熱門的研究方向, 著名學(xué)者 LeCun 甚至將其稱為“過去十年間機(jī)器學(xué)習(xí)領(lǐng)域最讓人激動(dòng)的點(diǎn)子”. 目前, 圖像和視覺領(lǐng)域是對(duì) GAN 研究和應(yīng)用最廣泛的一個(gè)領(lǐng)域, 已經(jīng)可以生成數(shù)字、人臉等物體對(duì)象,構(gòu)成各種逼真的室內(nèi)外場(chǎng)景, 從分割圖像恢復(fù)原圖 像, 給黑白圖像上色, 從物體輪廓恢復(fù)物體圖像, 從 低分辨率圖像生成高分辨率圖像等[4]. 此外, GAN已經(jīng)開始被應(yīng)用到語音和語言處理[5?6]、電腦病毒 監(jiān)測(cè)[7]、棋類比賽程序[8] 等問題的研究中。

本文綜述了生成式對(duì)抗網(wǎng)絡(luò) GAN 的研究 進(jìn)展, 并對(duì)發(fā)展趨勢(shì)進(jìn)行展望. 第 1 節(jié)介紹 GAN 的 提出背景. 第 2 節(jié)描述 GAN 的理論與實(shí)現(xiàn)模型, 包 括 GNN 的基本原理、學(xué)習(xí)方法、衍生模型等. 第 3節(jié)列舉GAN在圖像和視覺、語音和語言、信息安全 等領(lǐng)域的典型應(yīng)用. 第4節(jié)對(duì) GAN 進(jìn)行思考與展 望, 討論 GAN 與平行智能, 特別是與計(jì)算實(shí)驗(yàn)的關(guān) 系. 最后, 第 5 節(jié)對(duì)本文進(jìn)行總結(jié)。

1. GAN 的提出背景

本節(jié)介紹 GAN 的提出背景, 以便讀者更好地理解 GAN 的研究進(jìn)展和應(yīng)用領(lǐng)域.

1.1 人工智能的熱潮

近年來, 隨著計(jì)算能力的提高和各行業(yè)數(shù)據(jù)量 的劇增, 人工智能取得了快速發(fā)展, 使得研究者對(duì)人 工智能的關(guān)注度和社會(huì)大眾對(duì)人工智能的憧憬空前提升[2,9]. 學(xué)術(shù)界普遍認(rèn)為人工智能分為兩個(gè)階段:感知階段和認(rèn)知階段. 在感知階段, 機(jī)器能夠接收來 自外界的各種信號(hào), 例如視覺信號(hào)、聽覺信號(hào)等, 并 對(duì)此作出判斷, 對(duì)應(yīng)的研究領(lǐng)域有圖像識(shí)別、語音識(shí)別等. 在認(rèn)知階段, 機(jī)器能夠?qū)κ澜绲谋举|(zhì)有一定的 理解, 不再是單純、機(jī)械地做出判斷。基于多年的研 究經(jīng)驗(yàn), 本文作者認(rèn)為人工智能的表現(xiàn)層次包括判 斷、生成、理解和創(chuàng)造及應(yīng)用, 如圖 1 所示. 一方面,這些層次相互聯(lián)系相互促進(jìn); 另一方面, 各個(gè)層次之間又有很大的鴻溝, 有待新的研究突破.

無論是普遍認(rèn)為的人工智能兩階段還是本文作者總結(jié)的人工智能四個(gè)層次, 其中都涉及理解這個(gè) 環(huán)節(jié). 然而, 理解無論對(duì)人類還是人工智能都是內(nèi) 在的表現(xiàn), 無法直接測(cè)量, 只能間接從其他方面推 測(cè). 如何衡量人工智能的理解程度, 雖然沒有定論但是著名學(xué)者 Feynman 有句名言 “What I cannot create, I do not understand. (不可造者, 未能知也.)” 這說明機(jī)器制造事物的能力從某種程度上取 決于機(jī)器對(duì)事物的理解. 而 GAN 作為典型的生成 式模型, 其生成器具有生成數(shù)據(jù)樣本的能力. 這種 能力在一定程度上反映了它對(duì)事物的理解. 因此, GAN 有望加深人工智能的理解層面的研究.

1.2 生成式模型的積累

生成式模型不僅在人工智能領(lǐng)域占有重要地位,生成方法本身也具有很大的研究價(jià)值. 生成方法和 判別方法是機(jī)器學(xué)習(xí)中監(jiān)督學(xué)習(xí)方法的兩個(gè)分支.生成式模型是生成方法學(xué)習(xí)得到的模型. 生成方法 涉及對(duì)數(shù)據(jù)的分布假設(shè)和分布參數(shù)學(xué)習(xí), 并能夠根 據(jù)學(xué)習(xí)而來的模型采樣出新的樣本. 本文認(rèn)為生成 式模型從研究出發(fā)點(diǎn)的角度可以分為兩類: 人類理 解數(shù)據(jù)的角度和機(jī)器理解數(shù)據(jù)的角度.

從人類理解數(shù)據(jù)的角度出發(fā), 典型的做法是先 對(duì)數(shù)據(jù)的顯式變量或者隱含變量進(jìn)行分布假設(shè), 然 后利用真實(shí)數(shù)據(jù)對(duì)分布的參數(shù)或包含分布的模型進(jìn) 行擬合或訓(xùn)練, 最后利用學(xué)習(xí)到的分布或模型生成 新的樣本. 這類生成式模型涉及的主要方法有較大 似然估計(jì)法、近似法[10?11]、馬爾科夫鏈方法[12?14]等. 從這個(gè)角度學(xué)習(xí)到的模型具有人類能夠理解的 分布, 但是對(duì)機(jī)器學(xué)習(xí)來說具有不同的限制. 例如,以真實(shí)樣本進(jìn)行較大似然估計(jì), 參數(shù)更新直接來自 于數(shù)據(jù)樣本, 導(dǎo)致學(xué)習(xí)到的生成式模型受到限制. 而 采用近似法學(xué)習(xí)到的生成式模型由于目標(biāo)函數(shù)難解 一般只能在學(xué)習(xí)過程中逼近目標(biāo)函數(shù)的下界, 并不 是直接對(duì)目標(biāo)函數(shù)的逼近. 馬爾科夫鏈方法既可以 用于生成式模型的訓(xùn)練又可以用于新樣本的生成,但是馬爾科夫鏈的計(jì)算復(fù)雜度較高.?

從機(jī)器理解數(shù)據(jù)的角度出發(fā), 建立的生成式模 型一般不直接估計(jì)或擬合分布, 而是從未明確假設(shè) 的分布中獲取采樣的數(shù)據(jù)[15], 通過這些數(shù)據(jù)對(duì)模型 進(jìn)行修正. 這樣得到的生成式模型對(duì)人類來說缺乏可解釋性, 但是生成的樣本卻是人類可以理解的. 以 此推測(cè), 機(jī)器以人類無法顯式理解的方式理解了數(shù) 據(jù)并且生成了人類能夠理解的新數(shù)據(jù). 在 GAN 提 出之前, 這種從機(jī)器理解數(shù)據(jù)的角度建立的生成式 模型一般需要使用馬爾科夫鏈進(jìn)行模型訓(xùn)練, 效率 較低, 一定程度上限制了其系統(tǒng)應(yīng)用.

GAN 提出之前, 生成式模型已經(jīng)有一定研究積 累, 模型訓(xùn)練過程和生成數(shù)據(jù)過程中的局限無疑是 生成式模型的障礙. 要真正實(shí)現(xiàn)人工智能的四個(gè)層 次, 就需要設(shè)計(jì)新的生成式模型來突破已有的障礙.?

1.3 神經(jīng)網(wǎng)絡(luò)的深化

過去 10 年來, 隨著深度學(xué)習(xí)[16?17] 技術(shù)在各個(gè) 領(lǐng)域取得巨大成功, 神經(jīng)網(wǎng)絡(luò)研究再度崛起. 神經(jīng)網(wǎng) 絡(luò)作為深度學(xué)習(xí)的模型結(jié)構(gòu), 得益于計(jì)算能力的提 升和數(shù)據(jù)量的增大, 一定程度上解決了自身參數(shù)多、 訓(xùn)練難的問題, 被廣泛應(yīng)用于解決各類問題中. 例 如, 深度學(xué)習(xí)技術(shù)在圖像分類問題上取得了突破性 的效果[18?19], 顯著提高了語音識(shí)別的準(zhǔn)確率[20], 又 被成功應(yīng)用于自然語言理解領(lǐng)域[21] . 神經(jīng)網(wǎng)絡(luò)取得 的成功和模型自身的特點(diǎn)是密不可分的. 在訓(xùn)練方 面, 神經(jīng)網(wǎng)絡(luò)能夠采用通用的反向傳播算法, 訓(xùn)練過 程容易實(shí)現(xiàn); 在結(jié)構(gòu)方面, 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計(jì)自由 靈活, 局限性小; 在建模能力方面, 神經(jīng)網(wǎng)絡(luò)理論上 能夠逼近任意函數(shù), 應(yīng)用范圍廣. 另外, 計(jì)算能力的 提升使得神經(jīng)網(wǎng)絡(luò)能夠更快地訓(xùn)練更多的參數(shù), 進(jìn) 一步推動(dòng)了神經(jīng)網(wǎng)絡(luò)的流行.?

1.4 對(duì)抗思想的成功

從機(jī)器學(xué)習(xí)到人工智能, 對(duì)抗思想被成功引入 若干領(lǐng)域并發(fā)揮作用. 博弈、競(jìng)爭(zhēng)中均包含著對(duì)抗 的思想. 博弈機(jī)器學(xué)習(xí)[22] 將博弈論的思想與機(jī)器學(xué) 習(xí)結(jié)合, 對(duì)人的動(dòng)態(tài)策略以博弈論的方法進(jìn)行建模,優(yōu)化廣告競(jìng)價(jià)機(jī)制, 并在實(shí)驗(yàn)中證明了該方法的有 效性. 圍棋程序 AlphaGo[23] 戰(zhàn)勝人類選手引起大眾對(duì)人工智能的興趣, 而 AlphaGo 的中級(jí)版本在訓(xùn) 練策略網(wǎng)絡(luò)的過程中就采取了兩個(gè)網(wǎng)絡(luò)左右互博的方式,獲得棋局狀態(tài)、策略和對(duì)應(yīng)回報(bào),并以包含博 弈回報(bào)的期望函數(shù)作為較大化目標(biāo). 在神經(jīng)網(wǎng)絡(luò)的研究中, 曾有研究者利用兩個(gè)神經(jīng)網(wǎng)絡(luò)互相競(jìng)爭(zhēng)的 方式對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練[24] , 鼓勵(lì)網(wǎng)絡(luò)的隱層節(jié)點(diǎn)之間 在統(tǒng)計(jì)上獨(dú)立, 將此作為訓(xùn)練過程中的正則因素. 還 有研究者[25?26] 采用對(duì)抗思想來訓(xùn)練領(lǐng)域適應(yīng)的神 經(jīng)網(wǎng)絡(luò): 特征生成器將源領(lǐng)域數(shù)據(jù)和目標(biāo)領(lǐng)域數(shù)據(jù) 變換為高層抽象特征, 盡可能使特征的產(chǎn)生領(lǐng)域難 以判別; 領(lǐng)域判別器基于變換后的特征, 盡可能準(zhǔn)確 地判別特征的領(lǐng)域. 對(duì)抗樣本[27?28] 也包含著對(duì)抗 的思想, 指的是那些和真實(shí)樣本差別甚微卻被誤分 類的樣本或者差異很大卻被以很高置信度分為某一真實(shí)類的樣本, 反映了神經(jīng)網(wǎng)絡(luò)的一種詭異行為特 性. 對(duì)抗樣本和對(duì)抗網(wǎng)絡(luò)雖然都包含著對(duì)抗的思想,但是目的完全不同. 對(duì)抗思想應(yīng)用于機(jī)器學(xué)習(xí)或人 工智能取得的諸多成果, 也激發(fā)了更多的研究者對(duì)GAN 的不斷挖掘。

2. GAN的理論與實(shí)現(xiàn)模型

2.1 GAN 的理論與實(shí)現(xiàn)模型GAN 的基本原理

GAN 的核心思想來源于博弈論的納什均衡. 它 設(shè)定參與游戲雙方分別為一個(gè)生成器 (Generator)和一個(gè)判別器 (Discriminator), 生成器的目的是盡 量去學(xué)習(xí)真實(shí)的數(shù)據(jù)分布, 而判別器的目的是盡量 正確判別輸入數(shù)據(jù)是來自真實(shí)數(shù)據(jù)還是來自生成器;為了取得游戲勝利, 這兩個(gè)游戲參與者需要不斷優(yōu) 化, 各自提高自己的生成能力和判別能力, 這個(gè)學(xué)習(xí) 優(yōu)化過程就是尋找二者之間的一個(gè)納什均衡. GAN的計(jì)算流程與結(jié)構(gòu)如圖 2 所示. 任意可微分的函 數(shù)都可以用來表示 GAN 的生成器和判別器, 由此,我們用可微分函數(shù) D 和 G 來分別表示判別器和生 成器, 它們的輸入分別為真實(shí)數(shù)據(jù) x 和隨機(jī)變量 z.G(z) 則為由 G 生成的盡量服從真實(shí)數(shù)據(jù)分布 pdata的樣本. 如果判別器的輸入來自真實(shí)數(shù)據(jù), 標(biāo)注為 1.如果輸入樣本為 G(z), 標(biāo)注為 0. 這里 D 的目標(biāo)是 實(shí)現(xiàn)對(duì)數(shù)據(jù)來源的二分類判別: 真 (來源于真實(shí)數(shù)據(jù)x 的分布) 或者偽 (來源于生成器的偽數(shù)據(jù) G(z)),而 G 的目標(biāo)是使自己生成的偽數(shù)據(jù) G(z) 在 D 上 的表現(xiàn)D(G(z))和真實(shí)數(shù)據(jù)x在D上的表現(xiàn)D(x)一致, 這兩個(gè)相互對(duì)抗并迭代優(yōu)化的過程使得 D 和 G 的性能不斷提升, 當(dāng)最終 D 的判別能力提升到一 定程度, 并且無法正確判別數(shù)據(jù)來源時(shí), 可以認(rèn)為這 個(gè)生成器 G 已經(jīng)學(xué)到了真實(shí)數(shù)據(jù)的分布.

2.2 GAN 的學(xué)習(xí)方法

本節(jié)中我們討論 GAN 的學(xué)習(xí)訓(xùn)練機(jī)制。

首先，在給定生成器 G 的情況下, 我們考慮最 優(yōu)化判別器 D. 和一般基于 Sigmoid 的二分類模型 訓(xùn)練一樣, 訓(xùn)練判別器 D 也是最小化交叉熵的過程,其損失函數(shù)為:

其中, x 采樣于真實(shí)數(shù)據(jù)分布 pdata(x), z 采樣于先 驗(yàn)分布 pz (z) (例如高斯噪聲分布), E(·) 表示計(jì)算期 望值. 這里實(shí)際訓(xùn)練時(shí)和常規(guī)二值分類模型不同, 判 別器的訓(xùn)練數(shù)據(jù)集來源于真實(shí)數(shù)據(jù)集分布 pdata(x) (標(biāo)注為 1) 和生成器的數(shù)據(jù)分布 pg (x) (標(biāo)注為 0)兩部分. 給定生成器 G, 我們需要最小化式 (1) 來得 到最優(yōu)解, 在連續(xù)空間上, 式 (1) 可以寫為如下形式:?

對(duì)任意的非零實(shí)數(shù) m 和 n, 且實(shí)數(shù)值 y ∈ [0, 1] ，表達(dá)式?

在處得到最小值。因此, 給定生成器 G 的情 況下, 目標(biāo)函數(shù) (2) 在?

處得到最小值, 此即為判別器的最優(yōu)解. 由式 (4) 可 知, GAN 估計(jì)的是兩個(gè)概率分布密度的比值, 這也 是和其他基于下界優(yōu)化或者馬爾科夫鏈方法的關(guān)鍵 不同之處。

另一方面, D(x) 代表的是 x 來源于真實(shí)數(shù)據(jù) 而非生成數(shù)據(jù)的概率. 當(dāng)輸入數(shù)據(jù)采樣自真實(shí)數(shù)據(jù)x 時(shí), D 的目標(biāo)是使得輸出概率值 D(x) 趨近于 1, 而當(dāng)輸入來自生成數(shù)據(jù) G(z) 時(shí), D 的目標(biāo)是正確 判斷數(shù)據(jù)來源, 使得 D(G(z)) 趨近于 0, 同時(shí) G 的 目標(biāo)是使得其趨近于 1. 這實(shí)際上就是一個(gè)關(guān)于G 和 D 的零和游戲, 那么生成器 G 的損失函數(shù)為ObjG(θG) = ?ObjD(θD, θG). 所以 GAN 的優(yōu)化問 題是一個(gè)極小—極大化問題, GAN 的目標(biāo)函數(shù)可 以描述如下:?

總之, 對(duì)于 GAN 的學(xué)習(xí)過程, 我們需要訓(xùn)練模 型 D 來較大化判別數(shù)據(jù)來源于真實(shí)數(shù)據(jù)或者偽數(shù) 據(jù)分布 G(z) 的準(zhǔn)確率, 同時(shí), 我們需要訓(xùn)練模型 G來最小化 log(1 ? D(G(z))). 這里可以采用交替優(yōu) 化的方法: 先固定生成器 G, 優(yōu)化判別器 D, 使得D 的判別準(zhǔn)確率較大化; 然后固定判別器 D, 優(yōu)化 生成器 G, 使得 D 的判別準(zhǔn)確率最小化. 當(dāng)且僅當(dāng)pdata = pg 時(shí)達(dá)到全局最優(yōu)解. 訓(xùn)練 GAN 時(shí), 同一 輪參數(shù)更新中, 一般對(duì) D 的參數(shù)更新 k 次再對(duì) G的參數(shù)更新 1 次。

2.3 GAN 的衍生模型

自 Goodfellow 等[1] 于 2014 年提出 GAN 以來,各種基于 GAN 的衍生模型被提出, 這些模型的創(chuàng) 新點(diǎn)包括模型結(jié)構(gòu)改進(jìn)、理論擴(kuò)展及應(yīng)用等. 部分 衍生模型的計(jì)算流程與結(jié)構(gòu)如圖 3 所示。

GAN 在基于梯度下降訓(xùn)練時(shí)存在梯度消失的 問題, 因?yàn)楫?dāng)真實(shí)樣本和生成樣本之間具有極小重 疊甚至沒有重疊時(shí), 其目標(biāo)函數(shù)的 Jensen-Shannon散度是一個(gè)常數(shù), 導(dǎo)致優(yōu)化目標(biāo)不連續(xù). 為了解決 訓(xùn)練梯度消失問題, Arjovsky 等[29] 提出了 Wasser- stein GAN (W-GAN). W-GAN 用 Earth-Mover 代 替 Jensen-Shannon 散度來度量真實(shí)樣本和生成樣 本分布之間的距離, 用一個(gè)批評(píng)函數(shù) f 來對(duì)應(yīng) GAN的判別器, 而且批評(píng)函數(shù) f 需要建立在 Lipschitz 連 續(xù)性假設(shè)上. 另外, GAN 的判別器 D 具有無限的 建模能力, 無論真實(shí)樣本和生成的樣本有多復(fù)雜, 判 別器 D 都能把它們區(qū)分開, 這容易導(dǎo)致過擬合問題。

為了限制模型的建模能力, Qi[30] 提出了 Loss- sensitive GAN (LS-GAN), 將最小化目標(biāo)函數(shù)得到 的損失函數(shù)限定在滿足 Lipschitz 連續(xù)性函數(shù)類上,作者還給出了梯度消失時(shí)的定量分析結(jié)果. 需要指 出, W-GAN 和 LS-GAN 并沒有改變 GAN 模型的 結(jié)構(gòu), 只是在優(yōu)化方法上進(jìn)行了改進(jìn)。GAN 的訓(xùn)練只需要數(shù)據(jù)源的標(biāo)注信息 (真或 偽), 并根據(jù)判別器輸出來優(yōu)化. Odena[31] 提出了 Semi-GAN, 將真實(shí)數(shù)據(jù)的標(biāo)注信息加入判別器 D的訓(xùn)練. 更進(jìn)一步, Conditional GAN (CGAN)[32]提出加入額外的信息 y 到 G、D 和真實(shí)數(shù)據(jù)來建模,這里的 y 可以是標(biāo)簽或其他輔助信息. 傳統(tǒng) GAN都是學(xué)習(xí)一個(gè)生成式模型來把隱變量分布映射到復(fù)雜真實(shí)數(shù)據(jù)分布上, Donahue 等[33] 提出一種 Bidi- rectional GANs (BiGANs) 來實(shí)現(xiàn)將復(fù)雜數(shù)據(jù)映射 到隱變量空間, 從而實(shí)現(xiàn)特征學(xué)習(xí). 除了 GAN 的基 本框架, BiGANs 額外加入了一個(gè)解碼器 Q 用于將 真實(shí)數(shù)據(jù) x 映射到隱變量空間, 其優(yōu)化問題轉(zhuǎn)換為.

InfoGAN[34] 是 GAN 的另一個(gè)重要擴(kuò)展. GAN能夠?qū)W得有效的語義特征, 但是輸入噪聲變量 z 的 特定變量維數(shù)和特定語義之間的關(guān)系不明確, 而 In- foGAN 能夠獲取輸入的隱層變量和具體語義之間 的互信息. 具體實(shí)現(xiàn)就是把生成器 G 的輸入分為 兩部分z 和c, 這里z 和GAN 的輸入一致, 而c被稱為隱碼, 這個(gè)隱碼用于表征結(jié)構(gòu)化隱層隨機(jī)變 量和具體特定語義之間的隱含關(guān)系. GAN 設(shè)定了pG(x) = pG(x|c), 而實(shí)際上 c 與 G 的輸出具有較強(qiáng) 的相關(guān)性. 用 G(z, c) 來表示生成器的輸出, 作者[34]提出利用互信息 I(c; G(z, c)) 來表征兩個(gè)數(shù)據(jù)的相 關(guān)程度, 用目標(biāo)函數(shù)?

來建模求解, 這里由于后驗(yàn)概率 p(c|x) 不能直接獲 取, 需要引入變分分布來近似后驗(yàn)的下界來求得最優(yōu)解。

Odena 等[35] 提出的 Auxiliary Classifier GAN (AC-GAN) 可以實(shí)現(xiàn)多分類問題, 它的判別器輸出 相應(yīng)的標(biāo)簽概率. 在實(shí)際訓(xùn)練中, 目標(biāo)函數(shù)則包含真 實(shí)數(shù)據(jù)來源的似然和正確分類標(biāo)簽的似然, 不再單 獨(dú)由判別器二分類損失來反傳調(diào)節(jié)參數(shù), 可以進(jìn)一 步調(diào)節(jié)損失函數(shù)使得分類正確率更高, AC-GAN 的 關(guān)鍵是可以利用輸入生成器的標(biāo)注信息來生成對(duì)應(yīng) 的圖像標(biāo)簽, 同時(shí)還可以在判別器擴(kuò)展調(diào)節(jié)損失函 數(shù), 從而進(jìn)一步提高對(duì)抗網(wǎng)絡(luò)的生成和判別能力.

考慮到 GAN 的輸出為連續(xù)實(shí)數(shù)分布而無法產(chǎn) 生離散空間的分布, Yu 等[6] 提出了一種能夠生成離 散序列的生成式模型 Seq-GAN. 他們用 RNN 實(shí)現(xiàn) 生成器G, 用CNN 實(shí)現(xiàn)判別器D, 用D 的輸出判 別概率通過增強(qiáng)學(xué)習(xí)來更新 G. 增強(qiáng)學(xué)習(xí)中的獎(jiǎng)勵(lì) 通過 D 來計(jì)算, 對(duì)于后面可能的行為采用了蒙特卡 洛搜索實(shí)現(xiàn), 計(jì)算 D 的輸出平均作為獎(jiǎng)勵(lì)值反饋.?

3. GAN 的應(yīng)用領(lǐng)域

作為一個(gè)具有 “無限” 生成能力的模型, GAN的直接應(yīng)用就是建模, 生成與真實(shí)數(shù)據(jù)分布一致的 數(shù)據(jù)樣本, 例如可以生成圖像、視頻等. GAN 可以 用于解決標(biāo)注數(shù)據(jù)不足時(shí)的學(xué)習(xí)問題, 例如無監(jiān)督 學(xué)習(xí)、半監(jiān)督學(xué)習(xí)等. GAN 還可以用于語音和語言 處理, 例如生成對(duì)話、由文本生成圖像等. 本節(jié)從圖 像和視覺、語音和語言、其他領(lǐng)域三個(gè)方面來闡述GAN 的應(yīng)用.?

3.1 圖像和視覺領(lǐng)域

GAN 能夠生成與真實(shí)數(shù)據(jù)分布一致的圖像. 一 個(gè)典型應(yīng)用來自 Twitter 公司, Ledig 等[36] 提出利 用 GAN 來將一個(gè)低清模糊圖像變換為具有豐富細(xì) 節(jié)的高清圖像. 作者用 VGG 網(wǎng)絡(luò)[37] 作為判別器,用參數(shù)化的殘差網(wǎng)絡(luò)[19] 表示生成器, 實(shí)驗(yàn)結(jié)果如圖4 所示, 可以看到 GAN 生成了細(xì)節(jié)豐富的圖像.?

GAN 也開始用于生成自動(dòng)駕駛場(chǎng)景. Santana等[38] 提出利用 GAN 來生成與實(shí)際交通場(chǎng)景分布一 致的圖像, 再訓(xùn)練一個(gè)基于 RNN 的轉(zhuǎn)移模型實(shí)現(xiàn)預(yù) 測(cè)的目的, 實(shí)驗(yàn)結(jié)果如圖 5 所示. GAN 可以用于自 動(dòng)駕駛中的半監(jiān)督學(xué)習(xí)或無監(jiān)督學(xué)習(xí)任務(wù), 還可以 利用實(shí)際場(chǎng)景不斷更新的視頻幀來實(shí)時(shí)優(yōu)化 GAN的生成器.

Gou 等[39?40] 提出利用仿真圖像和真實(shí)圖像作 為訓(xùn)練樣本來實(shí)現(xiàn)人眼檢測(cè), 但是這種仿真圖像與 真實(shí)圖像存在一定的分布差距. Shrivastava等[41]提出一種基于 GAN 的方法 (稱為 SimGAN), 利用 無標(biāo)簽真實(shí)圖像來豐富細(xì)化仿真圖像, 使得合成圖 像更加真實(shí). 作者引入一個(gè)自正則化項(xiàng)來實(shí)現(xiàn)最小 化合成誤差并較大程度保留仿真圖像的類別, 同時(shí) 利用加入的局部對(duì)抗損失函數(shù)來對(duì)每個(gè)局部圖像塊 進(jìn)行判別, 使得局部信息更加豐富.?

3.2 語音和語言領(lǐng)域

目前已經(jīng)有一些關(guān)于 GAN 的語音和語言處理 文章. Li 等[5] 提出用 GAN 來表征對(duì)話之間的隱式 關(guān)聯(lián)性, 從而生成對(duì)話文本. Zhang 等[42] 提出基于GAN 的文本生成, 他們用 CNN 作為判別器, 判別 器基于擬合 LSTM 的輸出, 用矩匹配來解決優(yōu)化問 題; 在訓(xùn)練時(shí), 和傳統(tǒng)更新多次判別器參數(shù)再更新一 次生成器不同, 需要多次更新生成器再更新 CNN 判別器.基于策略梯度來訓(xùn)練生成器G, 策略梯度的反饋獎(jiǎng)勵(lì)信號(hào)來自于生成器經(jīng)過蒙特卡 洛搜索得到, 實(shí)驗(yàn)表明 SeqGAN 在語音、詩詞和音 樂生成方面可以超過傳統(tǒng)方法. Reed 等[43] 提出用GAN 基于文本描述來生成圖像, 文本編碼被作為生 成器的條件輸入, 同時(shí)為了利用文本編碼信息, 也將 其作為判別器特定層的額外信息輸入來改進(jìn)判別器,判別是否滿足文本描述的準(zhǔn)確率, 實(shí)驗(yàn)結(jié)果表明生 成圖像和文本描述具有較高相關(guān)性.?

3.3 其他領(lǐng)域

除了將 GAN 應(yīng)用于圖像和視覺、語音和語言 等領(lǐng)域, GAN 還可以與強(qiáng)化學(xué)習(xí)相結(jié)合, 例如前述 的 SeqGAN[6]. 還有研究者將 GAN 和模仿學(xué)習(xí)融 合[44?45] 、將 GAN 和 Actor-critic 方法結(jié)合[46] 等. Hu 等[7] 提出 MalGAN 幫助檢測(cè)惡意代碼, 用 GAN生成具有對(duì)抗性的病毒代碼樣本, 實(shí)驗(yàn)結(jié)果表明基 于 GAN 的方法可以比傳統(tǒng)基于黑盒檢測(cè)模型的方 法性能更好. Childambaram 等[8] 基于風(fēng)格轉(zhuǎn)換提 出了一個(gè)擴(kuò)展 GAN 的生成器, 用判別器來正則化 生成器而不是用一個(gè)損失函數(shù), 用國際象棋實(shí)驗(yàn)示例證明了所提方法的有效性.?

4. GAN 的思考與展望

4.1 GAN 的思考與展望GAN 的意義和優(yōu)點(diǎn)?

GAN 對(duì)于生成式模型的發(fā)展具有重要的意義. GAN 作為一種生成式方法, 有效解決了可建立自然 性解釋的數(shù)據(jù)的生成難題. 尤其對(duì)于生成高維數(shù)據(jù),所采用的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)不限制生成維度, 大大拓寬 了生成數(shù)據(jù)樣本的范圍. 所采用的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)能 夠整合各類損失函數(shù), 增加了設(shè)計(jì)的自由度. GAN的訓(xùn)練過程創(chuàng)新性地將兩個(gè)神經(jīng)網(wǎng)絡(luò)的對(duì)抗作為訓(xùn) 練準(zhǔn)則并且可以使用反向傳播進(jìn)行訓(xùn)練, 訓(xùn)練過程 不需要效率較低的馬爾科夫鏈方法, 也不需要做各 種近似推理, 沒有復(fù)雜的變分下界, 大大改善了生成 式模型的訓(xùn)練難度和訓(xùn)練效率. GAN 的生成過程不 需要繁瑣的采樣序列, 可以直接進(jìn)行新樣本的采樣 和推斷, 提高了新樣本的生成效率. 對(duì)抗訓(xùn)練方法摒 棄了直接對(duì)真實(shí)數(shù)據(jù)的復(fù)制或平均, 增加了生成樣 本的多樣性. GAN 在生成樣本的實(shí)踐中, 生成的樣 本易于人類理解. 例如, 能夠生成十分銳利清晰的圖像, 為創(chuàng)造性地生成對(duì)人類有意義的數(shù)據(jù)提供了可 能的解決方法.

GAN 除了對(duì)生成式模型的貢獻(xiàn), 對(duì)于半監(jiān)督學(xué) 習(xí)也有啟發(fā). GAN 學(xué)習(xí)過程中不需要數(shù)據(jù)標(biāo)簽. 雖 然 GAN 提出的目的不是半監(jiān)督學(xué)習(xí), 但是 GAN 的 訓(xùn)練過程可以用來實(shí)施半監(jiān)督學(xué)習(xí)中無標(biāo)簽數(shù)據(jù)對(duì) 模型的預(yù)訓(xùn)練過程. 具體來說, 先利用無標(biāo)簽數(shù)據(jù)訓(xùn) 練 GAN, 基于訓(xùn)練好的 GAN 對(duì)數(shù)據(jù)的理解, 再利 用小部分有標(biāo)簽數(shù)據(jù)訓(xùn)練判別器, 用于傳統(tǒng)的分類 和回歸任務(wù).?

4.2 GAN 的缺陷和發(fā)展趨勢(shì)

GAN 雖然解決了生成式模型的一些問題, 并且 對(duì)其他方法的發(fā)展具有一定的啟發(fā)意義, 但是 GAN并不完美, 它在解決已有問題的同時(shí)也引入了一些 新的問題. GAN 最突出的優(yōu)點(diǎn)同時(shí)也是它較大的 問題根源. GAN 采用對(duì)抗學(xué)習(xí)的準(zhǔn)則, 理論上還 不能判斷模型的收斂性和均衡點(diǎn)的存在性. 訓(xùn)練過 程需要保證兩個(gè)對(duì)抗網(wǎng)絡(luò)的平衡和同步, 否則難以 得到很好的訓(xùn)練效果. 而實(shí)際過程中兩個(gè)對(duì)抗網(wǎng)絡(luò) 的同步不易把控, 訓(xùn)練過程可能不穩(wěn)定. 另外, 作 為以神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的生成式模型, GAN 存在神 經(jīng)網(wǎng)絡(luò)類模型的一般性缺陷, 即可解釋性差. 另外, GAN 生成的樣本雖然具有多樣性, 但是存在崩潰模 式 (Collapse mode) 現(xiàn)象[4], 可能生成多樣的, 但對(duì)于人類來說差異不大的樣本.

雖然 GAN 存在這些問題, 但不可否認(rèn)的是, GAN 的研究進(jìn)展表明它具有廣闊的發(fā)展前景. 例 如, Wasserstein GAN[29] 徹底解決了訓(xùn)練不穩(wěn)定問 題, 同時(shí)基本解決了崩潰模式現(xiàn)象. 如何徹底解決崩 潰模式并繼續(xù)優(yōu)化訓(xùn)練過程是 GAN 的一個(gè)研究方 向. 另外, 關(guān)于 GAN 收斂性和均衡點(diǎn)存在性的理論 推斷也是未來的一個(gè)重要研究課題. 以上研究方向 是為了更好地解決 GAN 存在的缺陷. 從發(fā)展應(yīng)用GAN 的角度, 如何根據(jù)簡單隨機(jī)的輸入, 生成多樣 的、能夠與人類交互的數(shù)據(jù), 是近期的一個(gè)應(yīng)用發(fā)展 方向. 從 GAN 與其他方法交叉融合的角度, 如何將GAN 與特征學(xué)習(xí)、模仿學(xué)習(xí)、強(qiáng)化學(xué)習(xí)等技術(shù)更好 地融合, 開發(fā)新的人工智能應(yīng)用或者促進(jìn)這些方法 的發(fā)展, 是很有意義的發(fā)展方向. 從長遠(yuǎn)來看, 如何 利用 GAN 推動(dòng)人工智能的發(fā)展與應(yīng)用, 提升人工 智能理解世界的能力, 甚至激發(fā)人工智能的創(chuàng)造力 是值得研究者思考的問題.?

4.3 GAN 與平行智能的關(guān)系

王飛躍研究員[47?48] 于 2004 年提出了復(fù)雜系 統(tǒng)建模與調(diào)控的 ACP (Artificial societies, compu- tational experiments, and parallel execution) 理論 和平行系統(tǒng)方法. 平行系統(tǒng)強(qiáng)調(diào)虛實(shí)互動(dòng), 構(gòu)建人工 系統(tǒng)來描述實(shí)際系統(tǒng), 利用計(jì)算實(shí)驗(yàn)來學(xué)習(xí)和評(píng)估 各種計(jì)算模型, 通過平行執(zhí)行來提升實(shí)際系統(tǒng)的性 能, 使得人工系統(tǒng)和實(shí)際系統(tǒng)共同推進(jìn)[49?50]. ACP理論和平行系統(tǒng)方法目前已經(jīng)發(fā)展為更廣義的平行 智能理論[51]. GAN 訓(xùn)練中真實(shí)的數(shù)據(jù)樣本和生成 的數(shù)據(jù)樣本通過對(duì)抗網(wǎng)絡(luò)互動(dòng), 并且訓(xùn)練好的生成 器能夠生成比真實(shí)樣本更多的虛擬樣本. GAN 可以 深化平行系統(tǒng)的虛實(shí)互動(dòng)、交互一體的理念. GAN作為一種有效的生成式模型, 可以融入到平行智能 研究體系. 本節(jié)從以下幾個(gè)方面討論 GAN 與平行 智能的關(guān)系.?

4.3.1 GAN 與平行視覺

平行視覺[52] 是 ACP 理論在視覺計(jì)算領(lǐng)域的推 廣, 其基本框架與體系結(jié)構(gòu)如圖 6 所示. 平行視覺結(jié) 合計(jì)算機(jī)圖形學(xué)、虛擬現(xiàn)實(shí)、機(jī)器學(xué)習(xí)、知識(shí)自動(dòng)化 等技術(shù), 利用人工場(chǎng)景、計(jì)算實(shí)驗(yàn)、平行執(zhí)行等理論 和方法, 建立復(fù)雜環(huán)境下視覺感知與理解的理論和 方法體系. 平行視覺利用人工場(chǎng)景來模擬和表示復(fù) 雜挑戰(zhàn)的實(shí)際場(chǎng)景, 使采集和標(biāo)注大規(guī)模多樣性數(shù) 據(jù)集成為可能, 通過計(jì)算實(shí)驗(yàn)進(jìn)行視覺算法的設(shè)計(jì) 與評(píng)估, 最后借助平行執(zhí)行來在線優(yōu)化視覺系統(tǒng). 其 中產(chǎn)生虛擬的人工場(chǎng)景便可以采用 GAN 實(shí)現(xiàn), 如 圖 5 所示. GAN 能夠生成大規(guī)模多樣性的圖像數(shù) 據(jù)集, 與真實(shí)數(shù)據(jù)集結(jié)合起來訓(xùn)練視覺模型, 有助于 提高視覺模型的泛化能力.?

4.3.2 GAN與平行控制

平行控制[53?55] 是一種反饋控制, 是 ACP 理論 在復(fù)雜系統(tǒng)控制領(lǐng)域的具體應(yīng)用, 其結(jié)構(gòu)如圖 7 所 示. 平行控制核心是利用人工系統(tǒng)進(jìn)行建模和表示,通過計(jì)算實(shí)驗(yàn)進(jìn)行分析和評(píng)估, 最后以平行執(zhí)行實(shí) 現(xiàn)對(duì)復(fù)雜系統(tǒng)的控制. 除了人工系統(tǒng)的生成和計(jì)算 實(shí)驗(yàn)的分析, 平行控制中的人工系統(tǒng)和實(shí)際系統(tǒng)平 行執(zhí)行的過程也利用 GAN 進(jìn)行模擬, 一方面可以 進(jìn)行人工系統(tǒng)的預(yù)測(cè)學(xué)習(xí)和實(shí)際系統(tǒng)的反饋學(xué)習(xí),另一方面可以進(jìn)行控制單元的模擬學(xué)習(xí)和強(qiáng)化學(xué)習(xí).

4.3.3 GAN 與平行學(xué)習(xí)?

平行學(xué)習(xí)[56] 是一種新的機(jī)器學(xué)習(xí)理論框架, 是ACP 理論在學(xué)習(xí)領(lǐng)域的體現(xiàn), 其理論框架如圖 8 所 示. 平行學(xué)習(xí)理論框架強(qiáng)調(diào): 使用預(yù)測(cè)學(xué)習(xí)解決如何 隨時(shí)間發(fā)展對(duì)數(shù)據(jù)進(jìn)行探索; 使用集成學(xué)習(xí)解決如 何在空間分布上對(duì)數(shù)據(jù)進(jìn)行探索; 使用指示學(xué)習(xí)解決如何探索數(shù)據(jù)生成的方向. 平行學(xué)習(xí)作為機(jī)器學(xué) 習(xí)的一個(gè)新型理論框架, 與平行視覺和平行控制關(guān) 系密切. GAN 在大數(shù)據(jù)生成、基于計(jì)算實(shí)驗(yàn)的預(yù)測(cè) 學(xué)習(xí)等方面都可以和平行學(xué)習(xí)結(jié)合發(fā)展.?

結(jié)論

本文綜述了生成式對(duì)抗網(wǎng)絡(luò) GAN 的研究進(jìn)展. GAN 提出后, 立刻受到了人工智能研究者的重視. GAN 的基本思想源自博弈論的二人零和博弈, 由一個(gè)生成器和一個(gè)判別器構(gòu)成, 通過對(duì)抗學(xué)習(xí)的方式 來迭代訓(xùn)練, 逼近納什均衡. GAN 作為一種生成式 模型, 不直接估計(jì)數(shù)據(jù)樣本的分布, 而是通過模型學(xué) 習(xí)來估測(cè)其潛在分布并生成同分布的新樣本. 這種 從潛在分布生成 “無限” 新樣本的能力, 在圖像和視 覺計(jì)算、語音和語言處理、信息安全等領(lǐng)域具有重 大的應(yīng)用價(jià)值.?

本文還展望了 GAN 的發(fā)展趨勢(shì), 重點(diǎn)討論了GAN 與平行智能的關(guān)系, 認(rèn)為 GAN 可以深化平行系統(tǒng)的虛實(shí)互動(dòng)、交互一體的理念, 為 ACP 理論提 供具體和豐富的算法支持. 在平行視覺、平行控制、 平行學(xué)習(xí)等若干平行系統(tǒng)中, GAN 可以通過生成與 真實(shí)數(shù)據(jù)同分布的數(shù)據(jù)樣本, 來支持平行系統(tǒng)的理 論和應(yīng)用研究. 因此, GAN 作為一種有效的生成式 模型, 可以融入到平行智能的研究體系.

Reference 詳見論文

作者介紹?

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識(shí)

QQ群：81035754