資訊專欄INFORMATION COLUMN
摘要：最近老顧收到很多讀者來信，絕大多數(shù)詢問對抗生成網(wǎng)絡的最優(yōu)傳輸解釋，以及和蒙日安培方程的關系。蒙日安培方程的幾何解法硬件友好，可以用目前的并行實現(xiàn)。蒙日安培方程的正則性理論更加復雜，但是對于模式塌縮的理解非常關鍵。
最近老顧收到很多讀者來信，絕大多數(shù)詢問對抗生成網(wǎng)絡的最優(yōu)傳輸解釋，以及和蒙日-安培方程的關系。很多問題涉及到經(jīng)典蒙日-安培方程理論，這里我們從偏微分方程和幾何角度介紹一下蒙日-安培方程的理論，主要是解的存在性，性。我們盡量用較為初等的方式來解釋。
深度學習和最優(yōu)傳輸
深度學習的巨大成功可以歸結(jié)為自然數(shù)據(jù)所滿足如下兩個定則：1）流形分布律：同類自然數(shù)據(jù)滿足特定的概率分布，可以用概率分布來刻畫，其支集是高維數(shù)據(jù)背景空間中的低維流形；2）聚類分布律：同一數(shù)據(jù)中的不同子類表示成不同的概率分布；并且這些概率分布之間的距離足夠遠，使得這些子類可以被區(qū)分。因此，深度學習的核心任務包括：1）學習流形結(jié)構(gòu)：即計算從流形到參數(shù)域的參數(shù)化映射（編碼、解碼映射）；也計算流形之間的映射；2）概率分布變換：在特征空間或者圖像空間中，計算兩種概率分布之間的距離，和兩種概率分布之間的變換。
基于最優(yōu)傳輸觀點，特別是幾何上的Alexandrov途徑，我們設計了新穎的生成模型，進行了初步試驗。這里的幾何算法可以用硬件加速。詳細的討論請見深度學習和幾何（演講提要）。下面，我們用盡量初等的方法來介紹蒙日-安培方程弱解的存在性和性。
凸函數(shù)
圖1. 左幀非凸集，右?guī)辜?/p>
證明基于下面事實：正定矩陣之和、正定矩陣和正常數(shù)的數(shù)乘還是正定矩陣；或者用第一個定義。
圖3. 凸函數(shù)的次微分。
圖4. 勒讓德變換。
圖5. 由支撐平面重構(gòu)凸函數(shù)。
蒙日-安培測度
蒙日-安培測度具有非常直觀而且重要的特性。
不等式成立。
圖6. 次微分的單調(diào)性。
蒙日-安培方程
我們可以得到迪利克雷問題弱解的穩(wěn)定性如下：
圖7. 錐函數(shù)。
最優(yōu)傳輸映射和蒙日-安培方程
小結(jié)
對抗生成模型（GAN model）可以用最優(yōu)傳輸理論來解釋和計算，生成器等價于求解最優(yōu)傳輸映射，判別器等價于計算Wasserstein距離，即最優(yōu)傳輸映射的傳輸總代價。
傳輸代價的Brenier理論將最優(yōu)傳輸映射求解歸結(jié)為蒙日-安培方程的弱解。這里我們用盡量初等的方法介紹了蒙日-安培方程弱解（Alexandrov 解）的存在性和性，由此幫助大家奠定學習GAN模型的理論基礎。
除了理論嚴密清晰，白箱替代黑箱，從深度學習的實戰(zhàn)角度而言，用蒙日-安培方程的幾何解法計算最優(yōu)傳輸映射來部分替代目前深度神經(jīng)網(wǎng)絡生成模型方法，具有很多優(yōu)點：
蒙日-安培方程的幾何解法歸結(jié)為凸優(yōu)化問題，保證最優(yōu)解的存在性和性，不會停留在局部最優(yōu)上面；
蒙日-安培方程的幾何解法具有明確的海森矩陣，可以用牛頓法進行優(yōu)化，二階收斂。或者用超線性的擬牛頓法，效率遠高于線性的梯度下降法。
蒙日-安培方程幾何解法的誤差可以較精確控制，采樣密度和逼近Brenier勢能函數(shù)的
誤差模有確定關系，可以自適應條件采樣密度，以提高逼近精度。
算法設計具有層級（hirearchical）和自適應（self adaptive）特性，進一步提高效率。
蒙日-安培方程的幾何解法硬件友好，可以用目前的GPU并行實現(xiàn)。
實驗結(jié)果驗證了我們的看法，用這種方法從效率和生成質(zhì)量而言，優(yōu)于傳統(tǒng)方法。
蒙日-安培方程的正則性理論更加復雜，但是對于模式塌縮的理解非常關鍵。我們會在未來加以詳盡討論。
聲明：文章收集于網(wǎng)絡，為傳播信息而發(fā)，如有侵權(quán)，請聯(lián)系小編及時處理，謝謝！
商業(yè)智能與數(shù)據(jù)分析群
興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價值的辦法，實際應用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報表系統(tǒng)等全方位知識
QQ群：81035754
文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址：http://m.hztianpu.com/yun/4848.html
摘要：我們將這些現(xiàn)象籠統(tǒng)稱為廣義的模式崩潰問題。這給出了模式崩潰的直接解釋。而傳統(tǒng)深度神經(jīng)網(wǎng)絡只能逼近連續(xù)映射，這一矛盾造成了模式崩潰。 春節(jié)前夕，北美遭遇極端天氣，在酷寒中筆者來到哈佛大學探望丘成桐先生。新春佳節(jié)，本是普天同慶的日子，但對于孤懸海外的游子而言，卻是更為凄涼難耐。遠離父母親朋，遠離故國家園，自然環(huán)境寒風凜冽，飛雪漫天，社會環(huán)境疏離淡漠，冷清寂寥。在波士頓見到導師和朋友，倍感欣慰。筆...
摘要：老顧受邀在一些大學和科研機構(gòu)做了題為深度學習的幾何觀點的報告，匯報了這方面的進展情況。深度學習的主要目的和功能之一就是從數(shù)據(jù)中學習隱藏的流形結(jié)構(gòu)和流形上的概率分布。 （最近，哈佛大學丘成桐先生領導的團隊，大連理工大學羅鐘鉉教授、雷娜教授領導的團隊應用幾何方法研究深度學習。老顧受邀在一些大學和科研機構(gòu)做了題為深度學習的幾何觀點的報告，匯報了這方面的進展情況。這里是報告的簡要記錄，具體內(nèi)容見【1...
摘要：在最近的一次人工智能會議上，表示自己對于反向傳播非常懷疑，并提出應該拋棄它并重新開始。在人工智能多年的發(fā)展過程中，反向傳播已經(jīng)成為了深度學習不可或缺的一部分。最后，我們會將這些規(guī)則組合成可用于任意神經(jīng)網(wǎng)絡的反向傳播算法。 現(xiàn)在的深度學習發(fā)展似乎已經(jīng)陷入了大型化、深度化的怪圈，我們設計的模型容易被對抗樣本欺騙，同時又需要大量的訓練數(shù)據(jù)——在無監(jiān)督學習上我們?nèi)〉玫耐黄七€很少。作為反向傳播這一深度...
摘要：因為深度學習的正統(tǒng)觀念在該領域已經(jīng)很流行了。在機器和深度學習空間中進行的大多數(shù)數(shù)學分析傾向于使用貝葉斯思想作為參數(shù)。如果我們接受了目前深度學習的主流觀點任何一層的微分都是公平的，那么或許我們應該使用存儲多種變體的復分析。 深度學習只能使用實數(shù)嗎？本文簡要介紹了近期一些將復數(shù)應用于深度學習的若干研究，并指出使用復數(shù)可以實現(xiàn)更魯棒的層間梯度信息傳播、更高的記憶容量、更準確的遺忘行為、大幅降低的網(wǎng)...
閱讀 1892·2019-08-30 15:55
閱讀 1082·2019-08-26 11:57
閱讀 598·2019-08-26 11:29
閱讀 3426·2019-08-26 10:49
閱讀 2005·2019-08-23 18:40
閱讀 1884·2019-08-23 16:04
閱讀 3174·2019-08-23 11:01
閱讀 2356·2019-08-23 10:56
