摘要：淺層結(jié)構(gòu)化預測方法有損失的條件隨機域，有的較大邊緣馬爾可夫網(wǎng)絡和隱支持向量機，有感知損失的結(jié)構(gòu)化感知深層結(jié)構(gòu)化預測圖變換網(wǎng)絡圖變換網(wǎng)絡深度學習上的結(jié)構(gòu)化預測該圖例展示了結(jié)構(gòu)化感知損失實際上，使用了負對數(shù)似然函數(shù)損失于年配置在支票閱讀器上。

卷積網(wǎng)絡和深度學習的動機：端到端的學習

一些老方法：步長內(nèi)核，非共享的本地連接，度量學習，全卷積訓練

深度學習缺少什么？

基礎理論

推理、結(jié)構(gòu)化預測

記憶

有效的監(jiān)督學習方法

深度學習=學習層次化表達

傳統(tǒng)模式識別方法：固定或手動特征提取

2015年主流的模式識別：利用無監(jiān)督中層特征進行分類

深度學習：特征具有層次性，通過訓練獲得

視覺領域早期層次化特征模型

簡單細胞檢測本地特征

復雜細胞把簡單細胞的輸出池化在視皮層附近

哺乳動物的視皮層是層次化的

視皮層的腹側(cè)識別路徑分多個階段

視網(wǎng)膜 - LGN - V1 - V2 - PIT - AIT?

有很多中間表征

深度的定義：存在多次非線性特征轉(zhuǎn)化

早期網(wǎng)絡回顧

目標定位監(jiān)督訓練二值單元

隱藏單元計算虛擬目標

較早的卷積神經(jīng)網(wǎng)絡（U Toronto）[LeCun 88,89]

用反向傳播訓練320個例子

有步長的卷積

沒有分離的池化層

第一個真正意義的深度卷積網(wǎng)絡在貝爾實驗室誕生 [LeCun et al 89]

用反向傳播訓練

數(shù)據(jù)：USPS 郵編號—7300 訓練樣本，2000測試樣本

基于步長的卷積，不具備分離池化/采樣層

池化層分離的卷積網(wǎng)絡

卷積網(wǎng)絡 （Vintage 1992）

LeNet1 演示系統(tǒng) （1993）

整合分割多字符識別

多字符識別 【Matan et al 1992】

SDNN空間移位神經(jīng)網(wǎng)絡

也被稱為復制的卷積網(wǎng)絡或 ConvNet——問題：我們能否稱其為完全卷積網(wǎng)絡？

不存在完全連接層

它們實際上是具有1×1卷積內(nèi)核的卷積層

多字符識別：集成分割

用半合成數(shù)據(jù)訓練

訓練樣本

建立在深度卷積網(wǎng)絡上的‘Deformable part model’ [Driancourt, Bottou 1991]

具有可訓練靈活單詞模板的口語單詞識別方法；

是第一個建立在深度學習上的結(jié)構(gòu)化預測的例子。

具有靈活單詞模型的單詞層級訓練：

1. 獨立的話語單詞識別

2. 可訓練的靈活模板和特征提取

3. 在單詞層進行全局訓練

4. 使用動態(tài)時間規(guī)整（Dynamic Time Warping）進行靈活匹配

結(jié)構(gòu)化預測和深度學習的較早的例子：基于卷積網(wǎng)絡(TDNN) 和 動態(tài)時間規(guī)整（DTW）的可訓練自動語音識別系統(tǒng)

端到端學習 -- 單詞層的差別訓練：

使每一個系統(tǒng)模塊成為可訓練的

同時訓練所有模塊從而最優(yōu)化全局損失函數(shù)

過程包括特征提取，識別器，環(huán)境后處理器（圖像模型）

問題：通過圖像模型進行梯度后向傳播。

淺層結(jié)構(gòu)化預測方法：

有NLL損失的條件隨機域，

有Hinge Loss的較大邊緣馬爾可夫網(wǎng)絡和隱支持向量機（Latent SVM），

有感知損失的結(jié)構(gòu)化感知

深層結(jié)構(gòu)化預測：圖變換網(wǎng)絡

圖變換網(wǎng)絡：深度學習上的結(jié)構(gòu)化預測

該圖例展示了結(jié)構(gòu)化感知損失

實際上，使用了負對數(shù)似然函數(shù)損失

于1996年配置在支票閱讀器上。

支票閱讀器。

圖變換網(wǎng)絡被用于讀支票數(shù)量。

是一種基于負對數(shù)似然性損失的全局訓練。

在1996年被提出，并被美國和歐洲的許多銀行應用

目標檢測

人臉檢測 [Vaillant et al. 93, 94]: ConvNet 被用于大型圖片。

利用多個規(guī)格的熱圖，對候選者做非極大值抑制。

在SPARC處理器上運行，處理一副256×256像素的圖像需要6秒。

2000年代中期的人臉檢測技術成果[Garcia & Delakis 2003][Osadchy et al. 2004] [Osadchy et al, JMLR 2007]

同步人臉識別和姿勢估計

語義分割

ConvNets 在生物圖像分割領域的應用：

生物圖像分割[Ning et al. IEEE-TIP 2005]。

使用convnet在大環(huán)境進行像素標記:?

ConvNet 對一個窗口中的像素進行處理，并標記該窗口的中心像素。

使用一種條件隨機域的方法進行噪音像素清理。

連接組學的三維版本。

ConvNet在長距離適應性機器人視覺中的應用。

用卷積網(wǎng)絡建模長距離視覺。

卷積網(wǎng)絡體系結(jié)構(gòu)

場景分解/標記：多尺度的ConvNet體系

方法1：多數(shù)在超像素區(qū)

場景解析和標記：用于RGB + 深度圖像

場景解析和標記：?

沒有后處理；

以幀為單位；

ConvNet在Virtex-6 FPGA上運行效率是50ms/幀；

但在以太網(wǎng)上交流特征信息限制系統(tǒng)性能

接下來，兩個重要事件：

ImageNet數(shù)據(jù)集誕生[Fei-Fei et al. 2012]，有1200萬的訓練樣本，分類在1000個目錄里；

快速圖像處理單元（GPU）：處理速度達到每秒1萬億次操作

極深ConvNet在對象識別中的應用

深度人臉[Taigman et al. CVPR 2014]：

對準，

ConvNet,?

度量學習

深度學習存在的問題是什么？

深度學習缺少理論

· ConvNets 的優(yōu)點是？

· 我們到底需要多少層？

· 在一個大型ConvNet中，有多少有效的自由參數(shù)？目前來看ConvNet冗余過多

· 局部極小值有什么問題？

（1）幾乎所有局部極小值都相等；局部極小的效能退化；

（2）針對這個問題，隨機矩陣/spin glass理論被提出[Choromanska, Henaff, Mathieu, Ben Arous, LeCun AI-stats 2015]

基于ReLU 的深度網(wǎng)絡：目標函數(shù)是分段多項式

深度學習缺少論證

能量最小化論證（結(jié)構(gòu)化預測：structured prediction++）

· 深度學習系統(tǒng)能被組裝為能量模型，又名因子圖

· 推理過程是能量最小化過程或自由能量最小化（邊緣化）

基于能量的學習[LeCun et al. 2006]：按所需輸出的能量向下推；按其他向上推

深度學習缺少記憶

自然語言處理：單詞嵌入

從上下文預測當前單詞

進行成分語義特征

基于卷積或循環(huán)網(wǎng)絡的文本嵌入：在向量空間中嵌入句子

自然語言處理例子：問答系統(tǒng)

用 Thought vector 表示世界

· 每一個對象，概念，或“想法（Thought）”能被表示成一個向量

· 推理的過程在于對thought vector的操縱

· 記憶存儲thought vectors：例子：MemNN（記憶神經(jīng)網(wǎng)絡）

· 在FAIR，我們正試圖把世界嵌入思維向量中

· 我們把這個使命叫做：World2Vec

那么神經(jīng)網(wǎng)絡是如何記憶的？

· 循環(huán)網(wǎng)絡沒有長期記憶：皮層只能有20秒的記憶

· 我們需要一個‘海馬體’（另一個記憶模塊），例如（1）LSTM[Hochreiter 1997] ，寄存器；（2）記憶網(wǎng)絡[Weston et 2014]（FAIR），聯(lián)想記憶 （3）NTM[DeepMind 2014]，磁帶。

塑造能量函數(shù)的7個策略：

（1）建立學習機器使得低能量物體的量維持不變；（2）把有能量的數(shù)據(jù)點向上推，其他地方向下推；（3）把有能量的數(shù)據(jù)點向下推，特定區(qū)域向上推；（4）最小化梯度，較大化數(shù)據(jù)點周圍的曲率；（5）訓練一個動態(tài)系統(tǒng)使得動態(tài)因素轉(zhuǎn)向流形；（6）使用正則化限制低能量區(qū)域的擴充；（7）壓縮自動編碼器（auto-encoder）; 使auto-encoder飽和

以下由于篇幅原因，只列出文字，請在新智元后臺回復“0703”下載PPT全文

S83. 低能量恒容：建立一個學習機，使得低能量容量恒定

S84. 使用正則器限制低能量區(qū)域：

S85. 不同方法的能量函數(shù)：二維小數(shù)據(jù)集：螺旋；能量表層可視化

S86. 基于快速近似推理的字典學習：稀疏自動編碼器

S87. 如何在一個生成模型中加速推理？

S88. 稀疏建模：稀疏代碼 + 字典學習

S89. 使用正則器限制低能量區(qū)域：

稀疏編碼，

稀疏自動編碼器（auto-encoder）

預測稀疏分解

S90. 編碼器體系。

例子：大部分ICA 模型，專家產(chǎn)品

S91. 編碼-解碼體系。

在感興趣的數(shù)據(jù)點上訓練一個‘簡單的’前向函數(shù)去預測復雜優(yōu)化問題的結(jié)果 [Kavukcuoglu, Ranzato, LeCun, rejected by every conference, 2008-2009]

S92. 學習執(zhí)行近似推理：預測稀疏分解，稀疏自動編碼器

S93. 稀疏自動編碼器：預測稀疏分解

· 用一個訓練的編碼器預測最優(yōu)化代碼

· 能量 = 重構(gòu)錯誤+代碼預測錯誤+代碼稀疏性

S94. 用于非監(jiān)督特征學習的正則化編碼-解碼模型（自動編碼器）

· 編碼器：基于X計算特征向量Z

· 解碼器：從向量Z重構(gòu)輸入X

· 特征向量：高維和正則化的（e.g. 稀疏）

· 因子圖的能量函數(shù)E(X,Z)，3項：

? ? ? 線性解碼函數(shù)和重構(gòu)錯誤；

? ? ? 非線性編碼函數(shù)和預測錯誤；

? ? ? 池化函數(shù)和正則項

S95. PSD: MNIST 上的基礎函數(shù)：基礎函數(shù)和（編碼矩陣）是數(shù)字部分

S96. 預測稀疏分解（PSD）：訓練。在自然圖像塊上訓練：12×12，256基礎函數(shù)

S97. 在自然片段上學習特征：V1型感受域

S98. 學習近似推理： LISTA

S99. 更好的想法：把正確的結(jié)構(gòu)給編碼器

· ISTA/FISTA: 迭代算法收斂于最優(yōu)稀疏碼

· ISTA/FISTA: 重新參數(shù)化

· LISTA(Learned ISTA): 學習 We 和 S 矩陣以加速求解

S100. 訓練 We 和 S 矩陣支持快速近似求解

· 把FISTA流圖看成一個循環(huán)神經(jīng)網(wǎng)絡，其中We 和 S是可訓參數(shù)

· 時間展開流圖進行K次迭代

· 用定時后向傳播學習We和S矩陣

· 在K次迭代中獲得最優(yōu)近似解

S101. 學習ISTA (LISTA) vs ISTA/FISTA

S102. 基于局部互抑矩陣的LISTA

S103. 學習坐標下降（LcoD）: 比LISTA塊

S104. 差異循環(huán)稀疏自動編碼器（DrSAE）[Rolfe & LeCun ICLR 2013]

S105. DrSAE發(fā)現(xiàn)手寫數(shù)字的流形結(jié)構(gòu)

S106. 卷積稀疏編碼

· 利用卷積把點積替換為字典元素；正則稀疏編碼；卷積S.C.

S107. 卷積PSD: 用軟函數(shù)sh()編碼.

· 卷積公式：把稀疏編碼從PATCH擴展到IMAGE

· 基于PATCH的學習

· 卷積學習

S108. 自然圖像上的卷積稀疏自動編碼

S109. 使用PSD 訓練特征層次。

階段1：使用PSD訓練第一層

階段2： 用編碼器+值做特征提取器

階段3：用PSD訓練第二層

階段4：用編碼器+值做第二特征提取器

階段5：在頂部訓練一個監(jiān)督分類器

階段6（可選）：用監(jiān)督反向傳播訓練整個系統(tǒng)

S110. ?行人檢測：INRIA數(shù)據(jù)集。

缺失率(Miss rate)和誤報率（False positives）[Kavukcuoglu et al. NIPS 2010] [Sermanet et al. ArXiv 2012]

S111. 非監(jiān)督學習：不變特征

S112. 用L2組稀疏學習不變特征。

無監(jiān)督PSD忽略空間池化。

我們能否設計一個相似的方法以學習池化層？

解決方案：特征池上的組稀疏，特點

（1）池的個數(shù)必須非0；

（2）一個池中的特征數(shù)不重要；

（3）各個池會重組相似特征。

S113. 用L2組稀疏學習不變特征. 該方法的中心思想和發(fā)展歷程。

· 中心思想：特征被池化成組。

· 發(fā)展：

[Hyv?rinen Hoyer 2001]: “子空間ICA（subspace ICA）”，僅用于解碼，平方；

[Welling, Hinton, Osindero NIPS 2002]: 池化的專家產(chǎn)品（pooled product of experts）：僅編碼，過完備，L2池化上的對數(shù)student-T懲罰；

[Kavukcuoglu, Ranzato, Fergus LeCun, CVPR 2010]: 不變PSD（ Invariant PSD）。編碼-解碼（像PSD），過完備，L2池化

[Le et al. NIPS 2011]: 重構(gòu)ICA（Reconstruction ICA）：與[Kavukcuoglu 2010]相似，具有線性編碼器和緊湊解碼器

[Gregor & LeCun arXiv:1006:0448, 2010] [Le et al. ICML 2012]: 局部相連非共享（片化的）編碼-解碼器

S118. 分組都局部于一個2維地形圖。

過濾器能自我管理，從而相似過濾器聚集在一個池中。

池化單元可被看為復雜細胞。

池化單元的輸出不隨輸入的局部轉(zhuǎn)化而變化。

S119-120. 圖像層訓練，局部過濾器，不共享權(quán)重：在115×115圖像上訓練。內(nèi)核是15×15（不通過空間共享）：[Gregor & LeCun 2010]的方法；局部感知域；無共享權(quán)重；4倍過完備；L2池化；池上組稀疏。

S121. 地形圖. 例子屬性：119×119 圖像輸入，100×100編碼，20×20感知域規(guī)格，sigma = 5.

S122. 圖像層訓練，局部過濾器，不共享權(quán)重。顏色表明方向（通過擬合Gabors函數(shù)）

S123. 不變特征的側(cè)抑制。用側(cè)抑制矩陣替換L1稀疏項；一種給稀疏項強加特定結(jié)構(gòu)的簡單方法[Gregor, Szlam, LeCun NIPS 2011]。

S124. 通過側(cè)抑制學習不變特征：結(jié)構(gòu)化稀疏。樹中的每條邊表明S矩陣中的一個0（無互抑制）。如果樹中兩個神經(jīng)元離得遠，它們的S比較大

S125. 通過側(cè)抑制學習不變特征：地形圖。S中的非0值形成2維拓撲圖中的一個環(huán)。輸入片被高通濾波過濾

S126. 有“慢特征”懲罰的稀疏自編碼

S127. 時間恒常的不變特征。對象是實例化參數(shù)和對象類型的叉積：映射單元[Hinton 1981]，膠囊[Hinton 2011]。

S128. What-Where 自編碼體系。

S129. 連接到單個復雜細胞的低層過濾器

S130. ?集成監(jiān)督式和非監(jiān)督式學習：疊放的What-Where自編碼[Zhao, Mathieu, LeCun arXiv:1506.02351]

S132. The bAbI 任務。一個AI系統(tǒng)應該能回答的問題。

具有一個支撐事件的基本仿真QA?

具有兩個支撐事件的仿真QA

對具有兩個支撐事件的仿真QA字符重新排序

有三個支撐事件的仿真QA

兩個論證關系：可觀的和主觀的

三個論證關系

Yes/No 問題

計數(shù)

列表和集合

簡單拒絕

非決定性知識

基本指代

連詞

復合指代

時間操縱

基本推理

基本歸納

位置推理

關于尺寸的推理

尋找路徑

行為動機推理

S157. ?解決以上這些任務的一種方法：記憶網(wǎng)絡（MeNN）

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價值的辦法，實際應用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報表系統(tǒng)等全方位知識

QQ群：81035754