Yann Lecun自監(jiān)督學(xué)習(xí)指南（附114頁Slides全文）

yiliang 發(fā)布于2019-04-25 18:30 / 982人閱讀

摘要：近年來，深度學(xué)習(xí)在計(jì)算機(jī)感知自然語言處理和控制方面取得了重大進(jìn)展。位列新澤西州的發(fā)明家名人堂，并獲得年神經(jīng)網(wǎng)絡(luò)先鋒獎年杰出研究獎年終身成就獎和來自墨西哥的名譽(yù)博士學(xué)位。

Yann Lecun是卷積網(wǎng)絡(luò)模型的發(fā)明者，該模型被廣泛地應(yīng)用于模式識別應(yīng)用中，因此他也被稱為卷積網(wǎng)絡(luò)之父，是公認(rèn)的世界人工智能三巨頭之一。 2018年11月08日，他來到加州大學(xué)圣巴巴拉分校，為在場師生作了一場關(guān)于自監(jiān)督學(xué)習(xí)的前沿報(bào)告，近日他在twitter上公開了報(bào)告的全程錄像以及Slides全文，現(xiàn)為大家編譯如下。

介紹：

11月08日，應(yīng)加州大學(xué)圣巴巴拉分校，統(tǒng)計(jì)與應(yīng)用概率學(xué)系（Department of Statistics and Applied Probability）邀請，F(xiàn)acebook副總裁兼人工智能科學(xué)家、紐約大學(xué)數(shù)據(jù)科學(xué)中心創(chuàng)始主任Yann Lecun為在場師生做了一場自監(jiān)督學(xué)習(xí)的前沿報(bào)告。

近年來，深度學(xué)習(xí)在計(jì)算機(jī)感知、自然語言處理和控制方面取得了重大進(jìn)展。但幾乎所有這些成功都在很大程度上依賴于有監(jiān)督學(xué)習(xí)，在監(jiān)督學(xué)習(xí)中，機(jī)器被要求預(yù)測人類提供的標(biāo)簽信息，或通過無模型的強(qiáng)化學(xué)習(xí)方法，不斷的嘗試各種行為空間的動作，以期達(dá)到收益（reward）較大化。這導(dǎo)致了監(jiān)督學(xué)習(xí)需要大量的標(biāo)記樣本，使得它只適用于特定的任務(wù)。而強(qiáng)化學(xué)習(xí)即使在簡單的學(xué)習(xí)任務(wù)中，也需要與環(huán)境進(jìn)行大量的交互。相比之下，動物和人類似乎只通過觀察和偶爾的互動便學(xué)會了大量與任務(wù)無關(guān)的關(guān)于世界如何運(yùn)轉(zhuǎn)的知識。動物學(xué)習(xí)新任務(wù)所需要的訓(xùn)練樣本，以及與世界的互動都非常的少。

我們甚至能在30個(gè)小時(shí)的練習(xí)中，學(xué)會如何駕駛飛機(jī)。那么人類和動物是如何進(jìn)行有效的學(xué)習(xí)呢？這里將提出一個(gè)假設(shè)：即預(yù)測模型中的自監(jiān)督學(xué)習(xí)，是人工智能方法中必不可少的一部分。有了這些模型，人們就可以預(yù)測結(jié)果并計(jì)劃如何行動，好的預(yù)測模型可能是直覺、推理和“常識”的基礎(chǔ)，讓我們能夠填補(bǔ)缺失的信息：從過去和現(xiàn)在的經(jīng)驗(yàn)中預(yù)測未來，或從嘈雜的世界中推斷當(dāng)前的狀態(tài)。有人可能會說，預(yù)測是智力的本質(zhì)，在簡要介紹了深度學(xué)習(xí)的現(xiàn)狀之后，我們將討論一些有前途的自監(jiān)督學(xué)習(xí)的原則和方法。

作者簡介：

在人工智能研究領(lǐng)域，Yann LeCun、Geoffrey Hinton 和 Yoshua Bengio一直被公認(rèn)為深度學(xué)習(xí)三巨頭。

Yann LeCun，自稱中文名“楊立昆”，計(jì)算機(jī)科學(xué)家，被譽(yù)為“卷積網(wǎng)絡(luò)之父”，為卷積神經(jīng)網(wǎng)絡(luò)（CNN，Convolutional Neural Networks）和圖像識別領(lǐng)域做出了重要貢獻(xiàn)，以手寫字體識別、圖像壓縮和人工智能硬件等主題發(fā)表過 190 多份論文，研發(fā)了很多關(guān)于深度學(xué)習(xí)的項(xiàng)目，并且擁有14項(xiàng)相關(guān)的美國專利。他同Léon Bottou和Patrick Haffner等人一起創(chuàng)建了DjVu圖像壓縮技術(shù)，同Léon Bottou一起開發(fā)了一種開源的Lush語言，比Matlab功能還要強(qiáng)大，并且也是一位Lisp高手。（Backpropagation，簡稱BP）反向傳播這種現(xiàn)階段常用來訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)的算法，就是 LeCun 和其老師“神經(jīng)網(wǎng)絡(luò)之父”Geoffrey Hinton 等科學(xué)家于 20 世紀(jì) 80 年代中期提出的，而后 LeCun 在貝爾實(shí)驗(yàn)室將 BP 應(yīng)用于卷積神經(jīng)網(wǎng)絡(luò)中，并將其實(shí)用化，推廣到各種圖像相關(guān)任務(wù)中。

Yann LeCun 也是Facebook人工智能研究院院長，紐約大學(xué)的 Silver 教授，隸屬于紐約大學(xué)數(shù)據(jù)科學(xué)中心、Courant 數(shù)學(xué)科學(xué)研究所、神經(jīng)科學(xué)中心和電氣與計(jì)算機(jī)工程系。加盟Facebook之前，Lecun已在貝爾實(shí)驗(yàn)室工作超過20年，期間他開發(fā)了一套能夠識別手寫數(shù)字的系統(tǒng)，叫作LeNet，用到了卷積神經(jīng)網(wǎng)絡(luò)，已開源。他在 1983 年在巴黎 ESIEE 獲得電子工程學(xué)位，1987 年在 Université P&M Curie 獲得計(jì)算機(jī)科學(xué)博士學(xué)位。在完成了多倫多大學(xué)的博士后研究之后，他在 1988 年加入了 AT&T 貝爾實(shí)驗(yàn)室（AT&T Bell Laboratories /Holmdel, NJ），在 1996 年成為 AT&T Labs-Research 的圖像處理研究部門主管。2003 年，他加入紐約大學(xué)獲得教授任職，并在 NEC 研究所（普林斯頓）呆過短暫一段時(shí)間。2012 年他成為紐約大學(xué)數(shù)據(jù)科學(xué)中心的創(chuàng)辦主任。2013 年末，他成為 Facebook 的人工智能研究中心（FAIR）負(fù)責(zé)人，并仍保持在 NYU 中兼職教學(xué)。從 2015 到 2016 年，Yann LeCun 還是法蘭西學(xué)院的訪問學(xué)者。

LeCun 是 ICLR 的發(fā)起人和常任聯(lián)合主席（general co-chair），并且曾在多個(gè)編輯委員會和會議組織委員會任職。他是加拿大高級研究所（Canadian Institute for Advanced Research）機(jī)器與大腦學(xué)習(xí)（Learning in Machines and Brains）項(xiàng)目的聯(lián)合主席。他同樣是 IPAM 和 ICERM 的理事會成員。他曾是許多初創(chuàng)公司的顧問，并是 Elements Inc 和 Museami 的聯(lián)合創(chuàng)始人。LeCun 位列新澤西州的發(fā)明家名人堂，并獲得 2014 年 IEEE 神經(jīng)網(wǎng)絡(luò)先鋒獎（Neural Network Pioneer Award）、2015 年 IEEE PAMI 杰出研究獎、2016 年 Lovie 終身成就獎和來自墨西哥 IPN 的名譽(yù)博士學(xué)位。

視頻地址：

https://ucsb.app.box.com/s/msam98ewhhk48t60p75glvm9h0fv57fl

內(nèi)容大綱：

1、深度學(xué)習(xí)現(xiàn)狀