摘要：為什么我又要重新開始寫機(jī)器學(xué)習(xí)相關(guān)的文章了最主要的原因是現(xiàn)在的機(jī)器學(xué)習(xí)和五年前十年前區(qū)別很大。深度學(xué)習(xí)帶來了什么深度學(xué)習(xí)最重要的東西就是自帶了特征學(xué)習(xí)，有時候也被翻譯為表征學(xué)習(xí)，簡單來說就是，不需要進(jìn)行特別的特征抽取。

1.為什么我開始寫這個系列博客

說五年前我還在某A云公司的時候，身在一個機(jī)器學(xué)習(xí)算法組，對機(jī)器學(xué)習(xí)懷有濃厚的興趣。花了好多的時間來試圖搞清楚各種流行的機(jī)器學(xué)習(xí)算法，經(jīng)常周末也跟同事探討公式的推倒和背后的意義。寫博客的主要動力是讓自己能夠更好的理解機(jī)器學(xué)習(xí)。

?

后來堅持了沒有太久的時間就換到大數(shù)據(jù)方向了，最主要的原因是覺得自己數(shù)學(xué)天賦太差，尤其是數(shù)學(xué)。當(dāng)初學(xué)習(xí)的時候主要參考的PRML，Andrew Moore的PPT，Andrew Ng的公開課，plukids博客，另外加上淘寶斌強(qiáng)哥的各種悉心指導(dǎo)。但是學(xué)了好久，公式能大概看懂是怎么回事，不過自己徒手推出來實(shí)在是太艱難了。PRML的習(xí)題，甚至是具體數(shù)學(xué)的習(xí)題，都很難做得出來。

?

后面的發(fā)生的事情就理所當(dāng)然了，既然很難在這個領(lǐng)域做到核心（我的理解是具有及其好的數(shù)學(xué)天賦作為后盾才能做到機(jī)器學(xué)習(xí)的核心），那么為什么不換一個更適合自己的方向呢？恩好吧，基礎(chǔ)數(shù)據(jù)架構(gòu)（Infra）看起來是個不錯的方向，不需要理解太多的數(shù)學(xué)（除了真的需要去實(shí)現(xiàn)Paxos）。做Infra如果有架構(gòu)設(shè)計的基礎(chǔ)，另外加上勤奮，多多少少還是能做出一些東西的。

?

為什么我又要重新開始寫機(jī)器學(xué)習(xí)相關(guān)的文章了？最主要的原因是現(xiàn)在的機(jī)器學(xué)習(xí)和五年前、十年前區(qū)別很大。較大的不同是，自從深度學(xué)習(xí)成為了機(jī)器學(xué)習(xí)舞臺上最重要的一個角色起，機(jī)器學(xué)習(xí)變得更加真實(shí)了，利用深度學(xué)習(xí)可以做出很多很有意思的真實(shí)世界的應(yīng)用，而這些東西在幾年前的門檻要高得多。我在本文之后會更詳細(xì)的展開此點(diǎn)。

?

此外這幾年的工具發(fā)展神速，利用TensorFlow、MXNet或者其他類似的工具可以很容易的開始自己的pet project，也不用理解太多背后的細(xì)節(jié)。而在幾年前能用的現(xiàn)成工具寥寥無幾，而且十分的碎片化，比如說如果想要做分類器吧，需要用libsvm，需要搞跨語言調(diào)用。如果要換個算法的話，那可是要命的事情了。當(dāng)然這些東西對于大公司來說都不是事兒，但是對于個人學(xué)習(xí)者來說需要投入的經(jīng)歷太多了，遠(yuǎn)不是業(yè)余時間可以承擔(dān)的。

2. What to expect?

差不多關(guān)注了幾個月的深度學(xué)習(xí)，雖然沒有花太多時間來寫代碼，但是各種各樣的博客、視頻、公開課還是看了一些。這個系列和幾個我看過的主要內(nèi)容的差異：

?

首先這個不是一個科普雜文，現(xiàn)在已經(jīng)有很多旁征博引豐富多彩老少皆宜的雜文，比如說王川的深度學(xué)習(xí)到底有多深系列，我準(zhǔn)備少些一些歷史和背景花絮，多寫一些技術(shù)。

其次這個不是一個系統(tǒng)的深度學(xué)習(xí)教程，現(xiàn)在已經(jīng)有非常多非常好的相關(guān)公開課，比如說Stanford的CS231NCS224D，Hilton的，Udacity的等等。我不準(zhǔn)備寫得面面俱到。

另外我會盡量少的涉及數(shù)學(xué)，因為我不可能把數(shù)學(xué)推導(dǎo)過程寫得比Ian Goodfellow的Deep Learning書寫得更清楚。但是我會盡量把最重要的部分寫出來。

所以我希望寫出的是，當(dāng)看過網(wǎng)上的博客、公開課和書后，什么地方是最難理解的。

深度學(xué)習(xí)為什么是革命性的

啰里啰嗦了這么多，開始正文了。此篇博客嚴(yán)重參考了來自[1]第一章Introduction的內(nèi)容，包括圖片和內(nèi)容。

?

1.前深度學(xué)習(xí)的世界

深度學(xué)習(xí)不是一個新概念，它已經(jīng)存在好幾十年了，具體可以參考[1]/[2]，這里所說的深度學(xué)習(xí)世界大抵是在最近幾年深度學(xué)習(xí)刷新各個機(jī)器學(xué)習(xí)領(lǐng)域之后了。

?

前深度學(xué)習(xí)世界的特征就是：在人類強(qiáng)的地方很弱，在人類弱的地方可能很強(qiáng)。人類強(qiáng)的地方比如說圖像識別（貓還是狗）；圖片語義分割（參考[3]）比如看出一個圖片中哪部分是樹、哪部分是房子。人類弱的地方比如說下棋、語法標(biāo)記（一個句子里面哪些是助詞哪些是動詞）。

?

這個最主要的原因是，那種對于人類來說簡單的東西（在萬千世界中識別出一只貓）沒辦法用一個正式的數(shù)學(xué)公式去描述[1]。

?

比如說你無法用數(shù)學(xué)公式去定義一個貓的形狀。因為不同的角度、顏色、距離、光線的組合讓這個基本上沒有辦法做到。

?

所以在這個基礎(chǔ)上談智能實(shí)在是鏡中月水中花：你連一個貓都不認(rèn)識，怎么能夠取代人類？因為人類的世界遠(yuǎn)遠(yuǎn)比圍棋要復(fù)雜得多。

?

[1] 里面還有一個有趣的例子，關(guān)于1989年時候著名的專家系統(tǒng)Cyc：

?

Its inference engine detected an inconsistency in the story: it knew that people do not have electrical parts, but because Fred was holding an electric razor, it believed the entity “FredWhileShaving” contained electrical parts. It therefore asked whether Fred was still a person while he was shaving.

?

... 它的推論引擎發(fā)現(xiàn)了一個前后矛盾的地方：它知道人是沒有電驅(qū)動的模塊，但是因為Fred拿起了一個電動剃須刀，所以這個引擎認(rèn)為"一個正在剃胡子的Fred"有了一個電驅(qū)動的模塊。然后這個系統(tǒng)就問起這個Fred到底還是不是一個人啊。

?

此外，前機(jī)器學(xué)習(xí)時代一個重要的特征是要設(shè)計特征，比如說如果要做一個淘寶的商品自動分類器，特征可能有商品的題目、描述、圖片等等；特征還需要進(jìn)行嚴(yán)格的預(yù)處理，比如說要過濾掉描述里面親包郵啊這種無意義的話，而且對正文里面的描述也要進(jìn)行重點(diǎn)抽取才能夠符合訓(xùn)練的標(biāo)準(zhǔn)。等到特征選擇、清理好了之后才能夠運(yùn)行出有意義的結(jié)果。而且如果需要重新選擇特征，或者更改特征，那就需要重新重頭來過。

?

曾經(jīng)有些公司甚至有"特征抽取工程師"這樣的職位，以前阿里同事做分類器的時候，就要特別注意不要把成人玩具分到兒童玩具的類目里面，萬一被抓到把柄了那可就要丟工作了。

?

2.深度學(xué)習(xí)帶來了什么

深度學(xué)習(xí)最重要的東西就是自帶了特征學(xué)習(xí)（representation learning，有時候也被翻譯為表征學(xué)習(xí))，簡單來說就是，不需要進(jìn)行特別的特征抽取。從這個來說，深度學(xué)習(xí)相對傳統(tǒng)機(jī)器學(xué)習(xí)來說就有了太多的優(yōu)勢，因為一個設(shè)計好的系統(tǒng)能夠被相對容易地移植到新的任務(wù)上去。

?

參考最近DeepMind發(fā)布的一個深度增強(qiáng)學(xué)習(xí)的無監(jiān)督系統(tǒng)玩復(fù)雜任務(wù)游戲游戲的例子[4]。系統(tǒng)從游戲的屏幕像素開始自我學(xué)習(xí)，到學(xué)會玩一個復(fù)雜游戲并超過人類的專業(yè)玩家，并沒有進(jìn)行特別的人工特征抽取，這個在傳統(tǒng)的機(jī)器學(xué)習(xí)方式上看起來是很難想象的。

?

此外深度學(xué)習(xí)另外的一個優(yōu)勢是，可以表述相對與淺度學(xué)習(xí)更復(fù)雜的東西，這里不準(zhǔn)備展開描述，不然就要提到XOR，維度詛咒（The Curse of Dimensionality）等等相對枯燥而且很難說清楚的理論知識了。簡單來說，提升維度當(dāng)然是一個很厲害人人都想的東西，參考三體中的降維打擊。但是與此同時也帶來了很多計算上的挑戰(zhàn)，得益于這幾年神經(jīng)科學(xué)，算法研究和硬件(特別是GPU）提升，我們可以嘗試越來越深的模型。

現(xiàn)在的深度學(xué)習(xí)究竟在什么位置

同樣，主要參考了[1]的綜述部分：

?

首先衡量深度網(wǎng)絡(luò)的復(fù)雜程度主要有兩個方面：1. 網(wǎng)絡(luò)中一共有多少個神經(jīng)元，2. 每個神經(jīng)元平均與多少個其他的神經(jīng)元連接。

?

首先是連接的數(shù)量：

?

每個藍(lán)色的小點(diǎn)表示一些里程碑級別的系統(tǒng)公布的結(jié)果，比如說10. 就是GoogLeNet (Szegedy et al., 2014a)

?

從這點(diǎn)看來，似乎還是挺樂觀的，比如說10. 已經(jīng)很接近人類了，但是看看下面。。。

?

神經(jīng)元的數(shù)量：

可以看到，目前較先進(jìn)的系統(tǒng)所模擬的神經(jīng)元的數(shù)量處于蜜蜂和青蛙之間。藍(lán)色的線表示預(yù)估的增長曲線，如果在沒有革命性的進(jìn)步前，系統(tǒng)差不多可以到2050年的時候模擬人類同樣的神經(jīng)元的數(shù)目，所以革命之路還很漫長。

?

但是從另一方面來說，神經(jīng)元的數(shù)目也不是的衡量標(biāo)準(zhǔn)，就像是玩星際一樣，APM 150的意識派也可以完虐500的抽經(jīng)流選手。我們可以教一個神經(jīng)元如此少的系統(tǒng)玩復(fù)雜的電子游戲，但是我們沒有辦法教一個青蛙玩這種游戲。所以也不用悲觀，也許西部世界似的人工智能會到來得比想象中更早。

引用

[1] Deep Learning: Ian Goodfellow, Yoshua Bengio, Aaron Courville

[2] [王川的深度學(xué)習(xí)到底有多深系列](http://wangchuan.blog.caixin.com/archives/142598)

?

[3] [http://stackoverflow.com/questions/33947823/what-is-semantic-segmentation-compared-to-segmentation-and-scene-labeling](http://stackoverflow.com/questions/33947823/what-is-semantic-segmentation-compared-to-segmentation-and-scene-labeling)

?

[4] [https://deepmind.com/blog/reinforcement-learning-unsupervised-auxiliary-tasks/]

(https://deepmind.com/blog/reinforcement-learning-unsupervised-auxiliary-tasks/)

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報表系統(tǒng)等全方位知識

QQ群：81035754