摘要：下文主要講述前饋神經(jīng)網(wǎng)絡(luò)這個值稱之為損失，我們的目標(biāo)就是使對所有訓(xùn)練數(shù)據(jù)的損失和盡可能的小。對于前饋神經(jīng)網(wǎng)絡(luò)中，這個有向圖是沒有回路的。反饋神經(jīng)網(wǎng)絡(luò)也是一類重要的神經(jīng)網(wǎng)絡(luò)。深度學(xué)習(xí)中的也屬于一種反饋神經(jīng)網(wǎng)絡(luò)。

反向傳播算法(back propagation algorithm, BP-algorithm)是深度學(xué)習(xí)的最重要的兩大基石(另一個是梯度下降算法),幾乎所有的深度學(xué)習(xí)算法底層都會調(diào)用BP算法,其本質(zhì)就是對鏈?zhǔn)角髮?dǎo)法則的應(yīng)用而已. 而穿越時間的反向傳播算法(back propagation through time algorithm, BPTT-algorithm) 則是BP上的應(yīng)用,其核心沒有改變,只不過在應(yīng)用時,要注意一些穿越時間的特別之處.

深度學(xué)習(xí)包含兩方面內(nèi)容：

1.更好的訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)隱藏層超過兩層就算深度神經(jīng)網(wǎng)絡(luò)，三層的NN的訓(xùn)練還好說，但是如果NN很多層數(shù)呢？那將會面臨梯度彌散和梯度爆炸等問題。所以為了讓訓(xùn)練的DNN取得好的效果，就有了一些訓(xùn)練DNN的技巧，比如反向傳播算法、激活函數(shù)、批量歸一化、dropout等技術(shù)的發(fā)明；而梯度下降是為了更好的優(yōu)化代價函數(shù)（損失函數(shù)），不管是機器學(xué)習(xí)還是深度學(xué)習(xí)，總會需要優(yōu)化代價函數(shù)。
2.設(shè)計網(wǎng)絡(luò)結(jié)構(gòu)以更好的提取特征。增加神經(jīng)網(wǎng)絡(luò)隱藏層就能提取更高層次特征，卷積神經(jīng)網(wǎng)絡(luò)能提取空間上的特征，循環(huán)神經(jīng)網(wǎng)絡(luò)能夠提取時間序列特征，等等；于是各種網(wǎng)絡(luò)結(jié)構(gòu)被發(fā)明出來，比如AlexNet，LeNet，GooleNet，Inception系列，ResNet等等，另外還有LSTM等等。
網(wǎng)絡(luò)結(jié)構(gòu)再美，如果不能訓(xùn)練到收斂，就是不work。所以我們今天介紹的這些技術(shù)就是為了更好的訓(xùn)練DNN，它們是保證能夠訓(xùn)練好的DNN的基礎(chǔ)，所以它們叫深度學(xué)習(xí)的前戲??！

數(shù)學(xué)視角：

事實上，神經(jīng)網(wǎng)絡(luò)的本質(zhì)就是通過參數(shù)與激活函數(shù)來擬合特征與目標(biāo)之間的真實函數(shù)關(guān)系。初學(xué)者可能認為畫神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)圖是為了在程序中實現(xiàn)這些圓圈與線，但在一個神經(jīng)網(wǎng)絡(luò)的程序中，既沒有“線”這個對象，也沒有“單元”這個對象。實現(xiàn)一個神經(jīng)網(wǎng)絡(luò)最需要的是線性代數(shù)庫。

下文主要講述前饋神經(jīng)網(wǎng)絡(luò)：

這個值稱之為損失（loss），我們的目標(biāo)就是使對所有訓(xùn)練數(shù)據(jù)的損失和盡可能的小。

　　如果將先前的神經(jīng)網(wǎng)絡(luò)預(yù)測的矩陣公式帶入到y(tǒng)p中（因為有z=yp），那么我們可以把損失寫為關(guān)于參數(shù)（parameter）的函數(shù)，這個函數(shù)稱之為損失函數(shù)（loss function）。下面的問題就是求：如何優(yōu)化參數(shù)，能夠讓損失函數(shù)的值最小。

　　此時這個問題就被轉(zhuǎn)化為一個優(yōu)化問題。一個常用方法就是高等數(shù)學(xué)中的求導(dǎo)，但是這里的問題由于參數(shù)不止一個，求導(dǎo)后計算導(dǎo)數(shù)等于0的運算量很大，所以一般來說解決這個優(yōu)化問題使用的是梯度下降算法。梯度下降算法每次計算參數(shù)在當(dāng)前的梯度，然后讓參數(shù)向著梯度的反方向前進一段距離，不斷重復(fù)，直到梯度接近零時截止。一般這個時候，所有的參數(shù)恰好達到使損失函數(shù)達到一個最低值的狀態(tài)。

　　在神經(jīng)網(wǎng)絡(luò)模型中，由于結(jié)構(gòu)復(fù)雜，每次計算梯度的代價很大。因此還需要使用反向傳播算法。反向傳播算法是利用了神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)進行的計算。不一次計算所有參數(shù)的梯度，而是從后往前。首先計算輸出層的梯度，然后是第二個參數(shù)矩陣的梯度，接著是中間層的梯度，再然后是第一個參數(shù)矩陣的梯度，最后是輸入層的梯度。計算結(jié)束以后，所要的兩個參數(shù)矩陣的梯度就都有了。

　　反向傳播算法可以直觀的理解為下圖。梯度的計算從后往前，一層層反向傳播。前綴E代表著相對導(dǎo)數(shù)的意思。

反向傳播算法的啟示是數(shù)學(xué)中的鏈?zhǔn)椒▌t。在此需要說明的是，盡管早期神經(jīng)網(wǎng)絡(luò)的研究人員努力從生物學(xué)中得到啟發(fā)，但從BP算法開始，研究者們更多地從數(shù)學(xué)上尋求問題的最優(yōu)解。不再盲目模擬人腦網(wǎng)絡(luò)是神經(jīng)網(wǎng)絡(luò)研究走向成熟的標(biāo)志。正如科學(xué)家們可以從鳥類的飛行中得到啟發(fā)，但沒有必要一定要完全模擬鳥類的飛行方式，也能制造可以飛天的飛機。

　　優(yōu)化問題只是訓(xùn)練中的一個部分。機器學(xué)習(xí)問題之所以稱為學(xué)習(xí)問題，而不是優(yōu)化問題，就是因為它不僅要求數(shù)據(jù)在訓(xùn)練集上求得一個較小的誤差，在測試集上也要表現(xiàn)好。因為模型最終是要部署到?jīng)]有見過訓(xùn)練數(shù)據(jù)的真實場景。提升模型在測試集上的預(yù)測效果的主題叫做泛化（generalization），相關(guān)方法被稱作正則化（regularization）。神經(jīng)網(wǎng)絡(luò)中常用的泛化技術(shù)有權(quán)重衰減等。

　在深度學(xué)習(xí)中，泛化技術(shù)變的比以往更加的重要。這主要是因為神經(jīng)網(wǎng)絡(luò)的層數(shù)增加了，參數(shù)也增加了，表示能力大幅度增強，很容易出現(xiàn)過擬合現(xiàn)象。因此正則化技術(shù)就顯得十分重要。目前，Dropout技術(shù)，以及數(shù)據(jù)擴容（Data-Augmentation）技術(shù)是目前使用的最多的正則化技術(shù)。

1.概念

　　對于一門技術(shù)的學(xué)習(xí)而言，首先最重要的是弄清概念。只有將概念理解清楚，才能順暢的進行后面的學(xué)習(xí)。由于神經(jīng)網(wǎng)絡(luò)漫長的發(fā)展歷史，經(jīng)常會有一些概念容易混淆，讓人學(xué)習(xí)中產(chǎn)生困惑。這里面包括歷史的術(shù)語，不一致的說法，以及被遺忘的研究等?！?/p>

　　歷史的術(shù)語

　　這個的代表就是多層感知器（MLP）這個術(shù)語。起初看文獻時很難理解的一個問題就是，為什么神經(jīng)網(wǎng)絡(luò)又有另一個名稱：MLP。其實MLP（Multi-Layer Perceptron）的名稱起源于50-60年代的感知器（Perceptron）。由于我們在感知器之上又增加了一個計算層，因此稱為多層感知器。值得注意的是，雖然叫“多層”，MLP一般都指的是兩層（帶一個隱藏層的）神經(jīng)網(wǎng)絡(luò)。

　　MLP這個術(shù)語屬于歷史遺留的產(chǎn)物?，F(xiàn)在我們一般就說神經(jīng)網(wǎng)絡(luò)，以及深度神經(jīng)網(wǎng)絡(luò)。前者代表帶一個隱藏層的兩層神經(jīng)網(wǎng)絡(luò)，也是EasyPR目前使用的識別網(wǎng)絡(luò)，后者指深度學(xué)習(xí)的網(wǎng)絡(luò)。

　　不一致的說法

　　這個最明顯的代表就是損失函數(shù)loss function，這個還有兩個說法是跟它完全一致的意思，分別是殘差函數(shù)error function，以及代價函數(shù)cost function。loss function是目前深度學(xué)習(xí)里用的較多的一種說法，caffe里也是這么叫的。cost function則是Ng在coursera教學(xué)視頻里用到的統(tǒng)一說法。這三者都是同一個意思，都是優(yōu)化問題所需要求解的方程。雖然在使用的時候不做規(guī)定，但是在聽到各種講解時要心里明白。

　　再來就是權(quán)重weight和參數(shù)parameter的說法，神經(jīng)網(wǎng)絡(luò)界由于以前的慣例，一般會將訓(xùn)練得到的參數(shù)稱之為權(quán)重，而不像其他機器學(xué)習(xí)方法就稱之為參數(shù)。這個需要記住就好。不過在目前的使用慣例中，也有這樣一種規(guī)定。那就是非偏置節(jié)點連接上的值稱之為權(quán)重，而偏置節(jié)點上的值稱之為偏置，兩者統(tǒng)一起來稱之為參數(shù)。

　　另外一個同義詞就是激活函數(shù)active function和轉(zhuǎn)移函數(shù)transfer function了。同樣，他們代表一個意思，都是疊加的非線性函數(shù)的說法。

被遺忘的研究

　　由于神經(jīng)網(wǎng)絡(luò)發(fā)展歷史已經(jīng)有70年的漫長歷史，因此在研究過程中，必然有一些研究分支屬于被遺忘階段。這里面包括各種不同的網(wǎng)絡(luò)，例如SOM（Self-Organizing Map，自組織特征映射網(wǎng)絡(luò)），SNN（Synergetic Neural Network，協(xié)同神經(jīng)網(wǎng)絡(luò)），ART（Adaptive Resonance Theory，自適應(yīng)共振理論網(wǎng)絡(luò)）等等。所以看歷史文獻時會看到許多沒見過的概念與名詞。

　　有些歷史網(wǎng)絡(luò)甚至?xí)匦鲁蔀樾碌难芯繜狳c，例如RNN與LSTM就是80年代左右開始的研究，目前已經(jīng)是深度學(xué)習(xí)研究中的重要一門技術(shù)，在語音與文字識別中有很好的效果。　

　　對于這些易于混淆以及弄錯的概念，務(wù)必需要多方參考文獻，理清上下文，這樣才不會在學(xué)習(xí)與閱讀過程中迷糊。

神經(jīng)網(wǎng)絡(luò)其實是一個非常寬泛的稱呼，它包括兩類，一類是用計算機的方式去模擬人腦，這就是我們常說的ANN（人工神經(jīng)網(wǎng)絡(luò)），另一類是研究生物學(xué)上的神經(jīng)網(wǎng)絡(luò)，又叫生物神經(jīng)網(wǎng)絡(luò)。對于我們計算機人士而言，肯定是研究前者。

　　在人工神經(jīng)網(wǎng)絡(luò)之中，又分為前饋神經(jīng)網(wǎng)絡(luò)和反饋神經(jīng)網(wǎng)絡(luò)這兩種。那么它們兩者的區(qū)別是什么呢？這個其實在于它們的結(jié)構(gòu)圖。我們可以把結(jié)構(gòu)圖看作是一個有向圖。其中神經(jīng)元代表頂點，連接代表有向邊。對于前饋神經(jīng)網(wǎng)絡(luò)中，這個有向圖是沒有回路的。你可以仔細觀察本文中出現(xiàn)的所有神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)圖，確認一下。而對于反饋神經(jīng)網(wǎng)絡(luò)中，結(jié)構(gòu)圖的有向圖是有回路的。反饋神經(jīng)網(wǎng)絡(luò)也是一類重要的神經(jīng)網(wǎng)絡(luò)。其中Hopfield網(wǎng)絡(luò)就是反饋神經(jīng)網(wǎng)絡(luò)。深度學(xué)習(xí)中的RNN也屬于一種反饋神經(jīng)網(wǎng)絡(luò)。

　　具體到前饋神經(jīng)網(wǎng)絡(luò)中，就有了本文中所分別描述的三個網(wǎng)絡(luò)：單層神經(jīng)網(wǎng)絡(luò)，雙層神經(jīng)網(wǎng)絡(luò)，以及多層神經(jīng)網(wǎng)絡(luò)。深度學(xué)習(xí)中的CNN屬于一種特殊的多層神經(jīng)網(wǎng)絡(luò)。另外，在一些Blog中和文獻中看到的BP神經(jīng)網(wǎng)絡(luò)是什么？其實它們就是使用了反向傳播BP算法的兩層前饋神經(jīng)網(wǎng)絡(luò)。也是最普遍的一種兩層神經(jīng)網(wǎng)絡(luò)。

　　通過以上分析可以看出，神經(jīng)網(wǎng)絡(luò)這種說法其實是非常廣義的，具體在文章中說的是什么網(wǎng)絡(luò)，需要根據(jù)文中的內(nèi)容加以區(qū)分。
作者推薦課程：

機器學(xué)習(xí)這個詞是讓人疑惑的，首先它是英文名稱Machine Learning(簡稱ML)的直譯，在計算界Machine一般指計算機。這個名字使用了擬人的手法，說明了這門技術(shù)是讓機器“學(xué)習(xí)”的技術(shù)。但是計算機是死的，怎么可能像人類一樣“學(xué)習(xí)”呢？

　　傳統(tǒng)上如果我們想讓計算機工作，我們給它一串指令，然后它遵照這個指令一步步執(zhí)行下去。有因有果，非常明確。但這樣的方式在機器學(xué)習(xí)中行不通。機器學(xué)習(xí)根本不接受你輸入的指令，相反，它接受你輸入的數(shù)據(jù)! 也就是說，機器學(xué)習(xí)是一種讓計算機利用數(shù)據(jù)而不是指令來進行各種工作的方法。這聽起來非常不可思議，但結(jié)果上卻是非?？尚械?。“統(tǒng)計”思想將在你學(xué)習(xí)“機器學(xué)習(xí)”相關(guān)理念時無時無刻不伴隨，相關(guān)而不是因果的概念將是支撐機器學(xué)習(xí)能夠工作的核心概念。你會顛覆對你以前所有程序中建立的因果無處不在的根本理念。

2.機器學(xué)習(xí)的定義

　　從廣義上來說，機器學(xué)習(xí)是一種能夠賦予機器學(xué)習(xí)的能力以此讓它完成直接編程無法完成的功能的方法。但從實踐的意義上來說，機器學(xué)習(xí)是一種通過利用數(shù)據(jù)，訓(xùn)練出模型，然后使用模型預(yù)測的一種方法。

　　數(shù)據(jù)挖掘
　　數(shù)據(jù)挖掘=機器學(xué)習(xí)+數(shù)據(jù)庫。這幾年數(shù)據(jù)挖掘的概念實在是太耳熟能詳。幾乎等同于炒作。但凡說數(shù)據(jù)挖掘都會吹噓數(shù)據(jù)挖掘如何如何，例如從數(shù)據(jù)中挖出金子，以及將廢棄的數(shù)據(jù)轉(zhuǎn)化為價值等等。但是，我盡管可能會挖出金子，但我也可能挖的是“石頭”啊。這個說法的意思是，數(shù)據(jù)挖掘僅僅是一種思考方式，告訴我們應(yīng)該嘗試從數(shù)據(jù)中挖掘出知識，但不是每個數(shù)據(jù)都能挖掘出金子的，所以不要神話它。一個系統(tǒng)絕對不會因為上了一個數(shù)據(jù)挖掘模塊就變得無所不能(這是IBM最喜歡吹噓的)，恰恰相反，一個擁有數(shù)據(jù)挖掘思維的人員才是關(guān)鍵，而且他還必須對數(shù)據(jù)有深刻的認識，這樣才可能從數(shù)據(jù)中導(dǎo)出模式指引業(yè)務(wù)的改善。大部分數(shù)據(jù)挖掘中的算法是機器學(xué)習(xí)的算法在數(shù)據(jù)庫中的優(yōu)化。

　統(tǒng)計學(xué)習(xí)
　　統(tǒng)計學(xué)習(xí)近似等于機器學(xué)習(xí)。統(tǒng)計學(xué)習(xí)是個與機器學(xué)習(xí)高度重疊的學(xué)科。因為機器學(xué)習(xí)中的大多數(shù)方法來自統(tǒng)計學(xué)，甚至可以認為，統(tǒng)計學(xué)的發(fā)展促進機器學(xué)習(xí)的繁榮昌盛。例如著名的支持向量機算法，就是源自統(tǒng)計學(xué)科。但是在某種程度上兩者是有分別的，這個分別在于：統(tǒng)計學(xué)習(xí)者重點關(guān)注的是統(tǒng)計模型的發(fā)展與優(yōu)化，偏數(shù)學(xué)，而機器學(xué)習(xí)者更關(guān)注的是能夠解決問題，偏實踐，因此機器學(xué)習(xí)研究者會重點研究學(xué)習(xí)算法在計算機上執(zhí)行的效率與準(zhǔn)確性的提升。
　　　　
　　計算機視覺
　　計算機視覺=圖像處理+機器學(xué)習(xí)。圖像處理技術(shù)用于將圖像處理為適合進入機器學(xué)習(xí)模型中的輸入，機器學(xué)習(xí)則負責(zé)從圖像中識別出相關(guān)的模式。計算機視覺相關(guān)的應(yīng)用非常的多，例如百度識圖、手寫字符識別、車牌識別等等應(yīng)用。這個領(lǐng)域是應(yīng)用前景非?；馃岬?，同時也是研究的熱門方向。隨著機器學(xué)習(xí)的新領(lǐng)域深度學(xué)習(xí)的發(fā)展，大大促進了計算機圖像識別的效果，因此未來計算機視覺界的發(fā)展前景不可估量。
　　
　　語音識別
　　語音識別=語音處理+機器學(xué)習(xí)。語音識別就是音頻處理技術(shù)與機器學(xué)習(xí)的結(jié)合。語音識別技術(shù)一般不會多帶帶使用，一般會結(jié)合自然語言處理的相關(guān)技術(shù)。目前的相關(guān)應(yīng)用有蘋果的語音助手siri等。

　　自然語言處理
　　自然語言處理=文本處理+機器學(xué)習(xí)。自然語言處理技術(shù)主要是讓機器理解人類的語言的一門領(lǐng)域。在自然語言處理技術(shù)中，大量使用了編譯原理相關(guān)的技術(shù)，例如詞法分析，語法分析等等，除此之外，在理解這個層面，則使用了語義理解，機器學(xué)習(xí)等技術(shù)。作為唯一由人類自身創(chuàng)造的符號，自然語言處理一直是機器學(xué)習(xí)界不斷研究的方向。按照百度機器學(xué)習(xí)專家余凱的說法“聽與看，說白了就是阿貓和阿狗都會的，而只有語言才是人類獨有的”。如何利用機器學(xué)習(xí)技術(shù)進行自然語言的的深度理解，一直是工業(yè)和學(xué)術(shù)界關(guān)注的焦點。

　　可以看出機器學(xué)習(xí)在眾多領(lǐng)域的外延和應(yīng)用。機器學(xué)習(xí)技術(shù)的發(fā)展促使了很多智能領(lǐng)域的進步，改善著我們的生活。

1、回歸算法

　　在大部分機器學(xué)習(xí)課程中，回歸算法都是介紹的第一個算法。原因有兩個：一.回歸算法比較簡單，介紹它可以讓人平滑地從統(tǒng)計學(xué)遷移到機器學(xué)習(xí)中。二.回歸算法是后面若干強大算法的基石，如果不理解回歸算法，無法學(xué)習(xí)那些強大的算法?；貧w算法有兩個重要的子類：即線性回歸和邏輯回歸。

　　線性回歸就是我們前面說過的房價求解問題。如何擬合出一條直線最佳匹配我所有的數(shù)據(jù)？一般使用“最小二乘法”來求解?！白钚《朔ā钡乃枷胧沁@樣的，假設(shè)我們擬合出的直線代表數(shù)據(jù)的真實值，而觀測到的數(shù)據(jù)代表擁有誤差的值。為了盡可能減小誤差的影響，需要求解一條直線使所有誤差的平方和最小。最小二乘法將最優(yōu)問題轉(zhuǎn)化為求函數(shù)極值問題。函數(shù)極值在數(shù)學(xué)上我們一般會采用求導(dǎo)數(shù)為0的方法。但這種做法并不適合計算機，可能求解不出來，也可能計算量太大。

　　計算機科學(xué)界專門有一個學(xué)科叫“數(shù)值計算”，專門用來提升計算機進行各類計算時的準(zhǔn)確性和效率問題。例如，著名的“梯度下降”以及“牛頓法”就是數(shù)值計算中的經(jīng)典算法，也非常適合來處理求解函數(shù)極值的問題。梯度下降法是解決回歸模型中最簡單且有效的方法之一。從嚴格意義上來說，由于后文中的神經(jīng)網(wǎng)絡(luò)和推薦算法中都有線性回歸的因子，因此梯度下降法在后面的算法實現(xiàn)中也有應(yīng)用。

　　邏輯回歸是一種與線性回歸非常類似的算法，但是，從本質(zhì)上講，線型回歸處理的問題類型與邏輯回歸不一致。線性回歸處理的是數(shù)值問題，也就是最后預(yù)測出的結(jié)果是數(shù)字，例如房價。而邏輯回歸屬于分類算法，也就是說，邏輯回歸預(yù)測結(jié)果是離散的分類，例如判斷這封郵件是否是垃圾郵件，以及用戶是否會點擊此廣告等等。

　　實現(xiàn)方面的話，邏輯回歸只是對對線性回歸的計算結(jié)果加上了一個Sigmoid函數(shù)，將數(shù)值結(jié)果轉(zhuǎn)化為了0到1之間的概率(Sigmoid函數(shù)的圖像一般來說并不直觀，你只需要理解對數(shù)值越大，函數(shù)越逼近1，數(shù)值越小，函數(shù)越逼近0)，接著我們根據(jù)這個概率可以做預(yù)測，例如概率大于0.5，則這封郵件就是垃圾郵件，或者腫瘤是否是惡性的等等。從直觀上來說，邏輯回歸是畫出了一條分類線，見下圖。

邏輯回歸算法劃出的分類線基本都是線性的(也有劃出非線性分類線的邏輯回歸，不過那樣的模型在處理數(shù)據(jù)量較大的時候效率會很低)，這意味著當(dāng)兩類之間的界線不是線性時，邏輯回歸的表達能力就不足。下面的兩個算法是機器學(xué)習(xí)界最強大且重要的算法，都可以擬合出非線性的分類線。

　2、神經(jīng)網(wǎng)絡(luò)

　　神經(jīng)網(wǎng)絡(luò)(也稱之為人工神經(jīng)網(wǎng)絡(luò)，ANN)算法是80年代機器學(xué)習(xí)界非常流行的算法，不過在90年代中途衰落。現(xiàn)在，攜著“深度學(xué)習(xí)”之勢，神經(jīng)網(wǎng)絡(luò)重裝歸來，重新成為最強大的機器學(xué)習(xí)算法之一。

　　神經(jīng)網(wǎng)絡(luò)的誕生起源于對大腦工作機理的研究。早期生物界學(xué)者們使用神經(jīng)網(wǎng)絡(luò)來模擬大腦。機器學(xué)習(xí)的學(xué)者們使用神經(jīng)網(wǎng)絡(luò)進行機器學(xué)習(xí)的實驗，發(fā)現(xiàn)在視覺與語音的識別上效果都相當(dāng)好。在BP算法(加速神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程的數(shù)值算法)誕生以后，神經(jīng)網(wǎng)絡(luò)的發(fā)展進入了一個熱潮。BP算法的發(fā)明人之一是前面介紹的機器學(xué)習(xí)大牛Geoffrey Hinton(圖1中的中間者)。

監(jiān)督學(xué)習(xí)算法：
　　線性回歸，邏輯回歸，神經(jīng)網(wǎng)絡(luò)，SVM

　　無監(jiān)督學(xué)習(xí)算法：
　　聚類算法，降維算法

　　特殊算法：
　　推薦算法

　　除了這些算法以外，有一些算法的名字在機器學(xué)習(xí)領(lǐng)域中也經(jīng)常出現(xiàn)。但他們本身并不算是一個機器學(xué)習(xí)算法，而是為了解決某個子問題而誕生的。你可以理解他們?yōu)橐陨纤惴ǖ淖铀惴?，用于大幅度提高?xùn)練過程。其中的代表有：梯度下降法，主要運用在線型回歸，邏輯回歸，神經(jīng)網(wǎng)絡(luò)，推薦算法中；牛頓法，主要運用在線型回歸中；BP算法，主要運用在神經(jīng)網(wǎng)絡(luò)中；SMO算法，主要運用在SVM中。

大數(shù)據(jù)的核心是利用數(shù)據(jù)的價值，機器學(xué)習(xí)是利用數(shù)據(jù)價值的關(guān)鍵技術(shù)，對于大數(shù)據(jù)而言，機器學(xué)習(xí)是不可或缺的。相反，對于機器學(xué)習(xí)而言，越多的數(shù)據(jù)會越 可能提升模型的精確性，同時，復(fù)雜的機器學(xué)習(xí)算法的計算時間也迫切需要分布式計算與內(nèi)存計算這樣的關(guān)鍵技術(shù)。因此，機器學(xué)習(xí)的興盛也離不開大數(shù)據(jù)的幫助。 大數(shù)據(jù)與機器學(xué)習(xí)兩者是互相促進，相依相存的關(guān)系。

　　機器學(xué)習(xí)與大數(shù)據(jù)緊密聯(lián)系。但是，必須清醒的認識到，大數(shù)據(jù)并不等同于機器學(xué)習(xí)，同理，機器學(xué)習(xí)也不等同于大數(shù)據(jù)。大數(shù)據(jù)中包含有分布式計算，內(nèi)存數(shù)據(jù)庫，多維分析等等多種技術(shù)。單從分析方法來看，大數(shù)據(jù)也包含以下四種分析方法：

　　1.大數(shù)據(jù)，小分析：即數(shù)據(jù)倉庫領(lǐng)域的OLAP分析思路，也就是多維分析思想。
　　2.大數(shù)據(jù)，大分析：這個代表的就是數(shù)據(jù)挖掘與機器學(xué)習(xí)分析法。
　　3.流式分析：這個主要指的是事件驅(qū)動架構(gòu)。
　　4.查詢分析：經(jīng)典代表是NoSQL數(shù)據(jù)庫。

　　也就是說，機器學(xué)習(xí)僅僅是大數(shù)據(jù)分析中的一種而已。盡管機器學(xué)習(xí)的一些結(jié)果具有很大的魔力，在某種場合下是大數(shù)據(jù)價值最好的說明。但這并不代表機器學(xué)習(xí)是大數(shù)據(jù)下的唯一的分析方法。

　　機器學(xué)習(xí)與大數(shù)據(jù)的結(jié)合產(chǎn)生了巨大的價值。基于機器學(xué)習(xí)技術(shù)的發(fā)展，數(shù)據(jù)能夠“預(yù)測”。對人類而言，積累的經(jīng)驗越豐富，閱歷也廣泛，對未來的判斷越準(zhǔn)確。例如常說的“經(jīng)驗豐富”的人比“初出茅廬”的小伙子更有工作上的優(yōu)勢，就在于經(jīng)驗豐富的人獲得的規(guī)律比他人更準(zhǔn)確。而在機器學(xué)習(xí)領(lǐng)域，根據(jù)著名的一個實驗，有效的證實了機器學(xué)習(xí)界一個理論：即機器學(xué)習(xí)模型的數(shù)據(jù)越多，機器學(xué)習(xí)的預(yù)測的效率就越好。見下圖：

總結(jié)起來，人工智能的發(fā)展經(jīng)歷了如下若干階段，從早期的邏輯推理，到中期的專家系統(tǒng)，這些科研進步確實使我們離機器的智能有點接近了，但還有一大段距離。直到機器學(xué)習(xí)誕生以后，人工智能界感覺終于找對了方向。基于機器學(xué)習(xí)的圖像識別和語音識別在某些垂直領(lǐng)域達到了跟人相媲美的程度。機器學(xué)習(xí)使人類第一次如此接近人工智能的夢想。

　　那么，從計算機來看，以上的種種能力都有種種技術(shù)去應(yīng)對。

　　例如計算能力我們有分布式計算，反應(yīng)能力我們有事件驅(qū)動架構(gòu)，檢索能力我們有搜索引擎，知識存儲能力我們有數(shù)據(jù)倉庫，邏輯推理能力我們有專家系統(tǒng)，但是，唯有對應(yīng)智慧中最顯著特征的歸納與感悟能力，只有機器學(xué)習(xí)與之對應(yīng)。這也是機器學(xué)習(xí)能力最能表征智慧的根本原因。

摘抄連接：http://www.cnblogs.com/subcon...
http://www.cnblogs.com/subcon...