摘要：一時(shí)之間，深度學(xué)習(xí)備受追捧。百度等等公司紛紛開(kāi)始大量的投入深度學(xué)習(xí)的應(yīng)用研究。極驗(yàn)驗(yàn)證就是將深度學(xué)習(xí)應(yīng)用于網(wǎng)絡(luò)安全防御，通過(guò)深度學(xué)習(xí)建模學(xué)習(xí)人類(lèi)與機(jī)器的行為特征，來(lái)區(qū)別人與機(jī)器，防止惡意程序?qū)W(wǎng)站進(jìn)行垃圾注冊(cè)，撞庫(kù)登錄等。

2006年Geoffery ?Hinton提出了深度學(xué)習(xí)（多層神經(jīng)網(wǎng)絡(luò)），并在2012年的ImageNet競(jìng)賽中有非凡的表現(xiàn)，以15.3%的Top-5錯(cuò)誤率奪魁，比利用傳統(tǒng)方 法的第二名低了10.9% 。一時(shí)之間，深度學(xué)習(xí)備受追捧。Google、Facebook、百度等等公司紛紛開(kāi)始大量的投入深度學(xué)習(xí)的應(yīng)用研究。

深度學(xué)習(xí)的優(yōu)勢(shì)

人工神經(jīng)網(wǎng)絡(luò)是從信息處理的角度，對(duì)人腦神經(jīng)元網(wǎng)絡(luò)進(jìn)行抽象的計(jì)算模型，目的就是讓計(jì)算機(jī)能夠模擬人腦的思考方式來(lái)解決一些抽象的問(wèn)題。相比較于傳 統(tǒng)的模式識(shí)別，特征的提取方式主要靠人工提取或設(shè)計(jì)，而深度學(xué)習(xí)模型是一種端到端模型，即讓計(jì)算機(jī)自動(dòng)學(xué)習(xí)有用的特征，從而減少了人為提取特征造成的繁雜 和不完備性。正如Google Brain項(xiàng)目負(fù)責(zé)人Jeff Dean說(shuō)：“我們?cè)谟?xùn)練的時(shí)候從來(lái)不會(huì)告訴機(jī)器說(shuō)：‘這是一只貓?！到y(tǒng)其實(shí)是自己發(fā)明或者領(lǐng)悟了“貓”的概念?！痹趫D 像處理，語(yǔ)音識(shí)別這種人為特征提取難度很大的問(wèn)題上面，深度學(xué)習(xí)有著其獨(dú)有的優(yōu)勢(shì)，比如在語(yǔ)音識(shí)別方面，深度學(xué)習(xí)使得錯(cuò)誤率下降了大約30%，取得了很大 的進(jìn)步。

深度學(xué)習(xí)的主要模型

目前深度學(xué)習(xí)有三種基本模型，分別是多層感知機(jī)（MLP，Multi-layer Perceptron），卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network）以及循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network)。

多層感知機(jī)（MLP）

MLP結(jié)構(gòu)特點(diǎn)

輸入與輸出層之間存在一個(gè)或多個(gè)隱層

輸入層沒(méi)有計(jì)算節(jié)點(diǎn)，只用于獲得外部輸入信號(hào)，只有隱層和輸出層的神經(jīng)元為計(jì)算節(jié)點(diǎn)

每個(gè)輸入節(jié)點(diǎn)將上一層輸出進(jìn)行加權(quán)，然后通過(guò)激活函數(shù)進(jìn)行非線性變換

訓(xùn)練方法：反向傳播算法（Back-Propagation）

MLP可用于解決簡(jiǎn)單的分類(lèi)和預(yù)測(cè)問(wèn)題。不過(guò)它的參數(shù)量隨著層數(shù)的增加指數(shù)級(jí)增長(zhǎng)，并且優(yōu)化困難，限制了它的應(yīng)用。

卷積神經(jīng)網(wǎng)絡(luò)（CNN）

CNN通過(guò)引入卷積自動(dòng)分層提取特征，每一層由多個(gè)特征圖組成，每一個(gè)特征圖是由前一層輸出與一個(gè)卷積核進(jìn)行卷積運(yùn)算和非線性變換得到，隨后進(jìn)行池化操作，用于降低輸出維度，同時(shí)獲得一定的特征不變性。

CNN中最主要的三種網(wǎng)絡(luò)層：

卷積層

池化層

全連接層

訓(xùn)練方法：反向傳播算法（Back-Propagation）

CNN通過(guò)局部連接和權(quán)值共享大幅度降低了參數(shù)量。目前CNN在圖像識(shí)別、目標(biāo)檢測(cè)、人臉識(shí)別等諸多計(jì)算機(jī)視覺(jué)任務(wù)上都取得了令人振奮的成果。

遞歸神經(jīng)網(wǎng)絡(luò)（RNN)

相比于MLP和CNN，RNN通過(guò)權(quán)值共享使其能夠處理變長(zhǎng)的序列問(wèn)題（CNN由于全連接層需要固定維度的輸入，限制了CNN只能接受固定維度的輸 入）。RNN引入了“環(huán)”的結(jié)構(gòu)，某一時(shí)刻的輸出不僅與當(dāng)前時(shí)刻的輸入有關(guān)，還與前一時(shí)刻的狀態(tài)有關(guān)，通過(guò)共享權(quán)值，使得RNN能學(xué)習(xí)到魯棒的特征。

RNN分類(lèi)（按照cell）：

簡(jiǎn)單RNN

LSTM

GRU

Bi-RNN

RNN的訓(xùn)練算法：基于時(shí)間的反向傳播算法（Back Propagation Through Time，BPTT）

RNN模型主要應(yīng)用自然語(yǔ)言處理（NLP）上，比如語(yǔ)言翻譯、文本信息挖掘、聊天機(jī)器人等。

深度學(xué)習(xí)的應(yīng)用及發(fā)展

深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)和自然語(yǔ)言處理上有著廣泛的應(yīng)用。

在計(jì)算機(jī)視覺(jué)領(lǐng)域，2015年，微軟何凱明團(tuán)隊(duì)利用152層網(wǎng)絡(luò)在ImageNet比賽上將錯(cuò)誤率降低到3.57％。Google 在 2015年的 I/O 大會(huì)推出的Google photos，可以將相冊(cè)中的同一個(gè)人整合在一起，通過(guò)長(zhǎng)期的學(xué)習(xí)甚至可以自動(dòng)判斷照片是否是一個(gè)值得紀(jì)念的時(shí)刻的拍攝的。近年來(lái)深度學(xué)習(xí)在醫(yī)學(xué)圖像的分 析、目標(biāo)檢測(cè)等任務(wù)上也取得了很大的進(jìn)展。

在自然語(yǔ)言處理上的應(yīng)用主要包括語(yǔ)言翻譯、機(jī)器理解、機(jī)器翻譯等。Google去年底在gmail上上線了郵件自動(dòng)回復(fù)功能，該功能利用深度學(xué)習(xí)技 術(shù)提取和分析郵件語(yǔ)義信息，再根據(jù)提取的語(yǔ)義生成候選答復(fù)。在語(yǔ)音識(shí)別領(lǐng)域，百度在全國(guó)人機(jī)語(yǔ)音通訊學(xué)術(shù)會(huì)議（NCMMSC2015）上介紹了研發(fā)出 的語(yǔ)音識(shí)別技術(shù)，該技術(shù)引入LSTM模型和CTC訓(xùn)練到傳統(tǒng)框架中，使得識(shí)別相對(duì)錯(cuò)誤率比現(xiàn)有技術(shù)降低15%以上，使?jié)h語(yǔ)安靜環(huán)境普通話語(yǔ)音識(shí)別的識(shí)別率 接近97%。這是語(yǔ)音識(shí)別領(lǐng)域又一個(gè)重要的里程碑。

除了以上兩個(gè)領(lǐng)域，深度學(xué)習(xí)在網(wǎng)絡(luò)安全領(lǐng)域也有廣泛的應(yīng)用，如木馬病毒、惡意軟件檢測(cè)與分析以及惡意程序識(shí)別等。

極驗(yàn)驗(yàn)證就是將深度學(xué)習(xí)應(yīng)用于網(wǎng)絡(luò)安全防御，通過(guò)深度學(xué)習(xí)建模學(xué)習(xí)人類(lèi)與機(jī)器的行為特征，來(lái)區(qū)別人與機(jī)器，防止惡意程序?qū)W(wǎng)站進(jìn)行垃圾注冊(cè)，撞庫(kù)登錄等。

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識(shí)

QQ群：81035754