摘要：簡(jiǎn)稱，是基于聚焦行業(yè)應(yīng)用且提供商業(yè)支持的分布式深度學(xué)習(xí)框架，其宗旨是在合理的時(shí)間內(nèi)解決各類涉及大量數(shù)據(jù)的問(wèn)題。是負(fù)責(zé)開(kāi)發(fā)的用編寫(xiě)，通過(guò)引擎加速的深度學(xué)習(xí)框架，是目前受關(guān)注最多的深度學(xué)習(xí)框架。

作者簡(jiǎn)介

魏秀參，曠視科技 Face++ 南京研究院負(fù)責(zé)人。南京大學(xué) LAMDA 研究所博士，主要研究領(lǐng)域?yàn)橛?jì)算機(jī)視覺(jué)和機(jī)器學(xué)習(xí)。在相關(guān)領(lǐng)域較高級(jí)國(guó)際期刊如 IEEE TIP、IEEE TNNLS、Machine Learning Journal 等和較高級(jí)國(guó)際會(huì)議如 ICCV、IJCAI、ICDM 等發(fā)表論文十余篇，并兩次獲得國(guó)際計(jì)算機(jī)視覺(jué)相關(guān)競(jìng)賽冠亞軍。著有《解析深度學(xué)習(xí)——卷積神經(jīng)網(wǎng)絡(luò)原理與視覺(jué)實(shí)踐》一書(shū)。曾獲 CVPR 2017 較佳審稿人、南京大學(xué)博士生校長(zhǎng)特別獎(jiǎng)學(xué)金等榮譽(yù)，擔(dān)任 ICCV、CVPR、ECCV、NIPS、IJCAI、AAAI 等國(guó)際會(huì)議 PC member。（個(gè)人自媒體：知乎“魏秀參”，新浪微博“Wilson_NJUer”）。

14 深度學(xué)習(xí)開(kāi)源工具簡(jiǎn)介

自 2006 年 Hinton 和 Salakhutdinov 在 Science 上發(fā)表的深度學(xué)習(xí)論文點(diǎn)燃了最近一次神經(jīng)網(wǎng)絡(luò)復(fù)興的“星星之火”，接著， 2012 年 Alex-Net 在 ImageNet 上奪冠又迅速促成了深度學(xué)習(xí)在人工智能領(lǐng)域的“燎原之勢(shì)”。當(dāng)下深度學(xué)習(xí)算法可謂主宰了計(jì)算機(jī)視覺(jué)、自然語(yǔ)言學(xué)習(xí)等眾多人工智能應(yīng)用領(lǐng)域。 與此同時(shí)，與學(xué)術(shù)研究一起快速發(fā)展并駕齊驅(qū)的還有層出不窮的諸多深度學(xué)習(xí) 開(kāi)源開(kāi)發(fā)框架。本章將向讀者介紹和對(duì)比 9 個(gè)目前使用較多的深度學(xué)習(xí)開(kāi)源框架，供大家根據(jù)自身情況“擇優(yōu)納之”。?

14.1 常用框架對(duì)比

表 14.2 中從“開(kāi)發(fā)語(yǔ)言”、“支持平臺(tái)”、“支持接口”、是否支持“自動(dòng)求導(dǎo)”、 是否提供“預(yù)訓(xùn)練模型”、是否支持“單機(jī)多卡并行”運(yùn)算等 10 個(gè)方面，對(duì)包 含 Caffe、 MatConvNet、 TensorFlow、 Theano 和 Torch 在內(nèi)的 9 個(gè)目前最常用的深度學(xué)習(xí)開(kāi)源框架進(jìn)行了對(duì)比。?

14.2 常用框架的各自特點(diǎn)

14.2.1 Caffe

?Caffe 是一個(gè)廣為人知、廣泛應(yīng)用側(cè)重計(jì)算機(jī)視覺(jué)方面的深度學(xué)習(xí)庫(kù)，由加州大學(xué)伯克利分校 BVLC 組開(kāi)發(fā)，總結(jié)來(lái)說(shuō)， Caffe 有以下優(yōu)缺點(diǎn):?

? 適合前饋網(wǎng)絡(luò)和圖像處理;

? ? ? ? ? 適合微調(diào)已有的網(wǎng)絡(luò)模型;

? ? ? ? ? 訓(xùn)練已有網(wǎng)絡(luò)模型無(wú)需編寫(xiě)任何代碼;

? ? ? ? ? 提供方便的 Python 和 MATLAB 接口;?

? 可單機(jī)多卡，但不支持多機(jī)多卡;

? ? ? ? ? 需要用 C++/CUDA 編寫(xiě)新的 GPU 層;

? ? ? ? ? 不適合循環(huán)網(wǎng)絡(luò);

? ? ? ? ? 用于大型網(wǎng)絡(luò)(如， GoogLeNet、 ResNet )時(shí)過(guò)于繁瑣;

? ? ? ? ? 擴(kuò)展性稍差，代碼有些不夠精簡(jiǎn);

? ? ? ? ? 不提供商業(yè)支持;

? ? ? ? ? 框架更新緩慢，可能之后不再更新。?

14.2.2 Deeplearning4j

Deeplearning4j 簡(jiǎn)稱 DL4J，是基于JVM、聚焦行業(yè)應(yīng)用且提供商業(yè)支持的分布式深度學(xué)習(xí)框架，其宗旨是在合理的時(shí)間內(nèi)解決各類涉及大量數(shù)據(jù)的問(wèn)題。 它與 Hadoop 和 Spark 集成，可使用任意數(shù)量的 GPU 或 CPU 運(yùn)行。 DL4J 是一種適用于各類平臺(tái)的便攜式學(xué)習(xí)庫(kù)。開(kāi)發(fā)語(yǔ)言為 Java，可通過(guò)調(diào)整 JVM 的堆空間、垃圾回收算法、內(nèi)存管理以及 DL4J 的 ETL 數(shù)據(jù)加工管道來(lái)優(yōu)化 DL4J 的性能。其優(yōu)缺點(diǎn)為:?

? 適用于分布式集群，可高效處理海量數(shù)據(jù);

? ? ? ? ? 在多種芯片上的運(yùn)行已經(jīng)被優(yōu)化;

? ? ? ? ? 可跨平臺(tái)運(yùn)行，有多種語(yǔ)言接口;

? ? ? ? ? 支持單機(jī)多卡和多機(jī)多卡;

? ? ? ? ? 支持自動(dòng)求導(dǎo)，方便編寫(xiě)新的網(wǎng)絡(luò)層;

? ? ? ? ? 提供商業(yè)支持;?

? 提供的預(yù)訓(xùn)練模型有限;

? ? ? ? ? 框架速度不夠快。?

14.2.3 Keras

Keras 由谷歌軟件工程師 Francois Chollet 開(kāi)發(fā)，是一個(gè)基于 Theano 和 TensorFlow 的深度學(xué)習(xí)庫(kù)，具有一個(gè)受 Torch 啟發(fā)、較為直觀的 API。其優(yōu)缺點(diǎn)如下:

? ? ? ? ? 受 Torch 啟發(fā)的直觀;

? 可使用 Theano、TensorFlow 和 Deeplearning4j 后端;

? ? 支持自動(dòng)求導(dǎo);

? 框架更新速度快。

14.2.4 MXNet

MXNet 是一個(gè)提供多種 API 的機(jī)器學(xué)習(xí)框架，主要面向 R、Python 和 Julia 等語(yǔ)言，目前已被亞馬遜云服務(wù)采用。其優(yōu)缺點(diǎn)為:

? 可跨平臺(tái)使用;

? 支持多種語(yǔ)言接口;

? ? ? ? ? 不支持自動(dòng)求導(dǎo)。

14.2.5 MatConvNet

MatConvNet 由英國(guó)牛津大學(xué)著名計(jì)算機(jī)視覺(jué)和機(jī)器學(xué)習(xí)研究組 VGG 負(fù)責(zé)開(kāi)發(fā)，是主要基于 MATLAB 的深度學(xué)習(xí)工具包。其優(yōu)缺點(diǎn)為:

? ? ? ? ? 基于 MATLAB，便于進(jìn)行圖像處理和深度特征后處理;

? ? 提供了豐富的預(yù)訓(xùn)練模型;

? 提供了充足的文檔及教程;

? 不支持自動(dòng)求導(dǎo);?

? 跨平臺(tái)能力差。

14.2.6 TensorFlow

TensorFlow 是 Google 負(fù)責(zé)開(kāi)發(fā)的用 Python API 編寫(xiě)，通過(guò) C/C++ 引擎加速的深度學(xué)習(xí)框架，是目前受關(guān)注最多的深度學(xué)習(xí)框架。它使用數(shù)據(jù)流圖集成 深度學(xué)習(xí)中最常見(jiàn)的單元，并支持許多的 CNN 網(wǎng)絡(luò)結(jié)構(gòu)以及不同設(shè)置的 RNN。其優(yōu)缺點(diǎn)為:

? 具備不局限于深度學(xué)習(xí)的多種用途，還有支持強(qiáng)化學(xué)習(xí)和其他算法的工具;

? 跨平臺(tái)運(yùn)行能力強(qiáng);

? 支持自動(dòng)求導(dǎo);

? 運(yùn)行明顯比其他框架慢;

? 不提供商業(yè)支持。

14.2.7 Theano

Theano 是深度學(xué)習(xí)框架中的元老，用 Python 編寫(xiě)，可與其他學(xué)習(xí)庫(kù)配合使用，非常適合學(xué)術(shù)研究中的模型開(kāi)發(fā)。現(xiàn)在已有大量基于 Theano 的開(kāi)源深度學(xué)習(xí)庫(kù)，包括 Keras、Lasagne 和 ?Blocks。這些學(xué)習(xí)庫(kù)試著在 Theano 有時(shí)不夠直觀的接口之上添加一層便于使用的 API。關(guān)于 Theano，有如下特點(diǎn):?

? 支持 Python 和 Numpy;

? 支持自動(dòng)求導(dǎo);

? RNN 與計(jì)算圖匹配良好;

? 高級(jí)的包裝(Keras、Lasagne)可減少使用時(shí)的麻煩;?

? 編譯困難，錯(cuò)誤信息可能沒(méi)有幫助;

? 運(yùn)行模型前需編譯計(jì)算圖，大型模型的編譯時(shí)間較長(zhǎng);?

? 僅支持單機(jī)單卡;

? 對(duì)預(yù)訓(xùn)練模型的支持不夠完善。

14.2.8 Torch

Torch 是用 Lua 編寫(xiě)帶 API 的科學(xué)計(jì)算框架，支持機(jī)器學(xué)習(xí)算法。Facebook 和 Twitter 等大型科技公司使用 Torch 的某些版本，由內(nèi)部團(tuán)隊(duì)專門(mén)負(fù)責(zé)定制自己的深度學(xué)習(xí)平臺(tái)。其優(yōu)缺點(diǎn)如下:

? 大量模塊化組件，容易組合;

? 易編寫(xiě)新的網(wǎng)絡(luò)層;

? 支持豐富的預(yù)訓(xùn)練模型;

? PyTorch 為 Torch 提供了更便利的接口;

? 使用 Lua 語(yǔ)言需要學(xué)習(xí)成本;

? 文檔質(zhì)量參差不齊;

? 一般需要自己編寫(xiě)訓(xùn)練代碼(即插即用相對(duì)較少)。

聲明：文章收集于網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系小編及時(shí)處理，謝謝！

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識(shí)

QQ群：81035754