摘要：在嵌入式系統(tǒng)上的深度學(xué)習(xí)隨著人工智能幾乎延伸至我們生活的方方面面，主要挑戰(zhàn)之一是將這種智能應(yīng)用到小型低功耗設(shè)備上。領(lǐng)先的深度學(xué)習(xí)框架我們來(lái)詳細(xì)了解下和這兩個(gè)領(lǐng)先的框架。適用性用于圖像分類(lèi)，但并非針對(duì)其他深度學(xué)習(xí)的應(yīng)用，例如文本或聲音。

在嵌入式系統(tǒng)上的深度學(xué)習(xí)

隨著人工智能 (AI) 幾乎延伸至我們生活的方方面面，主要挑戰(zhàn)之一是將這種智能應(yīng)用到小型、低功耗設(shè)備上。這需要嵌入式平臺(tái)，能夠處理高性能和極低功率的極深度神經(jīng)式網(wǎng)絡(luò) (NN)。然而，這仍不足夠。機(jī)器學(xué)習(xí)開(kāi)發(fā)商需要一個(gè)快速和自動(dòng)化方式，在這些嵌入式平臺(tái)上轉(zhuǎn)換、優(yōu)化和執(zhí)行預(yù)先訓(xùn)練好的網(wǎng)絡(luò)。

在這一系列發(fā)布的內(nèi)容中，我們將回顧當(dāng)前框架以及它們對(duì)嵌入式系統(tǒng)構(gòu)成的挑戰(zhàn)，并演示處理這些挑戰(zhàn)的解決方案。這些發(fā)布的內(nèi)容會(huì)指導(dǎo)你在幾分鐘之內(nèi)完成這個(gè)任務(wù)，而不是耗時(shí)數(shù)月進(jìn)行手動(dòng)發(fā)布和優(yōu)化。

在發(fā)布微信時(shí)我們也會(huì)更新不同部分的鏈接。

第一部分：深度學(xué)習(xí)框架、特征和挑戰(zhàn) ? ? ? ? ? ??

第二部分：如何克服嵌入式平臺(tái)中的深度學(xué)習(xí)挑戰(zhàn)

第三部分：CDNN – 一鍵生成網(wǎng)絡(luò) ? ?

深度學(xué)習(xí)框架、特征和挑戰(zhàn)

至今，深度學(xué)習(xí)的主要限制及其在實(shí)際生活中的應(yīng)用一直局限于計(jì)算馬力、功率限制和算法質(zhì)量。這些前端所取得的巨大進(jìn)步使其在許多不同領(lǐng)域取得杰出成就，例如圖像分類(lèi)、演說(shuō)以及自然語(yǔ)言處理等。

列舉圖像分類(lèi)的具體示例，過(guò)去五年，我們可看到 ImageNet 數(shù)據(jù)庫(kù)顯著提升四倍。深度學(xué)習(xí)技術(shù)于 2012 年達(dá)到 16% 的五大錯(cuò)誤率，現(xiàn)在低于 5%，超出人為表現(xiàn)！如需了解更多有關(guān)神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)框架的介紹性信息，您可閱讀近期關(guān)于這個(gè)話題的博客。

深度學(xué)習(xí)技術(shù)近年來(lái)取得顯著成效（資料來(lái)源：Nervana）

神經(jīng)網(wǎng)絡(luò)的挑戰(zhàn)

將這些成就轉(zhuǎn)至移動(dòng)、手持設(shè)備顯然是這個(gè)技術(shù)的下一個(gè)進(jìn)化步驟。然而，這樣做會(huì)面臨相當(dāng)多的挑戰(zhàn)。首先，有許多相互競(jìng)爭(zhēng)的框架。其中有兩個(gè)領(lǐng)先和最知名的框架分別為 UC Berkeley 開(kāi)發(fā)的 Caffe 以及谷歌近期發(fā)布的 TensorFlow。除此之外，還有許多其他框架，例如微軟公司的計(jì)算網(wǎng)絡(luò)工具包 (CNTK)、Torch、Chainer 等。

除了眾多框架外，神經(jīng)網(wǎng)絡(luò)包括各種類(lèi)型的層面，例如卷積、歸一化、池化及其他。進(jìn)一步障礙是大批網(wǎng)絡(luò)拓?fù)?。至今，神?jīng)網(wǎng)絡(luò)都遵循一個(gè)單拓?fù)?。由于網(wǎng)絡(luò)內(nèi)部網(wǎng)絡(luò)拓?fù)涞某霈F(xiàn)，目前的情況更為復(fù)雜。例如，GoogLeNet 包括9個(gè)接收層，創(chuàng)造極為豐富和復(fù)雜的拓?fù)洹?/p>

額外并發(fā)影響包括支持可變大小的感興趣區(qū)域 (ROI)。雖然以研究為導(dǎo)向的網(wǎng)絡(luò)（例如 AlexNet）在固定大小的 ROI 上運(yùn)行，但優(yōu)化合適的解決方案需要更靈活的商業(yè)網(wǎng)絡(luò)。

領(lǐng)先的深度學(xué)習(xí)框架

我們來(lái)詳細(xì)了解下Caffe 和 TensorFlow這兩個(gè)領(lǐng)先的框架。通過(guò)比較這兩個(gè)框架來(lái)闡明各自的優(yōu)勢(shì)和劣勢(shì)。

成熟度

Caffe 推出時(shí)間較長(zhǎng)。自 2014 年夏天推出，它可從一個(gè)支持各種圖像分類(lèi)任務(wù)的預(yù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型大數(shù)據(jù)庫(kù)（即 Model Zoo）中受益匪淺。與之相比，TensorFlow 則在近期于 2015 年 11 月首次推出。

適用性

Caffe 用于圖像分類(lèi)，但并非針對(duì)其他深度學(xué)習(xí)的應(yīng)用，例如文本或聲音。相反的，TensorFlow 除了圖像分類(lèi)外，能夠解決一般的應(yīng)用。

建模能力

循環(huán)神經(jīng)網(wǎng)絡(luò) (RNN) 是保留先前狀態(tài)實(shí)現(xiàn)持久性的網(wǎng)絡(luò)，與人類(lèi)思維過(guò)程類(lèi)似。從這個(gè)層面來(lái)看，Caffe 不是非常靈活，因?yàn)槠湓屑軜?gòu)需要定義每個(gè)新層面類(lèi)型的前向、后向和梯度更新。TensorFlow 利用向量運(yùn)算方法的符號(hào)圖，指明新網(wǎng)絡(luò)相當(dāng)簡(jiǎn)易。

架構(gòu)

TensorFlow 擁有一個(gè)包含多個(gè)前端和執(zhí)行平臺(tái)的清理器、模塊化結(jié)構(gòu)。

領(lǐng)先的神經(jīng)網(wǎng)絡(luò)層

卷積神經(jīng)網(wǎng)絡(luò) (CNN) 是神經(jīng)網(wǎng)絡(luò)的特殊例子。CNN 包括一個(gè)或多個(gè)卷積層，通常帶有子采樣層，在標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)中后面跟著一個(gè)或多個(gè)完全連接層。在 CNN 中，用于特征提取的卷積層重量以及用于分類(lèi)的完全連接層可在訓(xùn)練過(guò)程中確定。CNN 中的總層數(shù)可能從許多層到大約 24 層不等，例如 AlexNet，而如為 SegNet，則最多為 90 層。

我們根據(jù)與客戶和合伙人合作期間遇到的多個(gè)網(wǎng)絡(luò)，編輯了許多領(lǐng)先層列表。

卷積

標(biāo)準(zhǔn)化

池化（平均和較大）

完全連接

激活（ReLU、參數(shù) ReLU、TanH、Sigmoid）

去卷積

串聯(lián)

上采樣

Argmax

Softmax

由于 NN 不斷發(fā)展，這個(gè)列表可能也會(huì)更改和轉(zhuǎn)換。一個(gè)可行的嵌入式解決方案無(wú)法承擔(dān)每次在深度學(xué)習(xí)算法進(jìn)步時(shí)而變得過(guò)時(shí)的代價(jià)。避免這個(gè)情況的關(guān)鍵是具備隨之發(fā)展進(jìn)化的靈活性并處理新層。這種類(lèi)型的靈活性通過(guò) CEVA 在上個(gè) CES大會(huì)上 運(yùn)用所有 24 層運(yùn)行實(shí)時(shí) Alexnet 期間提出的 CEVA-XM4 視覺(jué) DSP 處理器展現(xiàn)。

深度學(xué)習(xí)拓?fù)浣Y(jié)構(gòu)

如果我們查看網(wǎng)絡(luò)，例如 AlexNet 或不同的 VGG 網(wǎng)絡(luò)，它們具備相同的單拓?fù)?，即線性網(wǎng)絡(luò)。在這個(gè)拓?fù)渲校總€(gè)神經(jīng)元點(diǎn)都有一個(gè)單端輸入和單端輸出。

更復(fù)雜的拓?fù)浒考?jí)多層。在此情況下，可在處于相同級(jí)的多個(gè)神經(jīng)元之間分配工作，然后與其他神經(jīng)元結(jié)合。這種網(wǎng)絡(luò)可以 GoogLeNet 為例。擁有多個(gè)輸入多個(gè)輸出拓?fù)涞木W(wǎng)絡(luò)產(chǎn)生更多復(fù)雜性。

深度學(xué)習(xí)拓?fù)洌ㄙY料來(lái)源：CEVA）

正如我們?cè)谏蠄D第 (c) 種情況看到，相同的神經(jīng)元可同時(shí)接收和發(fā)送多個(gè)輸入和輸出。這些類(lèi)型的網(wǎng)絡(luò)可通過(guò) GoogLeNet、SegNet 和 ResNet 例證。

除了這些拓?fù)?，還有完全卷積網(wǎng)絡(luò)，這是關(guān)于單像素問(wèn)題的快速、端對(duì)端模型。完全卷積網(wǎng)絡(luò)可接收任意大小的輸入，并通過(guò)有效推理和學(xué)習(xí)產(chǎn)生相應(yīng)大小的輸出。這更適合于 ROI 根據(jù)對(duì)象大小動(dòng)態(tài)變化的商業(yè)應(yīng)用程序。

嵌入式神經(jīng)網(wǎng)絡(luò)的挑戰(zhàn)

預(yù)訓(xùn)練網(wǎng)絡(luò)之后的下一個(gè)巨大挑戰(zhàn)是在嵌入式系統(tǒng)中實(shí)施，這可是一個(gè)極具挑戰(zhàn)性的任務(wù)！障礙可分為兩個(gè)部分：

1、寬頻限制以及嵌入式系統(tǒng)的計(jì)算能力。

NN 需要大量數(shù)據(jù)，利用 DDR 在各層之間進(jìn)行傳輸。如為卷積和完全連接數(shù)據(jù)重量來(lái)自 DDR，數(shù)據(jù)傳輸極其龐大。在這些情況下，也要使用浮點(diǎn)精度。在許多情況下，相同網(wǎng)絡(luò)用于處理多個(gè) ROI。雖然大型、高功耗電機(jī)器可執(zhí)行這些任務(wù)，但嵌入式平臺(tái)制定了嚴(yán)格的限制條件。為實(shí)現(xiàn)成本效益、低功率及最小規(guī)模，嵌入式解決方案使用少量數(shù)據(jù)，限制內(nèi)存大小，通常以整數(shù)精度運(yùn)行，這與浮點(diǎn)截然相反。

2、竭力為嵌入式平臺(tái)移植和優(yōu)化 NN。

向嵌入式平臺(tái)移植預(yù)訓(xùn)練 NN 的任務(wù)相當(dāng)耗時(shí)，需要有關(guān)目標(biāo)平臺(tái)的編程知識(shí)和經(jīng)驗(yàn)。在完成初步發(fā)布后，還必須為特定平臺(tái)進(jìn)行優(yōu)化，以實(shí)現(xiàn)快速和有效性能。

這些挑戰(zhàn)如果處理不當(dāng)，將構(gòu)成重大威脅。一方面，必須要克服硬件限制條件，以在嵌入式平臺(tái)上執(zhí)行 NN。另一方面，必須要克服挑戰(zhàn)的第二部分，以便快速達(dá)成解決方案，因?yàn)樯鲜袝r(shí)間是關(guān)鍵。還原至硬件解決方案以加速上市時(shí)間也不是一個(gè)明智選擇，因?yàn)樗鼰o(wú)法提供靈活性，并將快速成為發(fā)展進(jìn)化神經(jīng)網(wǎng)絡(luò)領(lǐng)域中的障礙。

為找出如何快速且毫不費(fèi)勁地跨越這些障礙，請(qǐng)下次關(guān)注第二部分。屆時(shí)我們將以 GoogLeNet 為例，討論和演示我們的解決方案。

同時(shí)，可點(diǎn)擊了解更多有關(guān) CDNN – CEVA 深度神經(jīng)網(wǎng)絡(luò) 的信息。

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識(shí)

QQ群：81035754