摘要：由于它能用較少的數(shù)據(jù)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)，這使得目前它在深度學(xué)習(xí)領(lǐng)域非常流行。這種類型的遷移學(xué)習(xí)在深度學(xué)習(xí)中最為常用。特征提取另一種方法是使用深度學(xué)習(xí)找出表述問題的最佳形式，這意味著要找到最重要的特征。

摘要： 到底是遷移學(xué)習(xí)？什么時候使用它？如何使用它？

所謂遷移學(xué)習(xí)是指針對新問題重新使用預(yù)先訓(xùn)練的模型。由于它能用較少的數(shù)據(jù)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)，這使得目前它在深度學(xué)習(xí)領(lǐng)域非常流行。通過這篇文章您將會了解什么是遷移學(xué)習(xí)，它是如何工作的，為什么應(yīng)該使用它以及何時可以使用它。同時這篇文章將向您介紹遷移學(xué)習(xí)的不同方法，并為您提供一些已經(jīng)預(yù)先訓(xùn)練過的模型的資源。

它是什么？

怎么運(yùn)行的

你什么時候應(yīng)該使用它

遷移學(xué)習(xí)的方法（訓(xùn)練一個模型以重用它，使用預(yù)訓(xùn)練模型，特征提?。?/p>

受歡迎的預(yù)訓(xùn)練模型

在遷移學(xué)習(xí)中，能夠使用預(yù)先訓(xùn)練模型的問題只能是與之不同但相類似的問題。比如，您訓(xùn)練了一個簡單的分類器來預(yù)測圖像中是否有背包，則可以使用模型在訓(xùn)練過程中獲得的知識來識別太陽鏡等其他物體。

遷移學(xué)習(xí)的總體思路是利用已有知識，即一個模型從一項任務(wù)中學(xué)到的很多被標(biāo)記的訓(xùn)練數(shù)據(jù)可以用在另外一個我們沒有很多數(shù)據(jù)的新任務(wù)中。

遷移學(xué)習(xí)主要用于需要大量計算能力的計算機(jī)視覺和自然語言處理任務(wù)，如情感分析。

例如，在計算機(jī)視覺領(lǐng)域，神經(jīng)網(wǎng)絡(luò)通常會嘗試檢測早期圖層的邊緣，中間圖層的形狀以及底圖層中的一些特定人物的特征。通過遷移學(xué)習(xí)，您可以利用最初接受培訓(xùn)任務(wù)留下的早期層和中間層，并僅對底圖層進(jìn)行重新的訓(xùn)練。

例如，上述提到的識別背包的訓(xùn)練模型示例，該模型將用于識別太陽鏡。在早期的圖層中，模型學(xué)會識別物體，因此，我們只需重新訓(xùn)練后一層，這樣它就能了解到太陽鏡和其他物體的區(qū)別。

遷移學(xué)習(xí)的主要優(yōu)點是節(jié)省訓(xùn)練時間，在大多數(shù)情況下您的神經(jīng)網(wǎng)絡(luò)不需要大量數(shù)據(jù)就能使得性能更好。

通常情況下，從頭開始訓(xùn)練一個神經(jīng)網(wǎng)絡(luò)需要大量的數(shù)據(jù)，但你并不總是能夠獲得足夠的數(shù)據(jù)。比如自然語言處理（NLP），它需要創(chuàng)建大型標(biāo)記數(shù)據(jù)集。而要訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)有時需要大量時間，這樣您還可以節(jié)省大量訓(xùn)練時間。

據(jù)DeepMind Technologies首席執(zhí)行官Demis Hassabis介紹，Transfer也是最有前途的技術(shù)之一，它有朝一日可以引領(lǐng)我們進(jìn)入人工智能（AGI）領(lǐng)域。

一種情況是，當(dāng)滿足以下一點或兩點：（a）您沒有足夠的帶標(biāo)簽的培訓(xùn)數(shù)據(jù)來從頭開始培訓(xùn)您的網(wǎng)絡(luò)（b）已經(jīng)存在一個預(yù)先培訓(xùn)過的類似任務(wù)的網(wǎng)絡(luò)，該網(wǎng)絡(luò)通常是經(jīng)過大量數(shù)據(jù)的培訓(xùn)的。另一個適用的情況是，任務(wù)1和任務(wù)2具有類似的輸入。

如果原始模型是使用TensorFlow進(jìn)行訓(xùn)練的，您可以簡單地恢復(fù)它并為您的任務(wù)重新訓(xùn)練一些層。請注意，只有當(dāng)從第一個任務(wù)中學(xué)習(xí)的特性具有一般性時，轉(zhuǎn)移學(xué)習(xí)才會起作用，這意味著他們對于另一個相關(guān)的任務(wù)也很有用。此外，模型的輸入需要與初始訓(xùn)練時的尺寸同步。如果沒有，您需要增加一個預(yù)處理步驟，將輸入大小調(diào)整到所需大小。

1. 訓(xùn)練一個模型并運(yùn)用它

舉個例子，你想解決任務(wù)A，但沒有足夠的數(shù)據(jù)來訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)。但是你有關(guān)于與之類似的任務(wù)B的大大量數(shù)據(jù)，您可以在任務(wù)B上訓(xùn)練一個深度神經(jīng)網(wǎng)絡(luò)，并以此模型為出發(fā)點來解決您的初始任務(wù)A。

您所嘗試解決的問題決定了您是使用整個模型還是僅使用其中的幾層。如果您在兩個任務(wù)中有相似的輸入，則可以重新使用該模型并對新輸入進(jìn)行預(yù)測?；蛘?，您也可以更改并重新訓(xùn)練不同的任務(wù)特定圖層或輸入圖層。

2. 使用預(yù)訓(xùn)練模型

這里有很多這樣的模型，所以你需要做一些研究。你可以重復(fù)使用多少層，需要再次訓(xùn)練多少層，很難形成一個通用規(guī)則。

例如，Keras提供了九種預(yù)先訓(xùn)練的模型，可用于遷移學(xué)習(xí)、預(yù)測、特征提取和微調(diào)。從這里您可以了解到如何使用這些模型。

也有很多研究機(jī)構(gòu)發(fā)布了他們已經(jīng)培訓(xùn)過的模型。這種類型的遷移學(xué)習(xí)在深度學(xué)習(xí)中最為常用。

3. 特征提取

另一種方法是使用深度學(xué)習(xí)找出表述問題的最佳形式，這意味著要找到最重要的特征。這種方法也被稱為表示學(xué)習(xí)，并且通常可以獲得比用手工設(shè)計的表示更好地性能。

在機(jī)器學(xué)習(xí)的大部分時間里，這些功能都是由研究人員和領(lǐng)域?qū)＜沂止ぶ谱鞯?，好在深度學(xué)習(xí)可以自動提取特征，但是您仍然需要決定應(yīng)將哪些功能放入網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)可以了解到你已經(jīng)投入了哪些功能，哪些是真正重要的，哪些不是。表示學(xué)習(xí)算法可以在很短的時間內(nèi)發(fā)現(xiàn)一個很不錯的特征組合（就算是需要大量人力的復(fù)雜任務(wù)也可以做到這一點）。

表示學(xué)習(xí)也可以用于其他問題。您只需使用第一層來找出特征的正確表示，但由于它任務(wù)特定性太強(qiáng)，不能使用網(wǎng)絡(luò)的輸出。只需將數(shù)據(jù)提供給您的網(wǎng)絡(luò)，并使用其中一個中間層作為輸出層。這一層可以被解釋為原始數(shù)據(jù)的表示。

這種方法主要用于計算機(jī)視覺領(lǐng)域，因為它可以減少數(shù)據(jù)集的大小，從而縮短計算時間并使其更適合傳統(tǒng)算法。

受歡迎的預(yù)訓(xùn)練模型

有一些預(yù)先訓(xùn)練好的機(jī)器學(xué)習(xí)模型非常流行，其中之一是Inception-v3模型，該模型經(jīng)過了ImageNet“大型視覺識別挑戰(zhàn)”的培訓(xùn)。在這個挑戰(zhàn)中，參與者必須將圖像分為1000個類，如“斑馬”“斑點狗”和“洗碗機(jī)”。

在這里，您可以從TensorFlow中看到有關(guān)如何重新訓(xùn)練圖像分類器的教程。

微軟還通過MicrosoftML R軟件包和microsoft Python軟件包提供了一些預(yù)先訓(xùn)練好的模型，可用于R和Python開發(fā)。

其他非常流行的模型是ResNet和AlexNet。您可以訪問pretrained.ml，它是一個可排序搜索的預(yù)訓(xùn)練深度學(xué)習(xí)模型匯編，還有演示和代碼。

本文由阿里云云棲社區(qū)組織翻譯。

文章原標(biāo)題《Transfer Learning》

作者：Niklas Donges

詳情請閱讀原文