摘要：地址為什么使用遷移學(xué)習(xí)根據(jù)聯(lián)合創(chuàng)始人斯坦福副教授吳恩達(dá)介紹，遷移學(xué)習(xí)將會成為機(jī)器學(xué)習(xí)商業(yè)成就的下一驅(qū)動力。遷移學(xué)習(xí)是一種機(jī)器學(xué)習(xí)技術(shù)，允許在特定的數(shù)據(jù)集上再利用已訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)，并將其調(diào)整或遷移到其他數(shù)據(jù)集。

GitHub 地址：https://github.com/miguelgfierro/sciblog_support/blob/master/A_Gentle_Introduction_to_Transfer_Learning/Intro_Transfer_Learning.ipynb

為什么使用遷移學(xué)習(xí)？

根據(jù) Coursera 聯(lián)合創(chuàng)始人、斯坦福副教授吳恩達(dá)介紹，遷移學(xué)習(xí)（Transfer Learning）將會成為機(jī)器學(xué)習(xí)商業(yè)成就的下一驅(qū)動力。

遷移學(xué)習(xí)是一種機(jī)器學(xué)習(xí)技術(shù)，允許在特定的數(shù)據(jù)集上再利用已訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)（CNN），并將其調(diào)整或遷移到其他數(shù)據(jù)集。之所以要復(fù)用已經(jīng)訓(xùn)練的 CNN，是因?yàn)橛?xùn)練時間太長。例如，在 4 個英偉達(dá) K80 GPU 中將 ResNet18 訓(xùn)練 30 個 epoch 需要 3 天的時間；而在同樣的 GPU 上將 ResNet152 訓(xùn)練 120 個 epoch 需要 4 個月。

遷移學(xué)習(xí)策略

總體而言，遷移學(xué)習(xí)有兩種策略，不過我還沒有看到關(guān)于命名的最終一致意見。微調(diào)（finetuning）——其中包括使用基礎(chǔ)數(shù)據(jù)集上的預(yù)訓(xùn)練網(wǎng)絡(luò)以及在目標(biāo)數(shù)據(jù)集中訓(xùn)練所有層；凍結(jié)與訓(xùn)練（freeze and train）——其中包括凍結(jié)除最后一層的所有層（權(quán)重不更新）并訓(xùn)練最后一層。也可以凍結(jié)前面幾層，然后微調(diào)其余層，這是由于一些證據(jù)表明 CNN 的前幾層包含紋理過濾器（texture filter）和色彩斑點(diǎn)（color blob）。但是，我們這里的工作只分析兩種極端情況：訓(xùn)練所有層，以及只訓(xùn)練最后一層。

最常見的基本數(shù)據(jù)集是 ImageNet，它包含 120 萬個圖像、1000 個類別。這些類別主要被分為兩大類：動物和物體。每個類別的圖像數(shù)量大約為 1000 個。大多數(shù)深度學(xué)習(xí)庫都提供在 ImageNet 上預(yù)訓(xùn)練的 CNN 模型。

在下圖中，我們可以看到上述提到的兩種遷移學(xué)習(xí)策略。我們在 ImageNet 上使用了一個預(yù)訓(xùn)練的 CNN，并將 Simpsons 數(shù)據(jù)集的子集 Homer Simpson 作為目標(biāo)集，用該網(wǎng)絡(luò)對其進(jìn)行分類。這個子集包含 20 個類，每個類有 300-1000 個圖像。

然后，我們可以使用凍結(jié)與訓(xùn)練，只訓(xùn)練最后一層（如圖上方所示）；或者微調(diào)所有層（如圖下方所示）。

微調(diào) VS 凍結(jié)

我們很難知道在何種情況下應(yīng)該只訓(xùn)練最后一層，在何種情況下應(yīng)該微調(diào)網(wǎng)絡(luò)。在「How transferable are features in deep neural networks?」(Yosinsky et. al., 2014) 中，作者解決了在 ImageNet 數(shù)據(jù)集中量化 CNN 特定層普適程度的問題。他們發(fā)現(xiàn)，由于層的相互適應(yīng)，可遷移性會受到中間層分裂的負(fù)面影響。隨著任務(wù)性質(zhì)差異的增加，可遷移性的差距會逐漸增長。最終他們發(fā)現(xiàn)，通過權(quán)重遷移進(jìn)行網(wǎng)絡(luò)初始化，而非從零權(quán)重開始訓(xùn)練，能夠提高泛化性能。

正如 Karpathy 的深度學(xué)習(xí)教程中指出的，以下是在不同場景中對新數(shù)據(jù)集使用遷移學(xué)習(xí)的一些指導(dǎo)原則：

小目標(biāo)集，圖像相似：當(dāng)目標(biāo)數(shù)據(jù)集與基礎(chǔ)數(shù)據(jù)集相比較小，且圖像相似時，建議采取凍結(jié)和訓(xùn)練，只訓(xùn)練最后一層。

大目標(biāo)集，圖像相似：建議使用微調(diào)。

小目標(biāo)集，圖像不同：建議采取凍結(jié)和訓(xùn)練，訓(xùn)練最后一層或最后幾層。

大目標(biāo)集，圖像不同：建議使用微調(diào)。

在實(shí)驗(yàn)中，我們使用了有限的幾個數(shù)據(jù)集，以及一個小型網(wǎng)絡(luò) ResNet18，所以是否能將結(jié)果推廣到所有數(shù)據(jù)集和網(wǎng)絡(luò)還言之尚早。但是，這些發(fā)現(xiàn)可能會對何時使用遷移學(xué)習(xí)這一問題提供一些啟示。以下是結(jié)果的總結(jié)：

我們觀察到的第一個細(xì)節(jié)是，相比色度數(shù)據(jù)集而言，訓(xùn)練灰度數(shù)據(jù)集準(zhǔn)確率會下降。這與其他文章作者觀察一致，即基礎(chǔ)數(shù)據(jù)集和目標(biāo)數(shù)據(jù)集之間的域差異越大，遷移效果越差。

我們同樣發(fā)現(xiàn)，對于 Simpson 和 Caltech256 數(shù)據(jù)集而言，凍結(jié)會使得準(zhǔn)確率大大下降。這在 Simpson 數(shù)據(jù)集中可以理解，原因可能是域的區(qū)別太大了：在 ImageNet 中都是自然圖像，但在 Simpson 中大多數(shù)都是素色的。在 Caltech 數(shù)據(jù)集中，除了在凍結(jié)時產(chǎn)生的準(zhǔn)確率下降，我們最先觀察到的是它本身只具有很低的準(zhǔn)確率。這可能是因?yàn)?，對于涵蓋很多類別的數(shù)據(jù)集，每個類別的圖像太少了，大約每個類只有幾百個而已。

貓狗（dogs vs cats）數(shù)據(jù)集的域和 ImageNet 最接近。事實(shí)上，ImageNet 中就包含著幾個品種的貓和狗。在這種情況下，微調(diào)和凍結(jié)沒有多大差別。

最后，在膜翅目昆蟲（hymenoptera）數(shù)據(jù)庫中，我們發(fā)現(xiàn)，在凍結(jié)時，色度數(shù)據(jù)集有一點(diǎn)小改善。這可能是因?yàn)橛蚝芸拷?，且?shù)據(jù)集比較小。在膜翅目昆蟲灰度數(shù)據(jù)庫中，凍結(jié)就沒有改善，這很可能是由于域的差異。

原文地址：https://miguelgfierro.com/blog/2017/a-gentle-introduction-to-transfer-learning-for-image-classification/

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報表系統(tǒng)等全方位知識

QQ群：81035754