摘要：團(tuán)隊(duì)昨天發(fā)布的一個(gè)模型學(xué)會(huì)一切論文背后，有一個(gè)用來(lái)訓(xùn)練模型的模塊化多任務(wù)訓(xùn)練庫(kù)。模塊化的多任務(wù)訓(xùn)練庫(kù)利用工具來(lái)開(kāi)發(fā)，定義了一個(gè)深度學(xué)習(xí)系統(tǒng)中需要的多個(gè)部分?jǐn)?shù)據(jù)集模型架構(gòu)優(yōu)化工具學(xué)習(xí)速率衰減計(jì)劃，以及超參數(shù)等等。

Google Brain團(tuán)隊(duì)昨天發(fā)布的“一個(gè)模型學(xué)會(huì)一切”論文背后，有一個(gè)用來(lái)訓(xùn)練MultiModel模型的模塊化多任務(wù)訓(xùn)練庫(kù)：Tensor2Tensor。

今天，Google Brain高級(jí)研究員?ukasz Kaiser就在官方博客上發(fā)文，詳細(xì)介紹了新開(kāi)源的T2T庫(kù)。

以下內(nèi)容編譯自Google Research的官方博客：

深度學(xué)習(xí)推動(dòng)了許多技術(shù)的快速發(fā)展，例如機(jī)器翻譯、語(yǔ)音識(shí)別和對(duì)象檢測(cè)。在科研領(lǐng)域，人們可以查找作者開(kāi)源的代碼，從而復(fù)現(xiàn)他們的研究成果，推動(dòng)深度學(xué)習(xí)技術(shù)的進(jìn)一步發(fā)展。

然而，這些深度學(xué)習(xí)系統(tǒng)大部分都采用了獨(dú)特配置，需要大量的工程開(kāi)發(fā)，并且可能只適用于特定的問(wèn)題或架構(gòu)，導(dǎo)致很難嘗試新的實(shí)驗(yàn)并比較結(jié)果。

今天，我們很高興發(fā)布Tensor2Tensor (T2T)，一個(gè)用于在TensorFlow中訓(xùn)練深度學(xué)習(xí)模型的開(kāi)源系統(tǒng)。

T2T有助于開(kāi)發(fā)頂尖水平的模型，并適用各類(lèi)機(jī)器學(xué)習(xí)應(yīng)用，例如翻譯、分析和圖像標(biāo)注等。這意味著，對(duì)各種不同想法的探索要比以往快得多。

此次發(fā)布的這個(gè)版本還提供了由數(shù)據(jù)集和模型構(gòu)成的庫(kù)文件，包括近期幾篇論文中最優(yōu)秀的模型(文末列舉了這幾篇論文)，從而推動(dòng)你自己的深度學(xué)習(xí)研究。

為了證明T2T可以帶來(lái)的改進(jìn)，我們將庫(kù)文件應(yīng)用于機(jī)器翻譯。正如上表所顯示的，兩個(gè)不同的T2T模型，SliceNet和Transformer，超過(guò)了此前表現(xiàn)較好的系統(tǒng)GNMT+MoE。

我們最優(yōu)秀的T2T模型Transformer，比標(biāo)準(zhǔn)GNMT模型高出3.8分，而GNMT自身要比作為基準(zhǔn)的翻譯系統(tǒng)MOSES高出4分。

值得注意的是，通過(guò)T2T，你可以使用單個(gè)GPU，在一天時(shí)間里獲得此前最漂亮的結(jié)果：小規(guī)模Transformer模型基于單個(gè)GPU在一天的訓(xùn)練后獲得了24.9 BLEU。

目前，所有擁有GPU的研究者都可以自行探索最強(qiáng)大的翻譯模型。我們?cè)贕ithub上介紹了如何去做。

模塊化的多任務(wù)訓(xùn)練

T2T庫(kù)利用TensorFlow工具來(lái)開(kāi)發(fā)，定義了一個(gè)深度學(xué)習(xí)系統(tǒng)中需要的多個(gè)部分：數(shù)據(jù)集、模型架構(gòu)、優(yōu)化工具、學(xué)習(xí)速率衰減計(jì)劃，以及超參數(shù)等等。

最重要的是，T2T在所有這些部分之間實(shí)現(xiàn)了標(biāo)準(zhǔn)接口，并配置了當(dāng)前機(jī)器學(xué)習(xí)的較佳行為方式。

因此，你可以選擇任意數(shù)據(jù)集、模型、優(yōu)化工具，以及一套超參數(shù)，隨后運(yùn)行訓(xùn)練，看看效果如何。

我們實(shí)現(xiàn)了架構(gòu)的模塊化，因此輸入數(shù)據(jù)和預(yù)期輸出結(jié)果之間所有部分都是張量到張量的函數(shù)。

如果你對(duì)模型的架構(gòu)有新想法，那么不需要替換所有設(shè)置。你可以保留嵌入的部分，用自己的函數(shù)來(lái)替換模型體。這樣的函數(shù)以張量為輸入，并返回張量。

這意味著T2T很靈活，訓(xùn)練不再局限于特定模型或數(shù)據(jù)集。

這也非常簡(jiǎn)單，例如知名的LSTM序列到序列模型可以用幾十行代碼來(lái)定義。你也可以用不同類(lèi)型的多任務(wù)來(lái)訓(xùn)練單個(gè)模型。在一定的限制下，單個(gè)模型甚至可以使用所有數(shù)據(jù)集來(lái)訓(xùn)練。

例如，我們的MultiModel模型用這種方式在T2T中進(jìn)行了訓(xùn)練，在許多任務(wù)中取得了良好的結(jié)果。這一模型使用的訓(xùn)練數(shù)據(jù)集包括ImageNet(圖像分類(lèi))、MS COCO(圖像標(biāo)注)、WSJ(語(yǔ)音識(shí)別)、WMT(翻譯)，以及Penn Treebank分析語(yǔ)料庫(kù)。

這是首次證明，單個(gè)模型能同時(shí)執(zhí)行所有這些任務(wù)。

內(nèi)置的較佳行為方式

在最初版本中，我們還提供了腳本，用于生成在研究領(lǐng)域廣泛使用的數(shù)據(jù)集，少量模型，大量的超參數(shù)配置，以及其他一些技巧的配置。

考慮一下這樣的任務(wù)：將英語(yǔ)語(yǔ)句解析為語(yǔ)法選區(qū)樹(shù)。這個(gè)問(wèn)題的研究已有幾十年歷史，并誕生了許多有競(jìng)爭(zhēng)力的解決辦法。這可以被視為一個(gè)序列到序列問(wèn)題，并使用神經(jīng)網(wǎng)絡(luò)來(lái)解決。不過(guò)，這需要大量的調(diào)節(jié)優(yōu)化。通過(guò)T2T，我們只需幾天時(shí)間，就可以添加解析數(shù)據(jù)集生成器，并調(diào)整我們的注意力轉(zhuǎn)換模型，針對(duì)這個(gè)問(wèn)題來(lái)訓(xùn)練。驚喜的是，我們?cè)谝恢軙r(shí)間里就取得了很好的結(jié)果。

相關(guān)資源

Tensor2Tensor GitHub：

https://github.com/tensorflow/tensor2tensor

Google Research Blog原文：

https://research.googleblog.com/2017/06/accelerating-deep-learning-research.html

文中提到“近期幾篇論文中最優(yōu)秀的模型”，這幾篇論文分別是：

Attention Is All You Need

https://arxiv.org/abs/1706.03762

Depthwise Separable Convolutions for Neural Machine Translation

https://arxiv.org/abs/1706.03059

One Model to Learn Them All

https://arxiv.org/abs/1706.05137

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識(shí)

QQ群：81035754