摘要：得到的結(jié)果如下上圖是門卷積神經(jīng)網(wǎng)絡(luò)模型與和模型在數(shù)據(jù)集基準(zhǔn)上進(jìn)行測試的結(jié)果。雖然在這一研究中卷積神經(jīng)網(wǎng)絡(luò)在性能上表現(xiàn)出了對遞歸神經(jīng)網(wǎng)絡(luò)，尤其是的全面超越，但是，現(xiàn)在談取代還為時(shí)尚早。

語言模型對于語音識(shí)別系統(tǒng)來說，是一個(gè)關(guān)鍵的組成部分，在機(jī)器翻譯中也是如此。近年來，神經(jīng)網(wǎng)絡(luò)模型被認(rèn)為在性能上要優(yōu)于經(jīng)典的 n-gram 語言模型。經(jīng)典的語言模型會(huì)面臨數(shù)據(jù)稀疏的難題，使得模型很難表征大型的文本，以及長距離的依存性。神經(jīng)網(wǎng)絡(luò)語言模型通過在連續(xù)的空間中嵌入詞語的方法，來解決這一難題。目前，語言建模的較好表現(xiàn)是基于長短記憶網(wǎng)絡(luò)（LSTM，1997年由Hochreiter和Schmidhuber提出）的，它能對潛在的任意長期依存進(jìn)行建模。

算法模型的突破意義在哪

Facebook AI 實(shí)驗(yàn)室的這一研究在發(fā)表后吸引了大量的注意力。LSTM目前在語言、語音和翻譯等方面有著廣泛的應(yīng)用，是學(xué)術(shù)和產(chǎn)業(yè)都十分關(guān)注的技術(shù)，現(xiàn)在忽然出現(xiàn)了一種比它更好的模型，AI 圈內(nèi)人士怎么看？

美國卡內(nèi)基梅隆計(jì)算機(jī)系博士鄧侃對新智元說：“這是 LSTM 的改進(jìn)版，性能有所提高，但是方法論仍然沿用了 LSTM 的既有框架，并沒有本質(zhì)突破?！?/p>

國內(nèi)語音技術(shù)專家賈磊也與新智元分享了他的觀點(diǎn)。他說：“CNN有一個(gè)優(yōu)點(diǎn)，就是通過共享權(quán)重由局部到整體，實(shí)現(xiàn)對輸入‘whole picture’ 的建模；而LSTM是通過逐幀遞推的方式來建模整體，而遞推過程中引入“門機(jī)制”進(jìn)行信息選擇?！?/p>

他解釋說：“通俗一點(diǎn)說，CNN更像視覺，天然具有二維整體性；而LSTM更像聽覺和語音，總是通過串行的方式來理解整體。Facebook的這篇論文恰恰是通過在CNN技術(shù)中引入LSTM的“門機(jī)制”來解決語言順序依存問題，是對傳統(tǒng)cnn技術(shù)很大的豐富和完善，文章具有很高的理論價(jià)值和實(shí)踐意義。但是到目前為止，CNN是否會(huì)取代LSTM，即全局共享權(quán)重連接是不是真的能夠完全取代帶有遞推機(jī)制和門機(jī)制的LSTM，形式還并不明朗。特別在一些高時(shí)效性的語音識(shí)別和語音交互問題上，由于嚴(yán)格的時(shí)效要求，LSTM這種隨著時(shí)間的延展，逐步遞推，逐漸遍及信號(hào)全貌的技術(shù)，還是有一定速度優(yōu)勢的?！?/p>

模型詳情

圖 ： 用于語言建模的門卷積網(wǎng)絡(luò)架構(gòu)

統(tǒng)計(jì)學(xué)意義的語言模型評估的是詞語序列的概率分布。這導(dǎo)致了傾向于根據(jù)正在處理的詞語對下一個(gè)詞語出現(xiàn)的概率進(jìn)行建模的方法。目前，語言建模的主要方法都是基于遞歸神經(jīng)網(wǎng)絡(luò)的。Facebook AI 研究院 提出了一個(gè)卷積的方法，來為語言建模。他們引入了一個(gè)新的門機(jī)制（gating mechanism），能夠釋放梯度傳播，同時(shí)比Oord 等人在2016年提出的 LSTM 風(fēng)格的 gating 性能上要好很多，并且還更加簡單。

門（gating）機(jī)制控制著神經(jīng)網(wǎng)絡(luò)中的信息流動(dòng)，在1997年時(shí)就被 Schmidhuber等人證明在遞歸神經(jīng)網(wǎng)絡(luò)中非常有用。LSTM通過一個(gè)由輸入控制的多帶帶單元（cell）和forget gates來激活長期記憶，這能讓信息在多個(gè)時(shí)間點(diǎn)可以無阻礙地流動(dòng)。如果沒有這些門的存在，信息在每一個(gè)時(shí)間點(diǎn)上的變化可能會(huì)導(dǎo)致消失的情況。相反地，卷積神經(jīng)網(wǎng)絡(luò)并不會(huì)存在梯度消失的問題，在實(shí)驗(yàn)中，我們發(fā)現(xiàn)，他們并不要求有forget gates。

在論文摘要中，他們寫道：“在WikiText-103上，我們創(chuàng)造了新的記錄。同時(shí)，在谷歌 Billion Word 基準(zhǔn)上，我們也獲得了單個(gè) GPU 的較佳表現(xiàn)。在設(shè)置中，延遲非常重要，比起遞歸機(jī)制的基線，我們的模型獲得了一個(gè)維度的加速，因?yàn)橛?jì)算能夠多次并行運(yùn)行。據(jù)我們所知，這是此類的任務(wù)中，一個(gè)非遞歸性的方法首次在性能上超越了向來強(qiáng)大的遞歸模型?！?/p>

測試結(jié)果

研究者基于兩個(gè)大型數(shù)據(jù)集——WikiText-103和谷歌 Billion Word（GBW）進(jìn)行測試，并與幾個(gè)強(qiáng)大的 LSTM 和RNN 模型性能進(jìn)行橫向?qū)Ρ取５玫降慕Y(jié)果如下：

上圖是門卷積神經(jīng)網(wǎng)絡(luò)（GCNN）模型與LSTM和RNN 模型在 Billion Word（GBW）數(shù)據(jù)集基準(zhǔn)上進(jìn)行測試的結(jié)果。在單個(gè)GPU的情況下，GCNN的性能做到了較好。并且，據(jù)Facebook 研究者在論文中介紹，他們使用的 GCNN-13 模型擁有13層神經(jīng)網(wǎng)絡(luò)、每層包含1268個(gè)單元，LSTM每層擁有1024個(gè)單元。在與多GPU 進(jìn)行對比時(shí)，只有超大型LSTM模型在性能上比GCNN好。但是，超大型LSTM -2048 （代表層數(shù)）使用了32個(gè)GPU，訓(xùn)練時(shí)間為3周，GCNN只使用1個(gè)GPU，訓(xùn)練時(shí)間1周。

?另一個(gè)橫向?qū)Ρ仁窃赪ikiText-103 上進(jìn)行的，這個(gè)語言建模數(shù)據(jù)庫包含了超過1億個(gè)從Wikepedia 上被標(biāo)注為Good 或者Featured的文章中提取的字符（tokens），另外，數(shù)據(jù)庫中還包含了20萬個(gè)單詞的詞匯表。

在這個(gè)數(shù)據(jù)集進(jìn)行測試時(shí)，輸入的序列是一篇完整的Wikipedia 文章，而不僅僅是一句話。上圖的結(jié)果表明。GCNN 模型在這個(gè)問題上的性能也比LSTM要好得多。

上圖是WikiText-103（左）和 Google Billion Word (右) 的在不同激活機(jī)制模型下的學(xué)習(xí)曲線?？梢钥吹?，門線性單元（GLU,圖中紅線）在實(shí)現(xiàn)向更低的復(fù)雜性轉(zhuǎn)換的過程是最快的。

被超越的 LSTM

LSTM 和遞歸神經(jīng)網(wǎng)絡(luò)能捕捉長期的依存性，在被提出后便以席卷之勢迅速成為自然語言處理的奠基石。LSTM可以記憶不定時(shí)間長度的數(shù)值，區(qū)塊中有一個(gè)Gate能夠決定input是否重要到能被記住及能不能被輸出output。

LSTM 模型的基本架構(gòu)，其中中間四個(gè)相互交互的層，是整個(gè)模型的核心

此外，由于LSTM 適用于處理和預(yù)測時(shí)間序列中間隔和延遲非常長的重要事件。因而在自然語言理解（NLU）上有著重要作用。

LSTM 目前在行業(yè)內(nèi)有著廣泛的應(yīng)用，范圍包括但不限于：不分段連續(xù)手寫識(shí)別上、自主語音識(shí)別、機(jī)器翻譯等等。作為非線性模型，LSTM可作為復(fù)雜的非線性單元用于構(gòu)造更大型深度神經(jīng)網(wǎng)絡(luò)。

2009年，用LSTM構(gòu)建的人工神經(jīng)網(wǎng)絡(luò)模型贏得過ICDAR手寫識(shí)別比賽冠軍。LSTM還普遍用于自主語音識(shí)別，2013年運(yùn)用 TIMIT 自然演講數(shù)據(jù)庫達(dá)成17.7%錯(cuò)誤率的紀(jì)錄。?

研究者的自我評價(jià)

在論文的最后，研究者總結(jié)說，我們（Facebook）發(fā)布了一個(gè)卷積的神經(jīng)網(wǎng)絡(luò)，使用一個(gè)新的門機(jī)制來為語言建模。與遞歸神經(jīng)網(wǎng)絡(luò)相比，我們的方法建立了一個(gè)輸入詞語的層級表征，讓它可以更好地捕獲長距離的依存性（dependencies），這和語言學(xué)中語法形式體系中的樹結(jié)構(gòu)分析的思路很像。由于特征通過的是固定數(shù)量的神經(jīng)網(wǎng)絡(luò)層，并且是非線性的，這種相似的屬性夠產(chǎn)生學(xué)習(xí)。這和遞歸神經(jīng)網(wǎng)不同，遞歸神經(jīng)網(wǎng)絡(luò)中，處理步驟的數(shù)量根據(jù)詞在輸入中的位置會(huì)有所不同。

結(jié)果顯示，我們的門卷積神經(jīng)網(wǎng)絡(luò)在WikiText-103 上打破了記錄，在更大型的谷歌Billion Word 基準(zhǔn)中，單一GPU上的模型訓(xùn)練表現(xiàn)也優(yōu)于其他幾個(gè)強(qiáng)大的 LSTM 模型。

不談取代，我們談?wù)剝?yōu)化

正如上文中專家的分析，在語言建模上，現(xiàn)在卷積神經(jīng)網(wǎng)絡(luò)和遞歸神經(jīng)網(wǎng)絡(luò)各自有不同優(yōu)勢。雖然在這一研究中卷積神經(jīng)網(wǎng)絡(luò)在性能上表現(xiàn)出了對遞歸神經(jīng)網(wǎng)絡(luò)，尤其是LSTM的全面超越，但是，現(xiàn)在談取代還為時(shí)尚早。

算法模型的演進(jìn)是不斷優(yōu)化的漸進(jìn)過程，F(xiàn)acebook帶來了一種新的思路，并且在研究中進(jìn)行了驗(yàn)證，究其意義，正如作者在論文中介紹的那樣：一個(gè)非遞歸性的方法首次在性能上超越了向來強(qiáng)大的遞歸模型。但是，算法模型到底只是工具，并不存在真正的“取代”之爭。對于實(shí)際應(yīng)用來說，還是要看效果。該模型對于整個(gè)產(chǎn)業(yè)應(yīng)用的意義，目前來看還有待驗(yàn)證，畢竟LSTM現(xiàn)在已經(jīng)得到了廣泛的應(yīng)用，并且效果還不錯(cuò)。

論文地址：https://arxiv.org/pdf/1612.08083v1.pdf

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識(shí)

QQ群：81035754