摘要：而自然語(yǔ)言處理被視為深度學(xué)習(xí)即將攻陷的下一個(gè)技術(shù)領(lǐng)域，在今年全球較高級(jí)的學(xué)術(shù)會(huì)議上，我們也看到大量的在深度學(xué)習(xí)引入方面的探索研究。

深度學(xué)習(xí)的出現(xiàn)讓很多人工智能相關(guān)技術(shù)取得了大幅度的進(jìn)展，比如語(yǔ)音識(shí)別已經(jīng)逼近臨界點(diǎn)，即將達(dá)到Game Changer水平；機(jī)器視覺也已經(jīng)在安防、機(jī)器人、自動(dòng)駕駛等多個(gè)領(lǐng)域得到應(yīng)用。 而自然語(yǔ)言處理（NLP）被視為深度學(xué)習(xí)即將攻陷的下一個(gè)技術(shù)領(lǐng)域，在今年全球較高級(jí)的NLP學(xué)術(shù)會(huì)議ACL上，我們也看到大量的在深度學(xué)習(xí)引入NLP方面的探索研究。讓我們跟隨阿里的科學(xué)家們一起去探求深度學(xué)習(xí)給NLP帶來(lái)些改變。

上篇介紹了機(jī)器翻譯、機(jī)器閱讀與理解、語(yǔ)言與視覺等方面的科學(xué)探索，下篇將介紹對(duì)話系統(tǒng)、信息抽取與情感分析、句法分析、詞向量和句向量等相關(guān)方向的優(yōu)秀研究成果。

《下篇》

4、對(duì)話系統(tǒng)

《On-line Active Reward Learning for Policy Optimization in SpokenDialogue Systems》，用于口語(yǔ)對(duì)話系統(tǒng)策略優(yōu)化的在線自動(dòng)獎(jiǎng)勵(lì)學(xué)習(xí)，來(lái)自于劍橋大學(xué)工作的Paper，也榮獲了本次ACL2016學(xué)生Best Paper。此Paper提出了一種在面向任務(wù)的對(duì)話系統(tǒng)中，通過(guò)增強(qiáng)學(xué)習(xí)來(lái)優(yōu)化對(duì)話管理策略，構(gòu)建了一個(gè)在線學(xué)習(xí)框架：對(duì)話策略，對(duì)話鑲嵌函數(shù)和基于用戶反饋的主動(dòng)獎(jiǎng)勵(lì)機(jī)制三部分組成，如圖所示。

圖8、在線學(xué)習(xí)框架

?

通過(guò)Gaussian過(guò)程分類法與一種基于神經(jīng)網(wǎng)絡(luò)的無(wú)監(jiān)管式對(duì)話嵌入方法，提出了一種主動(dòng)的獎(jiǎng)賞函數(shù)學(xué)習(xí)模型。通過(guò)Reinforcement Learning的方式，主動(dòng)詢問(wèn)客戶收集更多的信息來(lái)得到較精確的獎(jiǎng)賞函數(shù)，實(shí)現(xiàn)在線學(xué)習(xí)策略。相比人工語(yǔ)聊標(biāo)注以及離線模型的方式上有很大的創(chuàng)新。

?

Paper下載地址：http://aclweb.org/anthology/P16-1230

?

《DocChat: An Information Retrieval Approach for Chatbot Engines UsingUnstructured Documents》，此篇長(zhǎng)文是由微軟亞洲研究院(MSRA)周明老師團(tuán)隊(duì)的工作。本文適合場(chǎng)景是聊天場(chǎng)景，不適用于強(qiáng)邏輯和知識(shí)業(yè)務(wù)匹配場(chǎng)景。

?

通常我們?cè)谧隽奶鞂?duì)話的時(shí)候，我們有兩種方式：一種是基于檢索的方式(Retrieval-Based)，還有一種就是基于sequence tosequence的Deep Learning生成方式，比如基于LSTM的方式。但是兩種方式基于都是大量的基于QA Pair對(duì)的數(shù)據(jù)展開的工作。本文的第一個(gè)創(chuàng)新的點(diǎn)是直接依賴于非結(jié)構(gòu)化RawData作為數(shù)據(jù)源輸入，而不依賴標(biāo)準(zhǔn)的QA Pair對(duì)數(shù)據(jù)，通過(guò)非結(jié)構(gòu)化數(shù)據(jù)中直接計(jì)算獲得合適的Response。

?

框架技術(shù)思路設(shè)計(jì)路徑還是傳統(tǒng)的檢索方式：非結(jié)構(gòu)化文本按照句子進(jìn)行分割，先從已有的非結(jié)構(gòu)化數(shù)據(jù)集中進(jìn)行召回，然后進(jìn)行Ranking排序，最后進(jìn)行置信度計(jì)算。其中較為核心的部分就是回復(fù)Ranking的特征選擇及模型選擇了，本文提出了多l(xiāng)evel特征的選擇，包括：word-level, phrase-level,sentence- level, document-level, relation-level, type-level 和 topic-level。整體評(píng)測(cè)方案上其實(shí)是有提升空間的，語(yǔ)聊類的通過(guò)“0”和“1”的方式判斷其實(shí)不是特別合適，可以修改成為對(duì)、錯(cuò)和相關(guān)等更為復(fù)雜的評(píng)測(cè)方案。

?

Paper下載地址：http://aclweb.org/anthology/P16-1049

?

5、信息抽取與情感分析

IE的論文今年集中在slot filling， NER，entityResolution 和coreference.Slot filling在2009 KBP 提出以來(lái)，一直以來(lái)效果不好很好，F(xiàn)-score大約只有30%。跟relation extraction比較而言，有跨篇章，同義詞，多種關(guān)系等問(wèn)題。季?團(tuán)隊(duì)一直保持著比較好的實(shí)驗(yàn)效果。此次，他們提出了一種基于圖挖掘的方案，取得了明顯的提升。NER也是IE比較傳統(tǒng)的任務(wù)，今年論文的創(chuàng)新仍舊多基于深度學(xué)習(xí)。Coreference和 entity resolution保持了近幾年colletive和知識(shí)表示兩個(gè)方向上發(fā)力。

?

Sentiment由于學(xué)術(shù)界數(shù)據(jù)的缺乏，domain adaptation仍舊十分熱，近幾年domain adaptation也在使用deep learning模型。

?

綜合來(lái)看，今年這兩個(gè)課題中規(guī)中矩，有不錯(cuò)的創(chuàng)新點(diǎn)，但沒有大的突破。

?

6、句法分析

句法分析可以稱作是自然語(yǔ)言處理領(lǐng)域的核心任務(wù)之一，每年ACL會(huì)議上都有較大數(shù)量的相關(guān)論文和sessions。然而與過(guò)去二十年所取得的進(jìn)展相比，現(xiàn)在的句法分析研究越來(lái)越給人一種“做無(wú)可做”的感覺（甚至一部分熟悉的研究人員已經(jīng)離開這個(gè)領(lǐng)域）。也許賓州大學(xué)構(gòu)建的標(biāo)準(zhǔn)樹庫(kù)所帶來(lái)的紅利已經(jīng)消失了？

?

現(xiàn)在人們相當(dāng)程度上把希望寄托在深度學(xué)習(xí)上。從某種意義上講，這也是大勢(shì)所趨：搞深度學(xué)習(xí)的希望在搞定語(yǔ)音和圖像之后能夠進(jìn)一步挑戰(zhàn)自然語(yǔ)言處理/理解，而做語(yǔ)言處理的研究者則需要深度學(xué)習(xí)來(lái)擴(kuò)展自己的研究手段。句法分析同樣不能例外，過(guò)去兩三年，句法分析領(lǐng)域出現(xiàn)大量基于深度學(xué)習(xí)的研究工作，通過(guò)構(gòu)建不同的（通常比較復(fù)雜的）網(wǎng)絡(luò)結(jié)構(gòu)。在2016年ACL工作中，我們看到研究重點(diǎn)回歸到如何將深度學(xué)習(xí)用作更有效的工具，譬如說(shuō)研究如何利用深度學(xué)習(xí)模型的非線性特點(diǎn)減小分析算法的計(jì)算代價(jià)，或者研究如何利用深度學(xué)習(xí)與經(jīng)典方法（例如reranking）進(jìn)行結(jié)合。下面會(huì)有相關(guān)論文的介紹。

?

句法分析領(lǐng)域另一個(gè)值得關(guān)注的點(diǎn)是實(shí)驗(yàn)數(shù)據(jù)的多樣化。前面提到了賓州樹庫(kù)（英文的PTB、中文的CTB、朝鮮語(yǔ)的KTB）。做句法分析研究的同學(xué)都知道，這幾個(gè)數(shù)據(jù)集是句法分析研究的標(biāo)準(zhǔn)數(shù)據(jù)集，從1992年開始，我們大部分句法分析實(shí)驗(yàn)都是在這些數(shù)據(jù)集上進(jìn)行。但是近幾年這幾個(gè)標(biāo)準(zhǔn)數(shù)據(jù)集逐漸暴露出不足之處。因此開始出現(xiàn)了一些幫助研究繼續(xù)往前發(fā)展的新數(shù)據(jù)集。Google在2012年推出WebTreebank，除了覆蓋賓州樹庫(kù)原有數(shù)據(jù)以外，Web Treebank中還包含一個(gè)問(wèn)句測(cè)試集和一個(gè)超大規(guī)模的無(wú)標(biāo)注數(shù)據(jù)。[1]這個(gè)數(shù)據(jù)集通常用于領(lǐng)域適應(yīng)性研究。在依存分析領(lǐng)域，近幾年出現(xiàn)了Universal Dependencies，其目標(biāo)是通過(guò)一套規(guī)范對(duì)多種語(yǔ)言進(jìn)行統(tǒng)一的標(biāo)注。[2]在成分句法分析領(lǐng)域，出現(xiàn)了覆蓋八種語(yǔ)言的SPMRL (Morphologically rich language) 數(shù)據(jù)。[3]在新數(shù)據(jù)集上的工作開始增多。這些數(shù)據(jù)的基礎(chǔ)性工作在某種程度上講要比深度學(xué)習(xí)更值得研究。

依存句法分析的效率優(yōu)化

依存句法分析的方法基本上可以分為兩大流派：基于圖的方法和基于狀態(tài)轉(zhuǎn)移的方法。與狀態(tài)轉(zhuǎn)移方法相比，基于圖的方法建模能力更強(qiáng)，但是解碼的時(shí)候需要依賴動(dòng)態(tài)規(guī)劃算法，難以避免具有較高的時(shí)間復(fù)雜度（狀態(tài)轉(zhuǎn)移方法具有線性時(shí)間復(fù)雜度）；而且它的時(shí)間復(fù)雜度與采用的子圖大小正相關(guān)：子圖越大，復(fù)雜度越高。下圖展示了從一階到三階的不同依存子圖。為了使基于圖的句法分析方法在實(shí)際應(yīng)用中更加可用，有必要去研究如何使基于圖的依存句法分析器跑得更快。

圖9、一階到三階的不同依存子圖

今年有兩篇工作與這個(gè)主題相關(guān)。來(lái)自北京大學(xué)的Wang and Chang 始終采用較低階（一階）的依存子圖進(jìn)行建模，但是考慮到一階子圖的上下文信息不足，他們采用雙向的LSTM對(duì)子圖進(jìn)行打分，以此彌補(bǔ)上下文信息缺失的問(wèn)題。經(jīng)典的基于圖的模型（例如MST parser）采用MIRA模型對(duì)子圖進(jìn)行打分。因此這篇工作其本質(zhì)是始終采用一階子圖對(duì)句法樹進(jìn)行拆分，但是底層的打分函數(shù)換成了雙向LSTM，因此其時(shí)間復(fù)雜度仍然為O(n^3)（通過(guò)有效

剪枝可以使復(fù)雜度減小到O(n^2)）。雙向LSTM的網(wǎng)絡(luò)結(jié)構(gòu)如圖10所示。

?

Wang and Chang利用了圖方法的一個(gè)特性，即解碼的時(shí)間復(fù)雜度與子圖大小正相關(guān)?；趫D的句法分析方法另一個(gè)重要特性是：解碼過(guò)程實(shí)際上是在有向無(wú)環(huán)圖中尋找較大生成樹。如果能把有向圖換成無(wú)向圖，那么尋找較大生成樹的算法就會(huì)簡(jiǎn)單很多。來(lái)自以色列和印度的一篇聯(lián)合工作就解了這個(gè)問(wèn)題。給定一個(gè)句子，首先生成無(wú)向圖，基于該無(wú)向圖生成（無(wú)向的）較大生成樹，最終的依存樹將由無(wú)向的較大生成樹推導(dǎo)得到。

?

圖10、雙向LSTM的網(wǎng)絡(luò)結(jié)構(gòu)

?

基于神經(jīng)網(wǎng)絡(luò)的成分句法分析

在EMNLP2014上有一篇來(lái)自StanfordNLP組的開創(chuàng)性的工作（Chen and Manning, 2014)，提出基于Feed-forwardNeural Network的狀態(tài)轉(zhuǎn)移依存分析器，它通過(guò)減少特征抽取的時(shí)間成本，造就了目前為止單機(jī)速度最快的依存句法分析器。在這項(xiàng)工作的基礎(chǔ)上有一系列的后續(xù)工作（包括Google開源的SyntaxNet）都是基于該模型改進(jìn)完成。很自然的產(chǎn)生一個(gè)想法：能否利用該網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行成分句法分析的工作。來(lái)自法國(guó)的Coavoux and Crabbe今年就做了這樣一篇工作。他們除了采用Chen and Manning 2014的網(wǎng)絡(luò)結(jié)構(gòu)以外，還采用了dynamic oracle技術(shù)。Dynamic oracle技術(shù)最開始也是在依存分析上首先提出的，其基本思路是：基于訓(xùn)練數(shù)據(jù)的標(biāo)準(zhǔn)答案(gold oracle)進(jìn)行模型訓(xùn)練不一定是較佳的，因?yàn)樵诮獯a的時(shí)候很容易產(chǎn)生錯(cuò)誤，導(dǎo)致無(wú)論如何也得不到gold oracle，dynamic oracle的思想就是根據(jù)當(dāng)前的狀態(tài)（可能是錯(cuò)誤狀態(tài)）學(xué)習(xí)一個(gè)最有利于模型優(yōu)化的oracle.這項(xiàng)dynamic oracle技術(shù)在成分句法分析中同樣有效。

7、詞向量和句向量

Word Vectors和Sentence Vectors總共被安排了三場(chǎng)，并且被組委會(huì)安排在了較大的兩個(gè)會(huì)議室（Audimax和Kinosaal），多少可以代表當(dāng)前自然語(yǔ)言處理領(lǐng)域的熱點(diǎn)話題和方向，包括在其它的一些專場(chǎng)（比如Semantics等）也或多或少使用到了類似的深度學(xué)習(xí)和詞嵌入的技術(shù)。因?yàn)樯婕暗降膬?nèi)容比較多，以兩篇文章為例：

?

《Compressing Neural Language Models by Sparse Word Representations》一文主要針對(duì)現(xiàn)在神經(jīng)網(wǎng)絡(luò)模型過(guò)大帶來(lái)的時(shí)間開銷以及內(nèi)存占用的問(wèn)題，提出了一種壓縮算法使得模型的參數(shù)伴隨著詞典的膨脹緩慢增加，并且在Perplexity上的評(píng)估性能也有所改善。該文方法的主要優(yōu)點(diǎn)在于：一、放松了對(duì)硬件特別是內(nèi)存消耗的限制，使得模型在移動(dòng)端部署大為方便；二、特別提升了對(duì)罕見詞的表示效果，因?yàn)槌Ｒ姷纳窠?jīng)網(wǎng)絡(luò)語(yǔ)言模型無(wú)法很好地調(diào)優(yōu)梯度。解決上述問(wèn)題的思路在于將罕見詞表示為常見詞的稀疏線性組合，這一思路來(lái)源于日常生活中我們往往用幾個(gè)常見詞來(lái)解釋一個(gè)不熟悉的詞。因此將我們的目標(biāo)轉(zhuǎn)化為求解罕見詞的最優(yōu)稀疏編碼（每個(gè)詞4-8個(gè)）。因此最終用來(lái)壓縮模型的方法定義為，對(duì)于常見詞采用傳統(tǒng)的稠密詞向量的求解方式，對(duì)于罕見詞采用常見詞的稀疏組合來(lái)作為其向量，使用LSTM與RNN作為模型的隱藏層，而其它權(quán)重值的求解方式與傳統(tǒng)的類似，從而達(dá)到了網(wǎng)絡(luò)的參數(shù)數(shù)目基本與詞典大小無(wú)關(guān)（或者說(shuō)關(guān)系很?。?。最終的實(shí)驗(yàn)結(jié)果從性能（Perplexity）與內(nèi)存開銷減少兩方面來(lái)說(shuō)明價(jià)值，如圖11、12所示。

圖11、壓縮模型與基線在Perplexity上的性能比較

圖12、模型在內(nèi)存消耗上的減少（%）

?

另一篇很有意思的文章是來(lái)自于墨爾本大學(xué)和劍橋大學(xué)合作的《Take and Took, Gaggle and Goose, Book and Read: Evaluating theUtility of Vector Differences for Lexical Relation Learning》。從標(biāo)題可以看出這是一篇探索詞匯間關(guān)系的論文，這是一項(xiàng)非?；A(chǔ)并且非常重要的工作，我們?nèi)粘６紩?huì)用到word2vec這種非常實(shí)用的工具，但對(duì)詞之間的關(guān)系并未做過(guò)多的探索，比如經(jīng)典的king ? man + woman = queen或者paris ? france + poland = warsaw，作者認(rèn)為兩個(gè)詞向量之間的差值代表了某種含義（更確切的說(shuō)法是代表了兩個(gè)詞匯的某種關(guān)系），比如前者可能是性別關(guān)系，而后者可能是代表了首都的關(guān)系。為了證明此種關(guān)系是否可靠并且不依賴于特定的語(yǔ)料，作者選擇了十多種典型的關(guān)系，比如整體與部分（airplane and cockpit）、行動(dòng)與目標(biāo)（hunt and deer）、名詞與群體名詞（antand army）以及單復(fù)數(shù)（ dog and dogs）、過(guò)去時(shí)態(tài)（knowand knew）和第三人稱形態(tài)（accept and accepts）等等大量數(shù)據(jù)，并且通過(guò)聚類得到結(jié)果，如圖13；作者發(fā)現(xiàn)這種“通過(guò)詞向量的差值來(lái)刻畫詞匯間關(guān)系”的方式是可靠并且具備普遍通用性的。除此之外，作者還探索了使用有監(jiān)督數(shù)據(jù)集做分類的方法和應(yīng)用。

圖13、典型關(guān)系的聚類結(jié)果，部分離群點(diǎn)可能是由于多義詞的影響

?

這方面的研究對(duì)于機(jī)器翻譯和人機(jī)交互具有很強(qiáng)的應(yīng)用價(jià)值，對(duì)這一領(lǐng)域的探索毫無(wú)疑問(wèn)Google走在了前面，包括之前開源的word2vec，以及他們的機(jī)器翻譯團(tuán)隊(duì)發(fā)現(xiàn)在英語(yǔ)中的這種詞匯關(guān)系同樣適用于西班牙語(yǔ)和德語(yǔ)等等。

?

除此之外，還有一個(gè)專場(chǎng)專門介紹Sentence Vectors，主要介紹了其在Attention Mode、Negation Scope Detection以及Summarization方面的應(yīng)用。

?

四、總結(jié)

1、今年的ACL上，深度學(xué)習(xí)不出意外地依然成為會(huì)議的主角，并在自然語(yǔ)言處理的幾乎所有領(lǐng)域的重要問(wèn)題上得到大規(guī)模應(yīng)用，包括：語(yǔ)義表示、機(jī)器翻譯、信息提取、情感分析、自動(dòng)問(wèn)答、對(duì)話等。繼深度神經(jīng)網(wǎng)絡(luò)在圖像、語(yǔ)音等研究領(lǐng)域取得突破性進(jìn)展后，機(jī)器翻譯領(lǐng)域的研究者們從2013年后也開始嘗試在翻譯模型中引入多層神經(jīng)網(wǎng)絡(luò)模型。從最初的把神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型作為傳統(tǒng)SMT解碼器的特征之一，到后來(lái)完全取代SMT解碼器的Encoder-Decoder框架，應(yīng)該說(shuō)NMT在短短兩年多時(shí)間里快速推進(jìn)，無(wú)論是研究上還是應(yīng)用上都已經(jīng)隱然要取代傳統(tǒng)SMT框架。

2、雖然端到端的神經(jīng)機(jī)器翻譯系統(tǒng)取得了很大進(jìn)步，在一些公共測(cè)試集上已經(jīng)追趕或超越傳統(tǒng)的統(tǒng)計(jì)機(jī)器翻譯系統(tǒng)，但它之前也存在一些難以解決的問(wèn)題，比如：由于詞表大小限制導(dǎo)致的OOV翻譯問(wèn)題、已翻譯的詞過(guò)翻或欠翻問(wèn)題等，這些問(wèn)題在今年的ACL論文中已經(jīng)出現(xiàn)了部分解決方案，雖然還不能說(shuō)非常完美，但至少已經(jīng)看到了改進(jìn)的希望。這些也是我們后續(xù)值得重點(diǎn)關(guān)注的工作。

3、整體的“自動(dòng)化”及挖掘和利用知識(shí)還是主要的旋律，技術(shù)上Deep Learning持續(xù)火熱。對(duì)比工業(yè)界目前如火如荼的大量chatbot產(chǎn)品，在平臺(tái)化技術(shù)上要解決的其實(shí)也是這兩個(gè)問(wèn)題，使得chatbot更加智能。當(dāng)然對(duì)比工業(yè)界目前開始逐步開始在大規(guī)模場(chǎng)景結(jié)合深度學(xué)習(xí)的技術(shù)，這個(gè)需要一個(gè)發(fā)展和落地的過(guò)程。本次會(huì)議中一些知識(shí)利用及對(duì)話構(gòu)建機(jī)制上的思路在工業(yè)界是可以借鑒的，還有一個(gè)較為需要關(guān)注的亮點(diǎn)或者說(shuō)工業(yè)界可以參考和需要關(guān)注的是，ReinforcementLearning的應(yīng)用和發(fā)展是一個(gè)新的發(fā)聲點(diǎn)和亮點(diǎn)。

4、句法分析的研究仍然不少，但是可能確實(shí)是到了一個(gè)瓶頸。目前一個(gè)思路是去研究引入深度學(xué)習(xí)，建立新的模型之后，一些“老”技術(shù)如何遷移過(guò)來(lái)。譬如說(shuō)reranking技術(shù)，原來(lái)在n-best list和forest基礎(chǔ)上取得的效果非常好，現(xiàn)在在neural network-based的系統(tǒng)上如何引入reranking，是一個(gè)值得研究的問(wèn)題。今年南京大學(xué)的Hao Zhou等人就做了這樣的一篇有趣的工作。另外一個(gè)就是數(shù)據(jù)，現(xiàn)在universal dependencies和SPMRL還不夠，新數(shù)據(jù)的構(gòu)建和研究還有較多的工作要做。

5、學(xué)術(shù)界是比較少研究應(yīng)用的，不過(guò)也會(huì)看到一些比較有趣的可以直接應(yīng)用起來(lái)的技術(shù)。譬如今年Anders Bjokelund等人做了一個(gè)句子切分和句法分析的聯(lián)合模型。這個(gè)工作與之前MSRADongdong Zhang等人做的一個(gè)標(biāo)點(diǎn)預(yù)測(cè)與句法分析聯(lián)合模型相類似。假設(shè)需要對(duì)語(yǔ)音識(shí)別的結(jié)果進(jìn)行分析理解，那么這樣的一個(gè)模型應(yīng)該會(huì)有比較大的作用。類似的思路，由于句法分析處于很多應(yīng)用的核心位置，我們其實(shí)可以考慮把應(yīng)用中的其它任務(wù)與它進(jìn)行聯(lián)合建模。

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識(shí)

QQ群：81035754