Bengio等人提出圖注意網(wǎng)絡(luò)架構(gòu)GAT，可處理復(fù)雜結(jié)構(gòu)圖

gaomysion 發(fā)布于2019-04-25 18:20 / 895人閱讀

摘要：近日，團(tuán)隊提出了基于近鄰節(jié)點注意機(jī)制的網(wǎng)絡(luò)架構(gòu)，可用于處理復(fù)雜不規(guī)則結(jié)構(gòu)的計算圖，并在三種困難的基準(zhǔn)測試中得到了業(yè)內(nèi)較佳水平，研究人員稱該模型有望在未來處理任意不規(guī)則結(jié)構(gòu)圖。

近日，Bengio 團(tuán)隊提出了基于近鄰節(jié)點注意機(jī)制的網(wǎng)絡(luò)架構(gòu) GAT，可用于處理復(fù)雜、不規(guī)則結(jié)構(gòu)的計算圖，并在三種困難的基準(zhǔn)測試中得到了業(yè)內(nèi)較佳水平，研究人員稱該模型有望在未來處理任意不規(guī)則結(jié)構(gòu)圖。該論文現(xiàn)已提交至 ICLR 2018 大會。

卷積神經(jīng)網(wǎng)絡(luò)已成功應(yīng)用于解決圖像分類、語義分割、機(jī)器翻譯等問題，其中背后的數(shù)據(jù)表證有著網(wǎng)格狀的結(jié)構(gòu)。這些結(jié)構(gòu)通過把學(xué)習(xí)到的參數(shù)應(yīng)用到所有的輸入位置，能高效的重復(fù)使用局部過濾器。

然而，許多有趣任務(wù)的數(shù)據(jù)并不能表示為網(wǎng)格狀的結(jié)構(gòu)，而是分布在不規(guī)則的區(qū)域。這就像是 3D 網(wǎng)格、社交網(wǎng)絡(luò)、通信網(wǎng)絡(luò)、生物網(wǎng)絡(luò)或者大腦連接組一樣。這樣的數(shù)據(jù)通常用圖（graph）的形式表示。

目前的文獻(xiàn)中，已經(jīng)有很多嘗試來拓展神經(jīng)網(wǎng)絡(luò)以解決圖隨意的架構(gòu)。早期的研究使用遞歸神經(jīng)網(wǎng)絡(luò)在圖域中把數(shù)據(jù)直接表達(dá)為有向非循環(huán)圖。圖神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)（GNN）首次出現(xiàn)于 Gori 等人（2005）與 Scarselli 等人（2009）的論文，把它作為遞歸神經(jīng)網(wǎng)絡(luò)的泛化形式，能夠直接處理更普遍的圖類，比如循環(huán)圖、有向和無向的圖。GNN 包括一個迭代過程，來傳播節(jié)點狀態(tài)直到平衡；然后是一個神經(jīng)網(wǎng)絡(luò)，基于其狀態(tài)為每個節(jié)點生成一個輸出；之后，這種思路被 Li 等人（2016）采用并改進(jìn)，提出在傳播步驟中使用門控循環(huán)單元（Cho et al.,2014)。

因此，把卷積泛化到圖域中一直是個引發(fā)研究者興趣的課題。在這個方面的進(jìn)步通常可被歸類為光譜方法與非光譜方法。

在這篇論文中，作者們提出了一種基于注意機(jī)制的架構(gòu)，能夠完成圖結(jié)構(gòu)數(shù)據(jù)的節(jié)點分類。該方法的思路是通過注意其鄰位節(jié)點，計算圖中每個節(jié)點的隱藏表征，還帶有自注意策略。這種注意架構(gòu)有多重性質(zhì)：

（1）運算高效，因為臨近節(jié)點對可并行；

（2）可以通過對近鄰節(jié)點指定任意的權(quán)重應(yīng)用于不同 degree 的圖節(jié)點；

（3）該模型可以直接應(yīng)用于歸納學(xué)習(xí)問題中，其中包括了需要將模型泛化到此前未見的圖的任務(wù)。

作者們提出的通過節(jié)點連接共享神經(jīng)網(wǎng)絡(luò)計算的方法和關(guān)系網(wǎng)絡(luò)（Santoro et al., 2017）的形式類似，其中對象之間的關(guān)系（用卷積神經(jīng)網(wǎng)絡(luò)提取圖像中的區(qū)域特征）通過應(yīng)用一種共享機(jī)制將所有的對象兩兩配對然后聚合而成。他們在三種有挑戰(zhàn)性的基準(zhǔn)測試上驗證了提出的方法：Cora 和 Citeseer 引用神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)集和一個蛋白質(zhì)與蛋白質(zhì)相互作用的數(shù)據(jù)集，新方法在這些測試中均獲得了當(dāng)前較佳的結(jié)果，展現(xiàn)了基于注意的模型處理任意結(jié)構(gòu)圖的潛力。

論文：Graph Attention Networks

論文鏈接：https://arxiv.org/abs/1710.10903

我們提出了圖注意網(wǎng)絡(luò)（graph attention networks，GATs），這是一種新型的神經(jīng)網(wǎng)絡(luò)架構(gòu)，用于處理圖結(jié)構(gòu)化的數(shù)據(jù)（graph-structured data），利用隱藏的自注意層克服了過去的基于圖卷積或其近似的方法的缺點。這些層的節(jié)點可以注意近鄰節(jié)點的特征，通過將這些層堆疊起來，我們可以為不同節(jié)點的近鄰指定不同的權(quán)重，而不需要耗費任何繁重的矩陣計算（比如矩陣求逆），也不需要預(yù)先知道圖的結(jié)構(gòu)。通過這種方法，我們同時解決了多個基于頻譜的圖神經(jīng)網(wǎng)絡(luò)的關(guān)鍵挑戰(zhàn)，并準(zhǔn)備將模型應(yīng)用于歸納問題以及直推問題。我們的 GAT 模型在三種公認(rèn)的直推和歸納圖基準(zhǔn)測試中取得了當(dāng)前較佳的結(jié)果：Cora 和 Citeseer 引用神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)集和一個蛋白質(zhì)與蛋白質(zhì)相互作用的數(shù)據(jù)集（其中的測試圖在訓(xùn)練過程中完全不可見）。

GAT 的架構(gòu)

圖 1. 左方：GAT 模型中應(yīng)用的注意機(jī)制 a(W~hi ,W~hj )，通過一個權(quán)重向量參數(shù)化~a ∈ R^2F"。右方：節(jié)點 1 對其近鄰節(jié)點的多頭注意（其中 K=3 heads）。不同的箭頭格式和顏色表示獨立的注意計算。來自每個頭的聚合特征連接或平均后得到 ~h1"。