一種用于方面級情感分析的知識增強雙圖卷積網絡

萬宇杰,陳羽中

(福州大學 計算機與大數據學院,福州 350116) (福建省網絡計算與智能信息處理重點實驗室,福州 350116)

0 引 言

由于互聯網的迅速發展,越來越多的網絡用戶評論涌現于各大網絡平臺,了解用戶群體的情感傾向的需求也越來越大.情感分析任務也越來越受到研究人員的重視.方面級情感分析是情感分析的子任務,旨在判斷評論目標的具體方面所對應的情感極性.由于在同一條評論文本中可能存在多個方面,而不同方面可能具有不同的情感極性.因此,相較于文檔級情感分析和句子級情感分析,方面級情感分析具有更廣泛的應用價值.

目前,深度學習模型已成為研究方面級情感分析任務的主流.模型所采用的深度神經網絡包括卷積神經網絡(Convolutional Neural Network,CNN)、循環神經網絡(Recurrent Neural Network,RNN)和圖神經網絡(Graph Neural Network,GNN).卷積神經網絡可以較好地捕獲評論文本中語義信息[1].循環神經網絡可以更好地學習評論文本中的上下文信息[2].此外,方面的情感極性往往是由幾個關鍵詞語決定的,而不依賴于完整上下文[3].Vaswani等[4]提出的注意力機制可以計算評論文本中每個詞語對特定方面的重要性,因此,一些研究工作引入注意力機制識別與特定方面相關的關鍵詞語[2,5-10].但是,上述模型均忽略了評論文本中的句法依賴信息,而方面與其上下文詞語間的句法依賴信息對于判斷方面的情感極性十分重要[11].針對該問題,一些研究工作將圖神經網絡(Graph Neural Network,GNN)應用于方面級情感分析[11-15],根據句法依賴樹構建圖,以詞語作為圖節點,通過節點間的邊學習鄰接節點信息,融合評論文本的句法結構信息與上下文信息.方面級情感分析任務存在的另一問題是當前用于方面級情感分析任務的數據集樣本較少,模型難以充分學習詞語在不同語境下的語義信息.因此,一些研究工作引入知識圖譜,利用知識圖譜所包含的外部知識,指導模型學習評論文本的上下文語義信息[16-19].

圖神經網絡模型在方面級情感分析任務上取得了顯著的進展,但是仍然存在一些亟待解決的問題.首先,現有圖神經網絡模型往往忽略不同句法依賴關系的差異,而不同句法依賴關系體現了上下文詞語與給定方面之間關聯程度的差異.其次,現有模型未充分利用知識圖譜的圖結構信息以融合來自知識圖譜的知識表示與評論文本的語義表示,導致方面相關的情感信息的損失.針對上述問題,本文提出了一種知識增強的雙圖卷積網絡(Knowledge-enhanced Bi-Graph Convolutional Network,BGCN-KE),主要貢獻如下:

1)BGCN-KE提出了一種用于融合句法依賴關系與外部知識的子圖構造算法.該算法將句法依賴樹的詞節點作為種子節點,在知識圖譜中選取與種子節點語義關系更緊密的實體進行節點拓展,結合生成句法依賴知識子圖(Syntactic Dependency Knowledge Graph,SDKG),確保外部知識可以正確引導模型學習,避免無關知識造成的噪聲干擾.同時,為了進一步利用知識圖譜的圖結構,BGCN-KE利用句法依賴知識子圖,引導圖卷積網絡增強對鄰接節點所蘊含的外部知識的學習,從而進一步增強評論文本的特定方面知識表示.

2)BGCN-KE提出一種針對外部知識、語義信息與邊關系特征融合的多級特征融合機制.該機制利用多頭注意力機制與門控機制進一步融合并篩選外部知識、語義信息與邊關系特征中與特定方面相關的情感特征,在豐富特定方面的語義表示的同時,過濾由評論文本的不規范性、句法解析錯誤等導致的噪音,進一步增強用于方面級情感表示.

3)本文在3個公共數據集上進行了廣泛的實驗以驗證BGCN-KE的性能.實驗結果表明,與最先進的方面級情感分析模型相比,BGCN-KE在所有數據集上均取得了領先的性能.此外,本文進一步通過消融實驗分析了BGCN-KE模型的各模塊對其整體性能的貢獻,并通過參數實驗分析了子圖構造算法中選取的層數與子節點個數對模型性能的影響.

1 相關工作

相比傳統機器學習方法,深度學習方法具有高效、無需人工進行特征工程等優勢,在方面級情感分析任務中占據了主流地位.早期的研究工作主要采用卷積神經網絡捕獲評論文本中與給定方面相關的語義信息,或采用循環神經網絡捕獲評論文本中的上下文信息.考慮到評論文本中不同上下文詞語對確定特定方面的情感極性具有不同重要性,Shuang等[2]通過兩個LSTM和注意力機制捕獲方面及其上下文之間的語義相關性,同時利用與方面有關的上下文位置信息來進一步提升模型的預測能力.Song等[7]利用多通道卷積提取局部語義特征,以此彌補自注意力機制易丟失局部信息的問題.Wu等[8]提出了RA-CNN和RAO-CNN兩種模型.RA-CNN利用CNN 對方面進行建模提取文本語義信息,并設計了剩余注意力機制與文本進行交互來彌補信息的丟失.RAO-CNN則以同樣方式對文本中的其他方面進行建模,減少其他方面對判定特定方面情感極性的影響.

文獻[11]指出方面與其上下文間的句法依賴信息對于判斷方面的情感極性十分重要.上述基于CNN或RNN的模型均未考慮評論文本包含的句法依賴信息,限制了方面級情感分析能力的進一步提升.由于圖神經網絡能夠有效捕獲評論文本中的句法依賴關系信息,在方面級情感分析任務中展現出顯著的優勢[11-15].Zhang等[11]在評論文本的句法依賴樹上建立一個圖卷積網絡(Graph Convolutional Network,GCN)來獲取句法依賴信息,并利用方面詞來屏蔽圖卷積網絡的部分輸出,從而增強特定方面的表示.Wang等[13]提出一種重構句法依賴樹的方案,將樹中的各種句法關系映射為向量表示后通過關系圖注意力網絡進行編碼,從而更精確地捕獲方面與觀點詞的關系.Zhao等[14]設計了一種具有位置信息的雙向注意力機制來精確提取每個方面及其上下文的語義表示,同時利用圖卷積網絡捕獲文本中多個方面之間的依賴關系,進一步強化特定方面的表示.Xu等[15]提出一種結合語義信息和句法信息的圖卷積網絡模型,將注意力編碼層提取的語義信息和圖卷積網絡捕獲的句法信息通過多頭注意力機制進行交互,豐富特定方面的情感表示,同時減少句法解析錯誤帶來的噪聲影響.

知識圖譜是一種以圖結構為代表的知識載體,目前已成為人工智能領域的研究熱點之一[19].由于知識圖譜包含豐富的實體、概念、關系、屬性等信息,越來越多的研究工作將知識圖譜引入方面級情感分析任務[16-19].Zhao等人[16]以(方面詞,情感詞,情感極性)知識三元組為基礎構建情感知識圖譜,然后根據評論文本篩選相關的候選知識三元組中作為外部知識,與文本的語義表示共同輸入預訓練語言模型BERT進行學習.Chen等[17]針對中文語料較少的問題,將知識圖譜作為外部知識庫,根據給定方面和意見詞從知識圖譜中篩選出(方面,意見詞)對并確定其情感極性,作為輔助知識幫助模型進行情感預測.Zhou等[18]結合所構造的知識圖譜與評論文本的句法依賴關系,采用圖卷積網絡學習情感知識.Yan等[19]以(情感詞,評價對象,情感極性)的形式構建汽車領域的情感分析知識圖譜,將其輸入預訓練語言模型BERT進行學習,為模型補充特定領域的知識.

2 模 型

2.1 任務定義

2.2 模型架構

本文提出的BGCN-KE模型的整體架構如圖1所示,主要包括6層:文本表示層、子圖構造層、關系注意力機制層、雙圖卷積層、多級特征融合層和情感預測層.文本表示層獲得與句法依賴樹對應的上下文增強方面,然后通過預訓練語言模型獲得評論文本和上下文增強方面的語義表示.子圖構造層根據句法依賴樹和知識圖譜生成句法依賴知識子圖,并通過知識圖譜嵌入獲得圖中節點的知識表示.邊關系注意力層引入邊關系注意力機制獲得方面和不同上下文詞之間的句法關系,進一步提取與方面語義有關的情感信息.雙圖卷積層利用句法依賴關系,通過兩個圖卷積網絡獲得更加準確的外部知識信息和語義信息.多級特征融合層利用多頭注意力機制和門控機制,融合外部知識、語義信息與邊關系特征,豐富評論文本的語義表示并提升模型的魯棒性.最后,情感預測層通過Softmax函數預測情感極性的概率分布.

圖1 BGCN-KE整體架構Fig.1 Overall architecture of BGCN-KE

2.3 文本表示層

句法依賴關系是指句子中各個詞語之間在句法上的搭配關系,可用于發現方面詞與上下文中情感詞之間的關聯關系,以獲得更準確的情感信息.BGCN-KE對評論文本s進行句法解析,得到句法依賴樹DT及其鄰接矩陣A:

(1)

(2)

考慮到預訓練語言模型具有強大的不同語境下的語義表示能力,BGCN-KE采用預訓練模型BERT獲得評論文本和上下文增強方面的語義表示.首先,根據評論文本和上下文增強方面分別構造預訓練語言模型BERT的輸入序列Xs和Xae:

Xs=″[CLS]″+評論文本s+″[SEP]″+方面a+″[SEP]″

(3)

Xae=″[CLS]″+上下文增強方面ae+″[SEP]″

(4)

其中,[CLS]為表示句子開頭的特殊標記,[SEP]為分割標記.將Xs和Xae輸入BERT分別獲得評論文本和上下文增強方面中每個詞的融合上下文語義信息的向量表示,再通過全連接層降維后,分別獲得評論文本的語義表示Hs與上下文增強方面的語義表示Hae:

(5)

(6)

2.4 子圖構造層

2.4.1 子圖構造算法

BGCN-KE引入知識圖譜,為模型學習特定方面的語義表示提供外部知識引導.現有模型未利用詞語間的句法依賴信息為評論文本中的上下文詞語選擇知識拓展詞語,影響了所選擇的知識拓展詞與評論中其他上下文詞語之間的語義關聯性,所生成的知識圖譜子圖存在語義信息損失,且可能引入不相關的外部知識.針對上述問題,BGCN-KE提出了融合句法依賴關系與外部知識的子圖構造算法.該算法以句法依賴樹為基礎,利用知識圖譜進行知識拓展,避免引入不相關的知識信息.在后續的圖卷積操作中,評論文本的節點之間也可以利用句法依賴關系更好地學習鄰接節點的知識信息.該算法具體步驟如算法1所示.首先,將句法依賴樹DT中的每個單詞節點作為種子節點(步驟1～4);之后,選取u個與種子節點在知識圖譜KG中有邊連接的節點作為拓展節點并作為下層的種子節點(步驟11～14);再后,從知識圖譜KG中拓展k層來按此方式生成種子節點(步驟5～10),即句法依賴樹DT中的每個單詞節點總計有q個拓展子節點;最后,得到節點總數為z(考慮到選取節點時可能存在節點已被拓展的情況,所以z≤n+n*q)的句法依賴知識子圖SDKG.

算法1.子圖構造算法

輸入:句法依賴樹DT,知識圖譜KG

輸出:句法依賴知識子圖SDKG

1.SDKG←DT

2. for node inDTdo

3.i←0,nodelist1為空隊列

4.nodelist1.inqueue(node)

5. whilei

6.nodelist2為空隊列

7. whilenodelist1 not empty do

8.tmpnode←nodelist1.outqueue

9. iftmpnodeinKGthen

10.j←1

11. whilej≤udo

12. 從KG中選擇第j個與tmpnode有邊且不在SDKG的節點knode,加入SDKG

13.nodelist2.inqueue(knode),j←j+1

14. end while

15. end if

16. end while

17.nodelist1←nodelist2,i←i+1

18. end while

19.end for

20.returnSDKG

上述子圖構造算法中,每個種子節點及其q個拓展節點構成一棵k層的滿u叉樹,則q個拓展節點是該樹中除根節點以外的所有子節點,其計算公式如下:

(7)

SDKG的z階鄰接矩陣為A′表示如下:

(8)

2.4.2 知識編碼

為了獲得知識圖譜中節點的知識信息,BGCN-KE采用知識嵌入將句法依賴知識子圖中的每個節點映射為連續低維向量.設Lkg∈d×|V|是知識嵌入矩陣,對于句法依賴知識子圖中的節點集合通過知識嵌入矩陣Lkg獲得其對應的輸入節點的知識表征向量其中是對應的知識嵌入,|V|是知識詞嵌入V中的詞語數.

2.5 關系注意力層

邊關系對確定情感詞與方面詞的語義關聯十分重要[13].因此,BGCN-KE采用作者于文獻[20]提出的邊關系注意力機制獲取與特定方面相關的邊關系特征,從而更準確地評估特定方面和不同上下文詞間的語義關系.為了便于區分不同的邊關系,將句法依賴樹中的所有出現的邊關系進行編號,例如邊關系“nsubj”設為1,邊關系“conj”設為2,以此類推.基于上述規則,根據評論文本s中除方面詞外的其他詞與方面a在句法依賴樹中的邊關系,構建長度為n的邊關系序列見式(9):

rs={rs1,…,rsi,…rsn}

(9)

其中,rsi表示在評論文本s中的第i個詞與方面詞a所對應的邊關系的編號,與方面a沒有直接(單跳)邊關系的詞語對應的編號均設置為0.對于包含多個詞的方面,參照本文作者于文獻[20]中提出的方法分別得到多個詞的邊關系序列并組成一個多維矩陣,然后再將其按行相加壓縮為一維,得到該方面的邊關系序列.

(10)

(11)

(12)

2.6 雙圖卷積層

通過兩個圖卷積網絡分別在句法依賴知識子圖和評論文本的句法依賴樹上進行卷積操作傳播鄰接節點的信息,從而獲取更準確豐富的評論文本的知識信息和語義信息.

2.6.1 知識信息圖卷積模塊

知識信息圖卷積模塊通過在句法依賴知識子圖上進行圖卷積操作,充分利用知識圖譜的圖結構,使節點間可以通過句法依賴關系學習到鄰接節點的知識信息,從而進一步增強評論文本的特定方面知識表示.

(13)

(14)

2.6.2 語義信息圖卷積模塊

(15)

將pi與文本表示層得到的評論文本的語義表示Hs相乘,得到位置增強的評論文本語義表示Hps,如下式所示:

(16)

通過知識信息圖卷積模塊可以獲得與評論文本語義相關的準確豐富的外部知識信息,但是由于準確豐富的語義信息對模型預測所給方面情感極性至關重要,而利用預訓練模型獲得的語義表示因為缺乏句法結構信息而不夠準確.因此,BGCN-KE通過語義信息圖卷積模塊,在句法依賴樹上進行圖卷積操作,使評論文本的節點之間可以通過句法依賴關系學習到鄰接節點的語義信息,并通過掩碼操作和交互注意力機制進一步增強評論文本的方面特化語義表示.

(17)

(18)

(19)

獲得初始表征向量后,BGCN-KE用多層圖卷積網絡進行圖卷積操作,引導模型利用句法依賴信息得到更準確的語義信息.每個節點根據鄰接矩陣A聚合其鄰接節點的語義信息并與自身信息進行融合來更新其語義表示,使得評論文本的語義表示更加豐富和準確.對于節點i,第l層的更新過程如下:

(20)

(21)

(22)

多層圖卷積操作在聚合來自其他節點的語義信息時,可能導致節點自身語義信息的丟失.為了減少信息損失,BGCN-KE利用交互注意力機制提高評論文本表示的語義準確性.BGCN-KE以文本表示層得到的評論文本的語義表示Hs為引導,將其與圖卷積掩膜語義表示Gmask進行交互注意力,通過注意力權重分配選擇關鍵上下文詞的語義信息,得到評論文本的方面特化語義表示Hsd.計算過程如下:

(23)

(24)

(25)

2.7 多級特征融合層

由于外部知識、語義信息以及邊關系特征各有特點,簡單的連接操作會使得模型對3種特征之間的判斷造成混淆從而產生噪聲,也無法充分利用3種特征.因此,多級特征融合層設計一種多級特征融合機制,針對不同特征進行融合,最大程度地豐富評論文本的語義表示.

dm=2d/N

(26)

(27)

(28)

由于評論文本很多都是用戶在線評論的,這些評論具有不規范性和詼諧性等特點,少數評論文本的噪聲會不可避免地對模型的性能造成影響.為了減少不規范句子對模型帶來的噪聲,保證模型的穩定性,BGCN-KE將融合知識、語義信息和邊關系特征的評論文本表示Hmt通過一個門控函數過濾噪聲,然后輸入多層感知機進一步提取語義特征,得到最終的評論文本表示Hfin.具體的計算過程如下:

Hfin=MLP(W11relu(W10Hmt+b10)+b11)

(29)

其中,門控函數采用relu,MLP表示多層感知機,Hfin表示最終輸入情感預測層的評論文本表示.

2.8 情感預測層和模型訓練

經過多級特征融合層后,將該層得到的最終評論文本表示向量Hfin輸入到一個全連接層,并使用softmax歸一化,用于計算所給方面的情感屬于各類別的概率,計算過程如下:

pc=softmax(W12Hfin+b12)

(30)

其中,W12為全連接層權重矩陣,b12為全連接層的偏置項,pc是預測指定方面對應的情感為類別c的概率,0≤pc≤1.

BGCN-KE采用交叉熵和L2正則化作為損失函數計算損失值,利用反向傳播迭代更新模型參數,以最小化損失函數來訓練模型.其中,損失函數的計算公式如下:

(31)

3 實 驗

3.1 數據集與評價指標

為了驗證BGCN-KE的有效性,本文選擇在Rest14、Laptop14和Twitter 3個公共數據集進行實驗對比與分析.Rest14數據集和Laptop14數據集來自SemEval 2014 Task[21],分別包括餐廳領域和筆記本電腦領域的用戶評論文本.Twitter數據集是Dong等人[22]匯編的推文集.數據集中每1條評論都包含一個或多個方面,每個方面都有相應的積極、消極或中性的情緒極性.表1列出了Rest14、Laptop14和Twitter 3個數據集的統計數據.本文采用Accuracy和Macro-F1作為模型性能的評估標準.

表1 3個數據集統計信息Table 1 Statistics of three benchmark datasets

為了驗證BGCN-KE的有效性,本文選取作為對比的最新模型如下:

1)RACNN-BERT[8]:RACNN-BERT利用CNN對方面進行建模,并通過提出的殘差注意力機制與評論文本的表示進行交互,來增強文本的語義表示.

2)AEN-BERT[6]:AEN-BERT提出一種非遞歸的注意力編碼器網絡,并利用基于注意力的編碼器在上下文和方面之間進行建模,以解決RNN難并行且長期記憶困難的問題.

3)SPRN[7]:SPRN利用提出的雙門控多通道卷積結構來獲取評論文本的方面相關語義特征,并通過雙細化門來加強方面和上下文之間的交互.

4)MGMD[27]:MGMD提出一種統一的模型框架整合來自方面級語料庫、句子級語料庫和詞級情感詞匯的信息,通過多數據融合的方法進一步提升模型預測性能.

5)AEGCN-BERT[15]:AEGCN-BERT提出一種注意力圖卷積網絡來捕獲句法結構信息,并利用多頭交互注意力機制對句法信息和語義信息進行交互,進一步豐富特征表示.

6)SK-GCN[18]:SK-GCN利用兩種策略來分別建模句法依賴樹和常識知識圖,并通過GCN使模型同時學習句法信息和常識知識,以進一步增強評論文本的語義表示.

7)CF-CAN[28]:CF-CAN提出一種多頭共注意力機制來進一步學習目標和上下文之間的關系,并利用組件聚焦策略增加形容詞與副詞的權重以解決包含多詞的方面平均池化操作帶來的問題.

3.2 實驗設置

GPU使用NVIDIA Tesla P100,模型代碼通過Pytorch框架實現.實驗使用SpaCy的句法依賴解析工具生成評論文本的句法解析樹,并采用了情感知識圖譜SenticNet 5[23]作為模型知識圖譜的來源.SenticNet 5提供了一組語義、情感以及其極性關聯的100000個自然語言概念.為了方便選取節點生成子圖,對SenticNet 5進行預處理,使每個節點只保留與有邊相連接的節點作為子節點.對于子圖構造算法中的層數k與子節點數u,通過參數實驗選擇k=1,u=2.知識圖譜嵌入使用了SenticNet 5提供的AffectiveSpace[24].實驗使用Bert-base-uncased的768維詞向量作為預訓練模型的詞向量.在Rest14、Laptop14數據集中,BGCN-KE的所有的權重矩陣都采用Xavier[25]進行初始化,在Twitter數據集中則是用正交初始化.模型訓練使用Adam優化算法[24]訓練,學習率設為1×10-6,BERT的學習率設為2×10-5,GCN的層數設為2層,邊關系向量的維度設為300,多頭注意力的頭數設為6個.

3.3 總體性能分析

BGCN-KE模型與其他模型在3個數據集上的實驗結果如表2所示.BGCN-KE模型在Rest14數據集上獲得了最佳的Macro-F1和 Accuracy,分別為86.25%和79.67%.在Laptop14數據集上BGCN-KE模型獲得了最佳的Accuracy和Macro-F1,分別為80.72%和77.07%.在Twitter數據集上,BGCN-KE模型的在Macro-F1上低于AEGCN-BERT,但在Accuracy上超過了AEGCN-BERT,其值為76.16%.根據表中結果可以看出,盡管AEGCN-BERT在Twitter數據集上取得了最優的Macro-F1,但是在Accuracy值比BGCN-KE低0.17%,在Rest14數據集上Accuracy和Macro-F1比BGCN-KE分別低1.79%和3.34%,在Laptop14數據集上分別低0.35%和0.39%.可以認為BGCN-KE模型具有最優的綜合性能,且具有更好的領域適應性.

表2 BGCN-KE與基準模型在Accuracy(%)和Macro-F1(%)方面的比較Table 2 Comparison of BGCN-KE and baseline models in terms of Accuracy(%)and Macro-F1(%)

3.4 消融實驗

本節通過消融實驗分析BGCN-KE的不同模塊對整體性能的貢獻.消融模型包括BGCN-KE w/o KG、BGCN-KE w/o SDKG、BGCN-KE w/o RDK和BGCN-KE w/o MIF.BGCN-KE w/o KG表示從BGCN-KE模型中去除知識圖譜;BGCN-KE w/o SDKG表示不采用本文提出的子圖構造算法生成句法依賴知識子圖,而是在知識圖譜中隨機選取節點構造子圖作為外部知識來源;BGCN-KE w/o RDK表示不利用句法依賴信息,僅將評論文本的每個單詞作為種子節點進行知識拓展,種子節點之間不相連接;BGCN-KE w/o MIF表示從BGCN-KE模型中去除多級特征融合層,僅對語義表示向量進行級聯.

消融實驗的結果如表2所示,可以看出BGCN-KE w/o KG的性能與其他消融模型相比存在比較大的差距,說明提出的知識圖譜模塊可以引入正確的外部知識引導模型學習特定方面的語義信息.BGCN-KE w/o SDKG的性能僅優于BGCN-KE w/o KG,說明隨機選擇算法選擇的知識節點會引入不相關的知識,所產生的噪聲使得模型性能下降.BGCN-KE w/o RDK的性能在所有消融模型中排第二,說明通過句法依賴關系學習鄰接節點知識信息的策略可以讓評論文本的節點聚合鄰接節點上有用的情感知識信息,提升了模型性能.BGCN-KE w/o MIF在所有消融模型中性能最佳,但低于BGCN-KE,說明通過多級特征融合層能夠更好地融合外部知識、語義信息和邊關系特征并過濾噪聲,對提升模型提升具有重要作用.

3.5 參數實驗

子圖構造算法中選取的層數k與子節點個數u決定了BGCN-KE模型引入外部知識的程度,是影響模型性能的關鍵因素.本節選擇Laptop14數據集,通過參數實驗評估上述參數對模型性能的影響.實驗的結果如表3所示.從表3中可以看出,當k=1,u=2時,模型的準確率和Macro-F1均達到最好;當k=1,u=1,模型性能略有下降.主要原因在于:知識圖譜SenticNet5中的每個節點的第一個子節點是情感極性詞,其余子節點則是語義相似詞語;取k=1,u=1時,模型學習到的知識僅僅是該詞在特定語境下的情感極性,可能對模型造成一定誤導;當k=1,u=2時,模型則能夠進一步學習到其他語義相似詞的知識,削弱了特定語境下的情感極性詞的影響.當選取的子節點數超過2的時候,模型性能開始下降,盡管當k=2,u=2時模型性能有所回升,但隨著選取子節點數的增加,模型性能繼續下降,原因是融入了過多的不必要知識會引入噪聲,影響了模型對情感極性的判別.總的來說,BGCN-KE在選擇k=1,u=2時獲得了最佳性能.

表3 層數k與子節點個數u對BGCN-KE模型性能的影響Table 3 Effects of k and u on the performance of BGCN-KE

4 總 結

針對現有圖神經網絡模型未充分利用句法依賴樹的邊關系信息、外部知識信息以及知識圖譜圖結構信息等問題,本文提出一種知識增強的雙圖卷積網絡的方面級情感分析方法.該方法結合了圖卷積神經網絡、邊關系注意力機制和知識圖譜,可以獲得與評論文本有關的語義信息、邊關系特征和外部知識.首先,通過評論文本獲得句法依賴樹以及對應的上下文增強方面,然后利用預訓練語言模型獲得評論文本和上下文增強方面的語義表示.同時,結合句法依賴樹和知識圖譜根據提出的子圖構造算法生成句法依賴知識子圖,以此實現句法依賴信息和外部知識的融合.之后,利用圖卷積網絡引導評論文本的節點通過句法依賴關系增強學習鄰接節點的外部知識,進一步增強評論文本的知識表示.同時,利用圖卷積網絡和注意力機制捕獲評論文本的方面特化語義表示,提高評論文本語義表示的準確性.此外,通過引入邊關系注意力機制可獲得與所給方面有關的邊關系特征,從而更好地捕獲方面和不同上下文詞之間的關系.最后,使用一種針對性的多級特征融合機制和門控機制來充分結合外部知識、語義信息和邊關系特征并過濾噪聲,進一步增強用于情感分類的特定方面表示.