利用關系抽取技術聯合識別文本中的方面-極性對

卜令梅， 陳 黎， 盧永美， 于中華

(四川大學計算機學院， 成都 610065)

1 引 言

情感分析的目的是識別人們在文本中表達的態度.隨著互聯網的快速發展，從網絡上海量的評論信息中獲取用戶的情感傾向[1,2]，有很大的商業價值和研究價值.早期的情感分析研究主要聚焦于文檔級和句子級，通常假設一段文本只針對一個方面(aspect)，并對給定的文本整體判斷其情感極性.事實上，一段文本中經常包含多個不同方面，每個方面的情感傾向可能不相同，因此，情感分析的研究熱點逐漸由粗粒度轉向細粒度，其中方面級情感分析(Aspect-Based Sentiment Analysis，ABSA)是細粒度情感分析的一項重要研究任務.

早期的ABSA被視作方面抽取[3-6]和極性分類[7-11]兩個獨立的子任務，并采用流水線的方法將兩個子任務結合起來獲取方面-情感極性對，但是存在錯誤傳播問題.此外，在進行方面抽取時，無法利用極性信息，影響抽取效果.為了克服上述缺點，最新的解決方案是使用單詞級(token)序列標注和基于跨度(span，是句子的一個片段，由起始詞和結尾詞標記.)的聯合分類方法.文獻[12-14]分別針對方面抽取和極性分類使用不同的標注體系，利用序列標注模型進行ABSA任務，這種方法可以捕捉方面和情感之間的相互作用，然而此方法對那些由多個單詞構成的方面，要為每個單詞分別進行極性標注，所以面臨情感不一致問題.如圖1所示的實例中，針對包含兩個單詞的方面garlic knots，極性分類器可能會將garlic標注為積極(positive)，而knots標注為消極(negative)，從而導致整個garlic knots的情感極性有歧義.基于span的方法[15-17]通過預測整個方面的極性避免了情感不一致問題.然而在針對候選span使用的{ TPOS, TNEG, TNEU, O }標簽體系中，TPOS、TNEG和TNEU分別表示候選跨度是具有積極、消極和中性的方面，而O表示候選span不是一個有效的方面，這使得標簽體系存在異質問題，導致模型難以為兩個相關但不同的子任務捕捉相應的信息.此外，雖然上述方法捕捉了一個句子中各個方面之間的相互作用，但它們忽略了不同方面極性對之間的相互關聯，這種關聯對一個句子中所有方面的極性判斷至關重要.

圖1 方面級情感分析實例Fig.1 An example of ABSA

為了捕捉一個句子中所有方面極性對之間的相關性，本文受關系抽取技術[18-20]的啟發，將ABSA任務視為一元關系抽取，其中方面看成實體，其對應的極性作為關系，利用關系抽取技術生成方面-情感極性對，提出利用關系抽取技術聯合識別文本中方面-情感極性對(Employing Relation Extraction to Aspect-Polarity Pairs Generation，REAPP)的模型.本文在3個公開的基準數據集進行了一系列實驗.結果表明，本文的模型提高了方面級情感分析任務的性能，同時也驗證了利用方面極性對之間的關聯能夠提高ABSA任務的性能.

本文的貢獻主要有兩方面：(1) 將ABSA任務歸結為一元關系抽取問題，捕捉文本中不同方面極性對之間的相互作用，克服了現有方法中存在的情感不一致和標簽異質問題；(2) 在3個數據集上進行了實驗，驗證了本文模型的性能.

2 相關工作

早期的ABSA先進行方面抽取再為給定的方面進行情感極性分類，這種分離模型的做法應用受限，目前聯合兩個子任務已經成為研究熱點.2013年，Mitchell等[12]首先嘗試使用條件隨機場(Conditional Random Fields，CRF)為聯合標簽進行序列標注，同時與流水線方法進行了對比，但實驗表明聯合標簽并沒有比流水線方法效果更佳.2015年，Zhang等[13]在Mitchell等[12]的基礎上，進一步引入神經網絡模型，然而也沒能驗證端到端方法比流水線方法更具優越性.此后，Li等[14]意識到之前的做法面對由多個單詞構成的方面時，由于為每個單詞預測的情感極性可能不一致而導致該方面的情感歧義問題，于是在為當前單詞進行標注時利用了之前單詞的嵌入信息進行緩解，然而這種方法并不能完全避免情感不一致問題.所以在2019年，研究者開始將方面看成一個span，用基于span的方法避免上述情感不一致問題.Hu等[15]提出使用兩個基于span的分類器識別span的起始位置和結束位置，然后針對整個span進行極性分類.但該工作對span起始位置和結束位置的識別是獨立進行的，只能通過啟發式算法為二者進行配對.Lin等[17]為了避免丟失正確的方面，改進了Hu等[15]的啟發式算法，首先通過匹配預測結果中最接近的起始和結束位置獲取候選span，然后通過拓展策略確定正確span，雖然進行了更有效的開始和結束位置配對，但仍舊獨立進行起始位置和結束位置的識別工作，沒有從根本上解決二者的配對問題.Zhou等[16]枚舉候選span并調用多分類器從{TPOS, TNEG, TNEU, O}中確定候選span的類別，顯然該集合包含的異質分類標簽會影響分類性能.

3 任務與模型

為了解決現有的ABSA研究存在的問題，本文提出將ABSA任務視為一元關系抽取的過程，將方面視為實體，使用span的方式進行表示，其對應的極性視為關系，方面-情感極性對則表示為(方面起始位置，方面結束位置，情感極性)三元組.

3.1 任務定義

給定一個句子S={w1,w2,…,wn}，每個句子由n個單詞組成，本文的任務是根據輸入的句子自動識別S中所有的評價對象以及情感極性，即輸出集合Y={|0≤s≤e

表1 REAPP的輸入輸出例子Tab.1 An example for input and output of REAPP

3.2 提出的模型

本文提出的REAPP模型由三層組成，如圖 2所示.第一層為嵌入層，負責利用詞嵌入初始化句子中的所有單詞；第二層為編碼層，根據詞嵌入進行句子分析，捕捉句子中所有單詞之間的相互作用，生成單詞的上下文表達；最后一層是解碼層，注意力機制為解碼層提供上下文表達，解碼層在每個時序步中生成三元組.

圖2 REAPP模型結構圖Fig.2 The architecture of REAPP model

3.3 嵌入層

3.4 編碼層

(1)

3.5 解碼層

(2)

其中，Wu為待學習的參數；et為當前時刻通過注意力計算得到的上下文向量，計算如式(3)～(6)所示.

(3)

βt,i=vPtanh(mt+nt,i)

(4)

(5)

(6)

其中，WP，bP，WQ和vP均為待學習的參數.在得到解碼器t時刻的狀態后，模型開始解碼，解碼過程主要包含3個步驟：t%3=1時開始解碼新的三元組，生成評價對象的起始位置；t%3=2時生成評價對象的結束位置；t%3=0時預測情感極性，一個完整的三元組總是需要經歷這3個時刻，具體進行哪個操作由t對3取余的結果確定，模型會循環執行這一系列操作，直到生成表示結束的三元組.

生成起始位置時(t%3=1)，需考慮生成NA三元組的可能，且在ABSA任務中每個方面只需要生成一次，所以本文引入向量Ms∈Rn來屏蔽已經拷貝過的方面，計算起始位置概率分布的過程如圖 3和式(7)～(10)所示.

圖3 方面起始位置識別Fig.3 Start position identification of an aspect

(7)

(8)

(9)

ps=softmax([Ms?qs;qNA])

(10)

其中，Ws，bs，WNA和bNA均為待學習的參數.

生成結束位置時(t%3=2)，其起始位置已經明確，本文引入另一個向量Me∈Rn確保結束位置在起始位置之后，其他操作與t%3=1類似，計算結束位置概率分布的過程如圖4和式(11)～(13)所示.

圖4 方面結束位置識別Fig.4 End position identification of an aspect

(11)

(12)

pe=softmax([Ms?qe?Me;qNA])

(13)

其中，We，be均為待學習的參數.

圖5 方面極性分類Fig.5 Polarity classification of an aspect

(14)

(15)

pr=softmax([qr;qSNA])

(16)

其中，Wr，br，WSNA和bSNA均為待學習的參數.

(17)

4 實驗與結果

4.1 實驗數據

本文在3個ABSA任務公開的數據集LAPTOP、REST和TWITTER[12]上驗證了REAPP模型的有效性.為了便于比較，本文采用與Zhou等[16]相同的數據劃分，其中TWITTER使用十折交叉驗證，實驗數據統計如表2所示.本文使用的評價指標包括精確率、召回率、F1得分和準確率.此外，只有當預測的方面與黃金標注完全一致才認為是正確的方面.

表2 實驗數據統計Tab.2 Statistics of the datasets

4.2 實驗設置

本文使用glove.840B.300d初始化詞嵌入(nlp.stanford.edu/projects/glove/)，而解碼器使用的詞嵌入是隨機初始化的，此外，本文使用Stanford CoreNLP toolkit對句子中的單詞進行POS標注(stanfordnlp.github.io/CoreNLP/)，POS嵌入的維度是50.本文使用50個大小為3的濾波器，字符級編碼維度為50.輸入句子的上下文編碼是通過兩個堆疊的Bi-LSTM學習的，正向和反向的維度都是150維，解碼端的LSTM維度設置為300.本文的學習率設置為0.001，batch大小為32，dropout設置為0.5，使用Adam優化器.

4.3 基線模型

本文對比的模型包括以下較先進的方法：

(1) CRF-pipelined，joint，collapsed(2013)[12]：一種基于情感詞典和手工構建特征的CRF序列標記方法；

(2) NN-CRF-pipelined，joint，collapsed(2015)[13]：一種頂層使用CRF序列標注捕捉標簽相關性的淺層網絡模型；

(3) UNIFIED(2019)[14]：一種使用聯合標簽的基于Bi-LSTM進行序列標注的方法；

(4) TAG-pipelined，joint，collapsed(2019)[15]：一種以BERT為編碼器，基于CRF進行序列標注的模型；

(5) Zhou-SPAN(2019)[16]：集中基于span的聯合方法，使用span制導的注意力機制獲取每個span的情感信息；

(6) Hu-SPAN-pipelined，joint，collapsed(2019)[15]：一種以BERT為編碼器的基于span的方法，提出將起始位置和結束位置配對的啟發式算法；

(7) SPRM(2020)[17]：對Hu-SPAN-joint[15]的改進，為每個子任務設計私有編碼器以及聯合編碼器，以捕獲兩個任務之間的關聯信息.

4.4 結果分析

在3個基準數據集上，方面-情感極性對抽取的實驗結果如表3所示，從表3可看出，無論是與序列標注的方法相比，還是與基于span的方法相比，本文模型都表現最佳.SPAN-pipeline (2019)的F1值比TAG-pipeline (2019)在3個數據集上分別提升了1.55%、0.94%和3.43%，可以看出基于span的方法比序列標注方法更有優勢，因為其針對整個span進行情感分類，有效避免了序列標注方法給多個單詞構成的方面所帶來的情感歧義問題.而本文方法除了針對整個span進行極性分類，還使用序列模型捕捉文本中不同方面-情感極性對之間的相互作用，提出的REAPP模型比效果最好的序列標注模型TAG-pipeline (2019)在3個數據集上的F1值分別提高了2.79%、6.09%和6.26%，而和基于span的模型SPRM (2020)相比，雖然在REST數據集上，本文的召回率較低，但精確率比SPRM高出了3.21%，在3個數據集上的F1值分別超出0.58%、0.90%和1.07%.

表3 方面-極性對抽取實驗結果Tab.3 Comparison of different methods’ results on three datasets

4.5 方面抽取結果分析

為了分析模型在方面抽取的性能，本文計算了REAPP在3個數據集上方面抽取的F1得分，和序列標注以及基于span的方法進行對比，如圖6.

圖6 方面抽取對比結果Fig.6 The results of aspect extraction

從圖6的實驗結果可以看出，本文的模型在LAPTOP、REST和TWITTER數據集上的F1值分別為84.93%、87.16%和74.31%，比SPRM(2020)的F1值提高了0.21%、0.45%、4.46%，這證明本文模型對方面的識別是有效的.此外還可以發現，SPRM雖然在LAPTOP和REST上表現較好，但是在TWITTER上表現較SPAN-pipeline模型和本文的模型差很多，這說明SPRM和SPAN-pipeline二者采用的啟發式規則不能自適應所有的數據集，而本文的模型可以適應句子長度的變化，在識別評價對象時受其影響較小.

4.6 極性分類結果分析

對于REAPP模型在情感極性分類上的性能，本文針對所有被正確識別出的方面，計算情感極性分類的準確率(Acc)，在3個數據集上和效果最好的情感分類器進行對比，結果如圖 7所示.

圖7 情感極性分類對比結果Fig.7 The results of polarity classification

由實驗結果可知，本文的模型在LAPTOP、REST和TWITTER數據集上的準確率分別是81.52%、90.82%和79.12%，是目前在3個數據集上極性分類效果最好的模型.

5 結 論

本文提出了REAPP模型，與當前序列標注方法和基于span的模型不同，利用了句子中方面-情感極性對之間的關系，捕捉方面抽取和極性分類兩個子任務之間的相互作用.此外極性預測針對整個方面，從而避免了現有單詞級序列標注方法存在的情感極性不一致問題和基于span方法中標簽體系的異質問題.在3個數據集上的實驗表明，本文模型優于現有的最好方法.

目前本文在進行情感極性預測時，計算注意力的方式和位置識別相同，接下來，本文考慮在預測情感極性時，使用方面制導的注意力機制以更好的捕捉特定方面的情感信息.此外，通過表3還可以看出，不論是REAPP模型還是其他兩類模型，召回率相對精確率都較低，這說明預測的方面數量較少，后續本文會嘗試解決這個問題.