基于圖注意力網絡的輿情演變預測研究

彭思琪， 周安民， 廖 珊， 周雨婷， 劉德輝， 文 雅

(四川大學網絡空間安全學院， 成都 610064)

1 引 言

輿情是社會公眾對各類事件所持有的社會態度的一種綜合反映. 傳統的社會輿情存在于大眾的思想觀念和日常的街頭巷尾的議論之中. 隨著移動互聯網井噴式發展，網絡成為群眾表達社情民意和交流情感的重要渠道，社會輿情開始轉向網絡化[1]. 網絡輿情是社會輿情在互聯網空間的映射，是社會輿情的直接反映. 由于網絡媒體具有進入門檻低、信息規模超大、信息發布與傳播迅速、參與群體龐大和實時交互性強等綜合性特點，這使得網絡輿情的產生、擴散、爆發和引導更加復雜. 因此，對網絡輿情事件進行有效的監測和預警具有重要的意義和價值.

盡管目前國內外已經有很多成熟的輿情監控系統，如中國輿情網帕拉斯(PALAS)、Goonie、Nielsen等，用來幫助企業和政府促進長遠發展、構建和諧環境. 但是這些大多是對網站、博客和論壇等進行監測，進而對輿情熱點、輿情趨勢等進行分析. 面對紛繁復雜的網絡輿情，特別是在輿情變化迅速，信息量巨大的社交網絡環境中，要想實現對網絡輿情的監控和管理，預防輿情危機的突發，這些是遠遠不夠的. 一個關鍵的解決方案就是對網絡輿情事件下一階段的演變進行預測[2].

如果能在網絡輿情發展的初期，及時對其趨勢進行科學有效的預測，將會對輿情預警工作起到實質性的幫助. 目前國內外學者在輿情趨勢預測方面已有較多研究，但是，現有的相關研究工作大多是基于熱度指標的預測，如點擊量、評論量和轉發量等. 這些指標在一定程度上確實能通過大眾對事件的關注程度反映出輿情事件的趨勢，但難以反映大眾在輿情發展過程中的態度變化. 態度變化，也即情感變化，是指大眾對本次輿情事件的觀點和情感的具體變化. 盡早了解情感變化的意義主要表現在：對政府而言，可以掌握社會輿論的動向，發現社會中存在的問題與矛盾，及時對負面輿情進行引導；對企業而言，可以根據用戶對企業負面輿情所持有的態度，及時制定相應的公關策略，也可以獲取用戶的消費興趣. 因此，為了達到真正的預警效果，可以通過預測事件的情感發展趨勢來把握大眾的態度變化，進而反映輿情事件的趨勢.

情感傾向性預測一直是研究的熱點問題，通過預測情感傾向性可以直觀把握事件整體，如用戶對產品的評價[3]. 然而，該類研究具有一定的局限性. 由于大眾對輿情事件的情感態度在大多數情況下都表現出同種傾向性，很少會隨著事件的發展呈現出不同的情感傾向性，將情感傾向性作為事件情感趨勢演變預測的對象的研究意義不大. 盡管如此，情感傾向性的強弱程度在事件發展的不同階段還是在不斷變化的.

基于以上分析，本文提出基于圖注意力網絡(GAT)的輿情事件情感趨勢演變預測方法，通過情感值來對輿情事件的情感演變趨勢進行預測. 具體而言，我們根據社交平臺上針對某個輿情事件的評論文本計算出事件每個時間段的情感得分，以此反映大眾對該輿情事件的情感態度變化. 進而通過情感得分進行數值預測，預測出事件在下一時間段的情感演變趨勢. 由于除評論文本信息外，事件的已知外部信息較少，利用圖結構將評論文本分階段表示為情感詞交互圖，忽略評論中無關詞的信息，獲取時序文本數據中動態的空間相關性. 不僅能更充分、有效地關注文本的情感語義信息，更為無任何可用信息的預測階段提供了較為豐富的情感預測依據. 此外，圖注意力網絡將注意力機制引入到基于空間域的圖神經網絡. 在情感趨勢演變預測中，圖注意力網絡運用注意力機制來對鄰居節點做聚合操作，實現對不同鄰居節點權重的自適應分配，避免引入過多的學習參數，從而大大提高了預測模型的表達能力[4]. 同時，針對網絡輿情事件周期往往較短，導致無較長的情感值時間序列用于預測的情況，本文將門控循環單元(GRU)與圖注意力網絡相結合，用于捕獲時序關系，對短期事件進行動態預測. 實驗表明本文方法能較為準確地預測事件在下一時間段的情感值，為網絡輿情事件的預警提供幫助.

2 相關工作

目前，針對輿情事件演變預測的研究，主要是基于熱度指標的. 聶黎生[5]將微博的點擊數量作為輿情趨勢變化的直接反映，提出基于核主成分分析與粒子群隨機森林算法實現輿情演變預測. Yu等[6]對微博輿情事件的點擊量、回復量和轉載量加權求和，得到輿情事件的趨勢值，利用馬爾可夫模型預測高校輿情趨勢. Li等[7]采用術語頻率與語義權重定義新的流行度量化方法來捕獲話題的人氣，從語義上解決噪聲和歧義問題. 但是通過熱度指標并不能反映出大眾對某件網絡輿情事件過去、現在和未來的態度變化.

而對輿情事件情感的預測，大多局限于情感的傾向性預測，未對情感值進行精確預測. 連淑娟等[8]將中文自動構詞算法構建的的文本傾向性分類方法詞庫和基于信息瓶頸的特征提取方法相結合，有效提高了網絡輿情傾向性的預測精確度. 王亞民等[9]先計算各微博的情緒值，按照其數值大小，統計正、中、負三個情緒等級下的樣本數量比例，并使用文檔頻度權重測度方法合成公眾對政策的最終輿情支持度，再利用馬爾可夫模型預測民眾對公共政策的態度輿情傾向.

由于大眾對輿情事件的情感態度在大多數情況下都表現出同種傾向性，但情感的強弱程度是在不斷變化的. 因此，通過情感值能更有效地反映輿情事件發展趨勢. 王努努等[10]直接使用Rost CM文本挖掘軟件對微博正文數據進行情感值計算，形成情感時間序列，進而基于ARIMA和BP神經網絡組合模型對其情感變化趨勢進行綜合分析和預測. 馬曉寧等[11]通過對評論的句式分析，利用短語模式計算單句及復句的情感值，構建情感值時間序列，建立基于相關向量機的網絡輿情情感趨勢演變預測模型.

Li等[12]使用圖到序列模型生成新聞評論，該模型將輸入新聞建模為主題交互圖. 通過將文章組織成圖結構，可以更好地理解文章的內部結構和主題之間的聯系. 為了研究圖動態演化的實際場景，Pareja等[13]通過循環神經網絡演化圖卷積網絡參數來捕捉圖序列的動態性，用于解決鏈接預測，邊分類和節點分類等任務.

3 基于圖注意力網絡的輿情事件情感趨勢演變預測模型本文提出的輿情事件情感趨勢演變預測模型架構如圖1所示. 該模型主要包含數據預處理、情感量化、構造圖和建立預測模型四個部分. 首先，我們從社交媒體平臺爬取某一輿情事件在輿情演化階段的全部評論文本數據，對文本數據進行預處理以及數據劃分等工作；其次，對每個時間步長內的評論文本進行情感量化，得到各時間步長內的情感詞及每個情感詞對應的情感得分，進而計算得到各時間段的情感值，建立情感值的時間序列；然后利用情感詞和評論文本的語義相似度為事件發展的每個時間段都構造一個對應的圖；最后，我們使用門控循環單元和圖注意力網絡構建預測模型.

圖1 預測模型架構Fig.1 Architecture of the prediction model

3.1 數據收集與處理

由于社交平臺上的評論形式多樣，既可以是文字形式、圖片形式，又可以是表情符號等形式，并且也會存在許多重復、無效的信息[14]. 為了提高情感預測的準確性和可靠性，本文需要從社交平臺上選取合適的、能夠反應出事件情感的數據. 進一步地，我們還需要對數據進行文本預處理，過濾掉與輿情事件無關的評論，同時把評論中的詞形還原，利于后續情感量化工作的展開.

考慮到圖片的處理工作較為復雜，要想快速從圖片中提取到大量的有效信息也有一定難度，本文僅利用了評論中的文本信息來完成情感預測任務. 通過對收集的文本數據進行整理，我們發現數據中存在來自不同用戶的相同評論文本內容，分析可能是用戶進行轉發操作或者是網絡上的“水軍”刷帖造成的. 因此需要對數據進行去重處理，避免相同文本信息過多，對文本的情感分析造成干擾. 同時，本文將主要精力集中在對文本內容的情感分析上，不考慮表情符號、標點符號、特殊字符和超鏈接等.

本文收集的數據是來自Twitter上關于弗洛伊德事件的英文評論文本. 眾所周知，在英文當中，一些詞會在不同的情況中有不同的形態，如：名詞有單復數，動詞有時態和語態，形容詞有比較級. 而在本文提出的方法中，這些形態差異是沒有意義的甚至有干擾作用，因此需要將不同形態的詞轉換為其原型，即詞形還原. 我們使用的是Python中的自然語言處理工具包NLTK作為詞形還原的工具.

面對龐大的數據量，本文將評論文本數據按時間劃分成42個時間段，從每個時間段中隨機選取適量、均等的評論文本，以縮短運行時間，提高預測效率.

3.2 情感量化

SnowNLP作為一個較成熟的英文情感量化工具，可以快速判斷一句話的情感傾向. 此外，SnowNLP的語料主要是電商平臺上商品的評論數據，對商品的評論數據進行情感分析的準確率較高. 然而，本文是針對輿情事件的評論數據進行情感分析. 眾所周知，相比于本文目標語料——Twitter評論而言，商品評論數據集的情感傾向更明顯，情感特征更突出. 因而，若使用SnowNLP，將會因為領域偏差，造成模型預測性能的不確定干擾，不能真實客觀地反應本文所提方法的性能和有效性. 另一方面，若使用SnowNLP，需要構建大量人工標注的對應事件的語料庫用來替換電商評論語料，人工成本太高. 因此，SnowNLP在本文中的適應性不高，不能適用于本文所討論的輿情事件情感演變的范疇. 其次，本文使用的是情感交互圖結構，選取情感詞作為圖中的頂點，因此需要對句中每個情感詞在不同語義環境下進行分析. 然而，SnowNLP只能給某條評論句進行打分，無法獲得某一情感詞的具體得分.

另一方面，知網(HowNet)是董振東先生、董強先生父子畢三十年之功標注的大型語言知識庫，知網發布的情感詞典主要分為中文和英文兩個部分，共包含如下數據：中文正面評價詞語3730個、中文負面評價詞語3116個、中文正面情感詞語836個、中文負面情感詞語1254個；英文正面評價詞語3594個、英文負面評價詞語3563個、英文正面情感詞語769個、英文負面情感詞語1011個. HowNet中的英文情感詞典包含積極詞、消極詞和程度詞，可以滿足對各個情感詞單獨進行分析的需求，并且該詞典不限于單一領域，適用于各種輿情事件的情感分析.

綜上所述，我們結合HowNet設計了一套英文情感量化規則，該規則的跨領域普適性較強，并且不再局限于句子級的情感分析，還可以對處于不同語義環境的的情感詞進行更細粒度的情感量化分析.

本文從HowNet詞典中選取英文正面評價詞語和英文正面情感詞語合并去重作為本文的積極情感詞典，選取英文負面評價詞語和英文負面情感詞語合并去重作為本文的消極情感詞典. 此外，程度副詞往往會對文本的情感強弱程度有很大的影響[15]. 為了精確計算文本的情感值，我們對HowNet中提供的英文程度級別詞語按照語氣的強弱分為以下6類：極其、非常、很、較、稍微、略微. 需要注意的是，文本中若存在否定詞，其情感傾向將會發生逆轉，因此我們還加入了否定詞詞典. 表1列出了各類詞典的代表詞以及情感權值的設置.

表1 各類詞典及情感權值Tab.1 Dictionaries and emotional weights

表1中各類情感詞典的權值設定是依據HowNet詞典而來的. 在HowNet詞典中，已將英文程度級別詞語按照語氣的強弱分為6類：極其、非常、很、較、稍微、略微，賦予的權值范圍為11到64. 而本文的目標語料來自于Twitter，目標事件是弗洛伊德槍擊案. 該事件的整個發展過程情感傾向波動幅度較小，各頂點情感詞差異性不明顯，情感詞的語氣強弱無太大差異[16]. 因此，為了避免最終計算出的情感得分不利于對評論文本開展進一步的情感量化分析，本文將詞語的權值縮小到一個較小且便于分析的范圍，其中不同程度級別詞語之間的權值比例也是大致依據HowNet詞典中的比例來設定的. 該權值范圍的選取經過了前期的預實驗與分析，但由于該部分預實驗的實驗結果龐雜，不利于論文的科學性展示，故未將該部分的結果呈現到論文中. 接下來，我們對權值范圍的選取做簡單描述.

首先，將積極情感詞、消極情感詞和否定詞的權值分別設為1、-1和-1. 再根據HowNet詞典中對程度詞的分類，將“稍微”這一級別的程度詞的權值設為一個較小的值2. 通過分析HowNet詞典，我們發現“稍微”、“較”、“很”、“非?！敝g的權值間隔不大，因此按照語氣強度由低到高，分別將權值依次加2，最終即可得到“非?！钡臋嘀禐?. “極其”為最高級別的程度詞，在HowNet詞典中，“極其”的權值是“非?！钡?倍，因此賦值為16. 與HowNet詞典中不同的是，我們認為“略微”這一級別對應的程度詞起到削弱情感詞語氣強度的作用，因此將權值設為0.5.

確定情感詞典之后，基于情感詞典對每個評論文本進行逐詞匹配，查找文本中所有的積極情感詞和消極情感詞. 在英文文本中，程度副詞既有可能出現在情感詞前，也有可能出現在情感詞后，因此需要以每個情感詞為基準，分別向前、向后依次尋找程度副詞，直到查找到下一個情感詞為止. 所有查找到的程度詞的權重相加即為該詞的程度權值. 還需要往情感詞前查找否定詞，同樣的，當查找到下一個情感詞就停止搜索，統計出該情感詞前面出現的否定詞數量. 若否定詞的數量為奇數，則該詞的否定權值為-1；若為偶數，則該詞的否定權值為1. 每個情感詞的情感打分規則具體如式(1)所示.

S=(-1)nVeW

(1)

其中，S為情感詞的情感得分；n為否定詞個數；Ve代表情感詞性，值為1表示積極情感詞，值為-1表示消極情感詞；W是程度權值.

進一步地，將同一時間段內不同評論文本中出現的相同情感詞的情感得分相加即可得到該情感詞在本時間段的情感得分. 處在不同時間段的同一情感詞的得分是不相同的，會根據語義環境的變化而動態改變，更符合情感分析原則. 最后，每個時間段的情感值為該時間段內所有情感詞的情感得分之和.

3.3 圖結構

對給定時間段內的全部評論文本，在獲取到情感詞后，我們將該時間段內的評論文本與對應的情感詞關聯起來構建情感交互圖，如圖2所示.

圖2 情感交互圖Fig.2 Emotional interaction diagram

交互圖中的頂點是在該時間步長內出現的情感詞，若評論文本中存在情感詞w，則將該條評論s歸屬到對應的頂點v. 一個頂點可以包含多條評論，一條評論也可以分配給多個頂點. 該映射關系也間接反映出兩個情感詞關聯的公共評論文本越多，所表達的情感越接近.

在本文中，我們提出一種基于文本結構和文本內容聯合的方法，用于構造頂點之間的邊. 頂點vi和頂點vj所關聯的評論文本的TF-IDF文本相似度為Tij. 如果所關聯的評論文本存在公共評論，公共評論的數量為N，則在這兩個頂點之間添加一條邊eij，其權值wij為

(2)

其中，a、b分別為Tij轉化為最簡分數后的分子和分母. 文本相似度的閾值α設為0.3，若兩個頂點之間不存在公共評論，但其文本相似度Tij大于或等于α，則同樣在vi和vj之間添加一條邊eij，其權值為

wij=Tij

(3)

3.4 建立預測模型

現有的基于圖神經網絡的預測模型，大多是以圖神經網絡作為特征提取器，得到節點的嵌入向量，再利用循環神經網絡進行序列學習[17-20]. 這些方法需要節點在整個時間跨度的信息，在某些極端情況下，不同時間步長的節點集可能完全不同，因此不太適用于節點集頻繁變化的場景. Pareja等[13]提出使用循環神經網絡將動態性注入到圖卷積網絡的參數中，形成一個演化序列，該方法可以有效應對這一挑戰.

本文在此基礎上將注意力機制引入到基于空間域的圖神經網絡，不僅可以捕獲圖的動態性，還實現對不同鄰居權重的自適應分配[21，22]. 圖注意力網絡用注意力機制對鄰居節點特征加權求和，鄰居節點特征的權重完全取決于節點特征，獨立于圖結構. 圖中的每個節點可以根據鄰居節點的特征，為其分配不同的權重. 此外，注意力機制以共享的方式應用于圖中的所有邊，因此它不依賴于對全局圖結構的預先訪問，也不依賴于對所有節點特征的預先訪問.

預測模型由圖注意力網絡和門控循環單元組合而成，以圖注意力網絡為基礎，引入門控循環單元來更新網絡參數. 圖結構中的節點特征沿著圖注意力網絡進行層層卷積，得到該時間段的節點嵌入矩陣，同時，權重矩陣利用門控循環單元隨著時間的推移演化. 權重參數矩陣在第l層的動態演化過程如下.

(4)

(5)

模型輸入第t個時間段到第t+x個時間段的圖結構，再使用多層感知機MLP，即可通過x個圖結構信息預測下一時間段即第t+x+1時間段的可能出現的情感詞及對應得分，將所有得分相加作為該時間段預測得到的情感值. 預測的情感詞均來自事先構建好的情感詞典.

4 實驗及評估

4.1 數據集

本文以弗洛伊德事件為研究對象進行情感趨勢演變預測. 在收集數據集時，我們發現該輿情事件的討論時間跨度主要集中在2020年5月26到2020年6月8日，這14天內. 其中，2020年5月26日為弗洛伊德事件發生的起始時間，在此之前Twitter上沒有該事件的相關討論；而在2020年6月8日后，只能找到極其少量的相關話題，表明此時針對該事件的輿論已經基本結束，不需要再進行演變分析. 因此，為了確保輿情事件預測的準確性和可靠性，我們從Twitter上爬取了弗洛伊德事件整個生命周期即14天內的全部相關評論文本，并將數據進行劃分. 數據劃分方案為：每8個小時為一個時間步長，一天分為3個時間段，那么14天可以劃分為42個時間段. 從每個時間段隨機選取500條評論文本數據作為圖結構的數據輸入，避免數據量過大導致模型訓練和預測消耗大量時間，無法做到快速預測.

4.2 實驗指標

回歸預測算法的評價指標包括平均絕對誤差(MAE)、均方誤差(MSE)、均方根誤差(RMSE)和R2(R-Square)決定系數等，計算公式如下.

(6)

(7)

(8)

(9)

平均絕對誤差、均方誤差和均方根誤差的值越小，表明模型的擬合效果越好，但是這些評價指標也具有一定的局限性. 同一個模型，在不同的實際應用中，數據的量綱不同，導致這些評價指標無法直接進行比較，不具有可讀性. 因此本文主要使用R2決定系數對預測模型進行評價.

R2是多元回歸中的回歸平方和占總平方和的比例，它是度量多元回歸方程中擬合程度的一個統計量. 其值越接近1，表明回歸平方和占總平方和的比例越大，回歸線與各觀測點越接近，回歸的擬合程度就越好. 通俗理解，R2值為1表示在理想狀況下，該模型對所有的觀測值預測準確，沒有偏差；R2值大于0小于1是常見狀況，表明該模型的擬合水平比均值模型好，越接近1代表模型預測越準確；R2值等于或小于0時，該模型沒有實際價值.

4.3 實驗環境及參數設置

本實驗在GPU型號為NVIDIA GeForce RTX 3080，顯存為10 G的服務器中完成，所用的編程語言為python 3.6，深度學習框架為pytorch 1.8.1.

每次利用6個時間段的圖結構信息對下一時間段的情感值進行預測. 按照7∶3的比例將42個時間段的數據集以時間維度劃分訓練集和測試集，訓練集中應該減去前6個時間段的數據，因此訓練集為23個，測試集為13個. 情感詞典中積極情感詞語和消極情感詞語共4735個，對應著圖結構中的節點. 每個節點的特征數為5，用隨機向量進行初始化. 采用RMSprop優化器對參數進行更新，參數的學習率設置為0.00001. 為防止過度擬合，將dropout比率設置為0.5.

4.4 實驗結果與分析

據我們所知，現有的基于社交網絡平臺的評論文本對輿情事件開展回歸預測的研究較少，目前尚未找到相對成熟的可以進行對比的研究工作或算法. 針對弗洛伊德事件數據集，我們將本文提出的基于圖注意力網絡的預測模型和Pareja等[13]提出的基于圖卷積網絡的預測模型在情感趨勢演變預測上的性能進行對比，如表2所示.

表2 模型預測性能對比Tab.2 Comparison of model prediction performance

由表2可知，在同一數據集，相同的情感量化方式下，基于圖注意力網絡的回歸預測模型的MAE、MSE和RMSE值都小于基于圖卷積網絡的預測模型，說明本文提出模型預測出的情感值與真實情感值之間的誤差更小. 同時，本文模型的R2決定系數也更接近于1，代表其預測性能更高，預測結果更準確.

本文的創新點在于，充分利用評論文本的語義關系、結構特性，將文本轉化為圖結構，再通過當前廣受關注和應用的圖卷積網絡提取特征，并進行預測建模. 同時，為進一步優化該模型的性能，引入了注意力機制，在捕獲圖動態性的同時，實現了對不同鄰居權重的自適應分配. 實驗結果表明,引入注意力機制后模型的性能得以提升. 因此，本文提出的方法不僅在情感趨勢演變預測方面取得了較好的效果，這也是圖神經網絡應用于演變預測領域的一個有效改進方案.

圖3為每個時間段預測的情感值與真實的情感值繪制而成的折線圖，從圖中我們可以看出，本文提出的模型在對弗洛伊德事件的情感趨勢演變預測上取得了較好的效果.

圖3 預測情感值與真實情感值對比圖Fig.3 Comparison of predicted and real sentiment values

5 結 論

本文提出一種基于評論文本的輿情事件情感趨勢演變預測方法. 根據社交平臺上針對某個輿情事件的評論文本計算出事件在每個時間段的情感得分，以此反映大眾對該輿情事件的情感態度變化. 該方法將評論文本的情感值作為演變預測的對象，利用情感詞和輿情事件中評論文本的語義相似度為事件發展的每個時間段都構造一個對應的圖結構，再結合門控循環單元與圖注意力網絡構建預測模型對情感時間序列預測. 實驗結果表明本方法能較為準確地對短期事件進行動態預測，為網絡輿情事件的預警提供幫助. 證明了本方法在情感趨勢演變預測方面的有效性. 后續工作將致力于進一步優化演變預測方法，使該方法能在網絡輿情事件的預警中發揮更積極的作用.