基于BERT- HC 的教學評價情感分析模型研究

劉亞楠

（廣州番禺職業技術學院 財經學院，廣東 廣州 511483）

引言

教學評價是評價主體對教學活動所作的價值認定和判斷活動，具有強烈的目的性[1]。傳統針對教學評價內容的分析方法依賴人工分析。然而，隨著學生和課程數量的逐年增多，導致評價數據爆發式增長。教學管理部門難以對課程評價數據進行逐一分析，從而影響課程質量的真實反映，不利于提高教學質量。隨著人工智能技術的發展，通過計算機程序自動地分析教學評價中的內容是解決上述問題的有效手段，其中情感分析是最具代表性的技術之一。

情感分析最早由Nasukawa 等人[2]提出，旨在從文本內容中提取出作者的情感或觀點。其技術分為：基于情感詞典的方法、基于統計機器學習的方法、基于深度學習的方法。其中，基于情感詞典的方法[3]以情感詞典為依據，通過構造匹配規則來計算情感?；诮y計機器學習的方法[4]利用特征提取算法如詞袋模型（Bag of Words, BOW）[5]從文本中提取統計學特征，再利用不同的分類算法判斷情感傾向，這種方式依賴于特征提取的好壞?；谏疃葘W習的方法是目前的主流方法。該類方法首先將文本進行詞嵌入（Word Embedding）[6]，然后再利用不同的深度神經網絡如卷積神經網絡（CNN）[7]、長短時記憶網絡（LSTM）[8]等從中自動地提取文本的隱含特征表示，其效果顯著優于以往的情感分析算法。近年來，隨著諸如BERT[9]、XLNet[10]、T5[11]等以Transformer[12]為基礎的大型預訓練模型的提出，在這些模型上進行下游任務的微調是目前情感分析最先進的技術[13]。

在BERT 等預訓練模型的框架中，直接把文本作為一個整體建模，通過前置一個特殊的“[CLS]”字符來匯總整體的語義表示。這種方式能夠很好的處理具有單一情感純度的句子，如“老師講的太棒了”。然而，在教學評價情感分析的實際中，更多的是包含多種情感傾向的復雜情感句，如“這是第一個拿到成績的在線課程。對于毫無經濟學和數學基礎的人來說，有些知識還是有些吃力。但老師講得深入淺出，非常受益”。在該例句中，既包含了情感無關句：“這是第一個拿到成績的在線課程”。負向情感句：“對于毫無經濟學和數學基礎的人來說，有些知識還是有些吃力”。以及正向情感句：“但老師講得深入淺出，非常受益”?？傮w而言，該例句的情感由最后的轉折句決定，因此總體情感的正向的，如果直接對這種復雜情感句整體建模將增大模型學習的難度，從而導致模型在復雜情感判斷上效果不佳。

為解決上述問題，本文提出一種層次語義建模的情感分析方法BERT-HC。首先將復雜情感句拆分為具有相對單一情感的子句；其次利用BERT 獨立地提取各個子句的語義表征；最后為了過濾一些無關情感判斷的子句信息，引入基于Hard Concrete 分布[14]的門控機制。融合后的語義表示通過softmax 實現情感分類。實驗結果表明：BERT-HC 在兩個數據集上的分類準 確 率 和 F1 比 BERT、TextCNN、BiLSTM、BiLSTM+Att、HAN 等模型更優。

1 BERT 原理

1.1 Transformer 編碼器結構

BERT[9]是文本預訓練領域最具代表性的工作，其網絡結構基于Transformer[12]編碼器。其結構見圖1。

如圖1 (a) 所示，Transformer 編碼器由N 個塊（Block）堆疊而成，每個塊由多頭注意力層、殘差歸一化層、前饋網絡層、殘差歸一化層按順序構成。其中多頭注意力層的內部結構如圖1(b)所示。對于輸入X，令X=Q=K=V，其中Q、K、V 分別表示查詢矩陣、鍵矩陣和值矩陣。在多頭注意力層中，先將Q、K、V 拆分為h 個部分，分別對應h 個抽頭。對于第i 個抽頭的輸出headi有：

其中WO為線性層的權重矩陣。

1.2 BERT

BERT[9]利用多層Transformer 編碼器來逐層提取輸入文本的特征。在預訓練時，BERT 首先對輸入的文本進行了處理，分別在句子的開頭和結尾添加了特殊的字符“[CLS]”和“[SEP]”，其中“[CLS]”通常用作輸入文本的整體語義表示。其次輸入序列在編碼層中進行編碼，BERT 的編碼層包含三種類型的編碼：詞嵌入、段嵌入、位置嵌入。其中詞嵌入即從詞表中查詢詞的向量表示，段嵌入用于區分句子對；位置嵌入則為輸入序列添加位置信息。最后通過多層Transformer 編碼器來提取輸入文本的語義信息。BERT 通過兩種自監督任務進行學習：遮蔽語言建模（Masked Language Model, MLM） 和 下 一 句 預 測（Next Sentence Prediction, NSP）。前者在輸入序列中隨機的將一部分字符替換為“[MASK]”，模型的訓練目標是要根據上下文語義來預測“[MASK]”位置的正確字符；后者則是要判斷輸入的句子對是否是連貫的，以挖掘句子間的邏輯關系。

2 BERT-HC

本文所設計的針對層次語義建模的情感分析模型BERT-HC 其結構見圖2。

其中m 為子句的最大長度。將n 個子句輸入BERT 中，并取每個子句最后一層中“[CLS]”位置對應的隱向量作為子句的特征表示，組成子句級語義特征X：

對于復雜情感句的情感分析而言，并不是所有子句都包含了情感信息，且最終的情感可能僅由部分子句決定?；趕oftmax 的注意力機制難以為不重要的信息分配精確的零權重，使得無法完全屏蔽不利于情感判斷的干擾信息。為解決這一問題，本文引入基于Hard Concrete 分布的門控機制，來學習精確的二元門控值。具體而言，首先利用線性變換對X 進行降維：

其中Wγ為d×1 維的權重矩陣，bγ為偏置項。然后，利用Hard Concrete 分布估計每個子句對應的二元門控值：

式(8)-(9)中，σ 為sigmoid 激活函數；u 服從(0,1)之間的均勻分布；τ=0.2，l=0.2，r=1.0 均為固定的參數。得到二元門控向量z 后，對門控值為1 的子句表示進行平均池化操作，以產生最終的整體語義表示fmap：

最后，將fmap降維到分類維度上，并利用softmax預測其類別：

上式中T 為樣本數量。最后利用L0正則化項來稀疏化所學習的門控向量z：

其中λ 為正則項的權重，將在實驗中搜索。

3 實驗與分析

3.1 數據集

首先本文構造了教學評價情感分析數據集MOOC Review。數據爬取自中國大學慕課在線學習平臺，評價標注為分為正面、中性、負面三類，其中正面11085 條、中性6274 條、負面12561 條，總計數據量為29920 條。此外，為了驗證所提模型在其他領域公開數據集上的性能，本文還選用了譚松波酒店評價數據集進行測試，該數據包含7000 條正向評論、3000 條負向評論，共計1 萬條數據。數據劃分則按照8:1:1 的比例劃分成訓練集、驗證集、測試集，具體見表1。

表1 數據集劃分

3.2 實驗設置

本文在基于Pytorh 的深度學習框架中實現模型，所使用的BERT 預訓練模型為bert-base-chinese。學習率設為2e-5，優化器采用Adam；丟棄率設置為0.2；子句最大長度設置為30，最大子句數量為10；訓練步數為50，訓練時采用早停策略，最大容忍步數為5。評估指標采用準確率和Macro-F1 值。

3.3 對比模型

本文將BERT-HC 與目前一些主流的文本分類模型進行比較，以下是所涉及模型的介紹。

(1) BiLSTM[8]：利用雙向LSTM 來建模整句模型的上下文語義信息。

(2) BiLSTM+Att[15]：該模型同樣利用雙向LSTM來建模整句模型的上下文語義信息，然后利用注意力機制匯總各個位置的表示以產生整體語義表示。

(3) TextCNN[16]：該模型利用不同大小的一維卷積核提取文本上下文特征，將不同卷積核后的輸出拼接作為整體表示。

(4) HAN[17]：層次語義表示模型，該模型利用雙向GRU 建模低層級的信息，再通過注意力進行融合。

(5) BERT[9]：利用預訓練模型的權重，在具體數據上進行微調，“[CLS]”位置的隱向量作為整體表示。

(6) BERT-HAN：層次表示模型，利用BERT 對子句進行編碼后，利用HAN 的注意力機制進行融合。

3.4 對比結果與分析

BERT-HC 與對比模型在兩個數據集上的準確率（Acc.）與F1 值見表2。

表2 模型對比結果（%）

由表2 的結果可知，BERT-HC 在兩個數據集上均取得了最優的結果，證明了BERT-HC 的有效性，該模型不僅適用于教學評價也適用于其它領域，具備一定的通用性。具體分析如下：第一，與現有的模型中最好的BERT 相比，在教學評價數據集MOOC 上準確率提升了2.86%，F1 提升了2.27%；在酒店評價數據集HOTEL 上準確率提升了1.45%，F1 提升了1.72%。第二，與采用注意力軟融合機制的模型BERT-HAN 相比，在MOOC 上準確率提升了2.17%，F1 提升了1.64%；在HOTEL 上準確率提升了0.95%，F1 提升了0.92%。第三，基于預訓練的模型BERT、BERT-HAN、BERT-HC 比其它非預訓練模型的效果要更好，說明了預訓練有助于更準確的語義建模。

3.5 參數影響

在BERT-HC 模型中，由于引入了一個額外的L0正則化項來控制二元門控向量的稀疏化程度，因此需要探究其權重系數λ 對結果的影響。將λ 設置為[0,0.2]區間中的值，步長為0.04，其結果見圖3。在搜索區間內，MOOC 數據集上λ=0.08 時結果最好，HOTEL數據集上λ=0.12 時結果最好。

4 結論

準確的教學評價分析，對優化教學理念、教學模式和教學方式、提高教學質量等具有重要意義。本文提出一種基于BERT 和Hard Concrete 門控機制的層次語義建模情感分析方法BERT-HC，該方法將評價文本層次化的建模，利用BERT 來捕捉更準確的子句語義表示，并引入Hard Concrete 門控機制來使模型自動地篩選與情感判斷相關的子句。在MOOC 和HOTEL 數據集上的實驗結果表明，該方法與其它對比模型相比能夠更準確的判斷教學評價的情感傾向。本文為復雜情感句的分析提供了一種新的研究思路。