面向深度學習網絡的細粒度商品評價分析

康 月，薛惠珍，華 斌

天津財經大學 理工學院，天津300222

商品評價分析是指通過對用戶評論進行挖掘與處理，進而分析用戶的關注重點與情感態度。傳統的商品評價分析是基于句子級的情感分類，這種粗粒度的分析方法無法了解用戶對于商品某一具體屬性所表達的情感態度，因此需要進行細粒度的分析[1]。細粒度商品評價分析主要分為兩個方面：商品評價特征的提取與情感傾向的判定。

商品評價特征的提取是指從用戶評論中提取商品屬性與其對應的情感詞，是細粒度商品評價分析的基礎，主要有基于頻率、模板規則的無監督方法和基于條件隨機場與深度學習的有監督方法[2]。最早的無監督方法是由Hu和Liu[3]提出的，他們使用關聯規則挖掘方法提取商品特征；Jakob等[4]選取詞、詞性、依存句法等多種特征，利用CRF模型進行影評數據的評價特征提??；Liu等[5]使用循環神經網絡模型（RNN）進行評價情感特征的提??；Poria等[6]利用卷積神經網絡的方法對文本特征進行自動提??；曾義夫等[7]在GRU模型中引入雙向注意力機制，實現細粒度的特征提??；陳虹等[8]將注意力機制引入BILSTM網絡，實現用戶評論的方面級情感特征提取。

商品評價情感傾向的判定是指對提取出來的評價特征進行情感極性的識別，是細粒度商品評價分析的關鍵，主要包括基于情感詞典的無監督方法和基于機器學習與深度學習的有監督方法。Hu和Liu[9]提出基于情感詞典的方法來進行情感傾向的判定，雖然情感詞典在情感傾向判定上取得一定成果，但是這種基于詞典的無監督方法存在領域適用性差且準確率不高的問題，所以有監督的情感分類方法被廣泛地研究與應用。最早的有監督方法是由Pang等[10]提出的，他們運用樸素貝葉斯、支持向量機和最大熵三種有監督的機器學習方法進行情感分類；Manuel等[11]利用樸素貝葉斯方法對酒店評論進行分類，實驗結果表明該方法在文本分類上具有較高的分類精度；韓虎等[12]利用多層注意力機制神經網絡模型實現句子級和篇章級的文本情感分類，進一步證明深度學習在情感分析中的優勢。

考慮到目前的相關研究存在如下問題：（1）對于商品評價特征的提取。大部分研究者都是將與商品相關的詞作為評價特征進行直接提取，未作進一步的細化，如對于手機這款商品來說，“運行速度快”“耗電速度快”與“發貨速度快”具有不同的意義，通過對商品的評價特征進行更為細粒度的分析，可以更加直觀地反映出用戶的關注重點，為生產廠商、電商平臺和用戶提供更加精確的商品與服務信息。（2）對于評價特征提取的方法。目前的大部分研究僅僅是將詞向量作為神經網絡的輸入特征進行學習，沒有進一步考慮文本的語義信息對模型的影響。

為解決問題（1），本文將商品評價特征細分為商品實體、屬性與情感，分別對其進行提??；為解決問題（2），本文結合預訓練詞嵌入模型，將句法特征融入到深度學習模型當中以提高模型性能?；诖?，提出一種融合句法特征與BERT詞嵌入的BILSTM-CRF注意力機制模型對在線商品評價進行實體、屬性級的特征提取，然后利用BILSTM模型進行句子級與特征級的情感分析。不僅從算法的精度上進行比較，還綜合分析各類算法的復雜度，在真實數據集上的實驗結果表明融合句法特征與BERT詞嵌入的BILSTM-CRF注意力機制模型是一種有效的評價特征提取方法；特征級情感分析不僅可以更加詳細地描述評價對象，而且在算法復雜度與精度上都明顯優于句子級的情感分析。

1 研究模型與方法

1.1 LSTM模型

長短期記憶網絡（Long Short-Term Memory Network，LSTM）模型，是由Hochreiter等[13]提出的，它是循環神經網絡（Recurrent Neural Network，RNN）的一種。該模型解決傳統RNN長依賴的梯度彌散問題，被廣泛應用于時序數據建模當中，目前已取得較多成果。其核心思想是一種“細胞狀態”，主要由遺忘門、輸入門與輸出門這三個門結構單元組成，其單元結構如圖1所示。

圖1 LSTM單元結構

1.1.1 遺忘門

如圖1中的a所示，該門結構單元主要用來對t時刻的輸入Xt進行選擇性遺忘，即通過一個sigmoid激活函數決定丟棄哪些信息，控制狀態Ct-1的哪些特征被用來計算狀態Ct，具體公式見公式（1）：

1.1.2 輸入門

如圖1中的b所示，該門結構單元主要用來對t時刻的輸入Xt進行更新，即通過一個sigmoid激活函數決定更新哪些信息，利用一個tanh層進行信息更新，結合遺忘門的輸出Ft將信息狀態Ct-1更新為Ct，具體公式見公式（2）、（3）、（4）：

1.1.3 輸出門

如圖1中的c所示，該門結構單元主要用來對更新的信息進行輸出，即通過一個sigmoid激活函數決定輸出哪些信息，利用一個tanh層進行信息輸出，具體公式見公式（5）、（6）：

其中，Ft、It、Ot分別代表遺忘門、輸入門與輸出門；Ht-1、Ht分別代表t-1時刻與t時刻的隱含層向量；Ct-1、Ct′、Ct代表細胞的狀態向量；Xt為t時刻的輸入；ωf、ωi、ωc、ωo為相應的權重矩陣；bf、bi、bc、bo為相應的偏置向量；σ是sigmoid激活函數。

1.2 CRF模型

條件隨機場（Conditional Random Field，CRF）模型是由Lafferty等[14]提出的，由于該模型可以很好地對文本的上下文信息進行捕捉，因此近年來被廣泛應用于分詞、詞性標注與命名實體識別等序列標注問題中。在商品評價特征識別中，通過輸入評價文本的觀測序列X={x1,x2,…,xn}，即可計算出所有可能的狀態序列的條件概率Y={y1,y2,…,yn}，并以最大概率作為該序列的狀態進行輸出，計算公式見公式（7）：

其中，fj為特征函數，{θ1,θ2,…,θn}為訓練過程中的參數，Z(x)為歸一化因子，計算公式見公式（8）：

1.3 融合句法特征與BERT詞嵌入的BILSTMCRF注意力機制模型

雖然CRF模型在序列標注問題的處理上有較好的性能，但是在實際使用中往往需要人為對相關特征進行定義與篩選，而且結果的好壞與語料庫的規模直接相關；深度學習方法具有較強的特征表示與學習能力，無需人為定義特征，即使在少量標注的數據集上也能取得較好的結果，但是模型的可解釋性較差，而且目前的相關研究中缺乏對于文本語義信息的分析。因此，本文提出一種融合句法特征與BERT詞嵌入的BILSTM-CRF注意力機制的細粒度商品評價情感分析模型，如圖2所示。該模型主要由兩部分組成：a為句法特征+BERT詞嵌入+BILSTM-CRF注意力機制模型；b為BILSTM模型。前者用來提取商品的評價特征，后者用來對提取出的商品評價特征進行情感傾向的判定。

1.3.1 基于句法特征+BERT詞嵌入+BILSTM-CRF注意力機制的特征提取

圖2 融合句法特征與BERT詞嵌入的BILSTM-CRF注意力機制情感分析模型

如圖2中的a所示，在商品評價特征提取中，為增加BILSTM模型的可解釋性，保證預測標簽的合法性，本文將BILSTM模型與CRF模型結合起來使用，即在BILSTM模型的Softmax層加入CRF層進行預測約束。對于輸入的句子，首先經過數據預處理層獲取分詞特征Xi、詞性特征POSi與句法組塊特征Chunki，然后利用經過微調過的BERT[15]進行預訓練的詞嵌入，經過特征BILSTM模型輸出標簽序列y的分值s([Xi,POSi,Chunki],y)的計算公式見公式（9）：

其中，A是特征轉移矩陣，Ayi,yi+1表示從狀態yi到yi+1的轉移概率；P是BILSTM的輸出矩陣，Pi,yi表示句子中第i個輸入特征對應的輸出標簽yi的概率。為提高文本有用信息的利用程度，在BILSTM的輸出層引入Multi-Head注意力機制[16]，通過詞向量在BILSTM層產生的輸出向量Hi(i=0,1,…,n)進行Multi-Head Attention層Q、K、V輸出，計算公式見公式（10）、（11）：

其中，Q為查詢輸入矩陣，K、V為對應的鍵、值矩陣；∈Rd×dk，WK i∈Rd×dk，WV i∈Rd×dv，WO∈Rhdv×d；d是模型詞向量維數、h是注意力層數、dk=dv=d/h。Softmax層最終歸一化后的輸出概率的計算公式見公式（12），模型損失計算公式見公式（13）：

對訓練好的模型進行測試，預測結果輸出的計算公式見公式（14）：

1.3.2 基于BILSTM的情感傾向判定

盡管LSTM模型已被廣泛應用于機器翻譯、語音識別、計算機視覺與自然語言處理等領域，但是利用LSTM對數據進行建模時只能從前向后進行編碼，無法編碼自后向前的信息，尤其是在細粒度的分類中缺乏詞語之間的交互。因此，在情感傾向判定中，本文利用BILSTM[17]模型對提取的商品評價特征進行情感識別。BILSTM的核心思想是在傳統的LSTM模型中加入雙向編碼功能，將數據的自前向后信息與自后向前信息進行聯結學習，從而提高詞語之間的語義交互能力。利用BILSTM模型對文本數據進行學習，可以更好地捕捉雙向語義依賴的問題。BILSTM是由前向LSTM與后向LSTM組成，以“運行速度快”進行編碼，BILSTM模型的編碼情況如圖3所示。

其中，LSTML代表前向LSTM，LSTMR代表后向LSTM；HLi(i=0,1,…,n)代表第i個詞語的前向編碼，HRi(i=0,1,…,n)代表第i個詞語的后向編碼，Hi(i=0,1,…,n)代表第i個詞語的雙向聯結編碼；P代表Softmax層的輸出結果（概率）。

圖3 BILSTM模型編碼

2 實驗設計與結果分析

2.1 實驗數據

2.1.1 驗證數據集

為檢驗本文方法的有效性，以SemEval-2016 Task 5和COAE Task3數據集的手機商品作為實驗數據，通過對兩個數據集進行合并，形成本文的實驗數據集，其中兩個數據集分別來自以下兩篇論文，具體數據集的情感類別分布情況如表1所示。

表1 實驗數據的情感類別分布

2.1.2 預訓練詞嵌入數據集

為提高深度學習模型的學習效率與精度，抓取174 213條京東商城（www.jd.com）手機商品的用戶評價數據，利用該數據集對Google發布的BERT[15]中文詞向量模型進行微調，獲取本文的BERT預訓練詞嵌入模型。為了對比預訓練詞嵌入對深度學習模型的影響，在同樣的數據集上訓練了WORD2VEC詞向量模型，詞向量維度為100，最終訓練的詞向量大小為11 799×100維，模型的可視化結果如圖4所示。

圖4 WORD2VEC詞向量模型

2.2 實驗設計

本文實驗是基于Python語言的Google開源深度學習框架Tensorflow及其高級API——keras實現的。實驗環境的具體設置如表2所示。

表2 實驗環境設置

2.2.1 評價特征提取實驗設計

在商品評價特征提取中，首先利用jieba分詞工具對實驗數據集進行分詞與詞性標注處理，然后利用Stanford Parser進行依存句法分析，提取chunk句法組塊特征，最后利用IOB規則進行標注。例如，“按鍵的設計很合理”的處理結果如表3所示。

表3 數據集的標注

其中B-E/I-E代表商品實體，B-A/I-A代表商品屬性，B-S/I-S代表商品情感，O代表其他詞語。以6∶2∶2的比例劃分訓練集、驗證集與測試集，分別對BILSTM（baseline1）、BILSTM-CRF（baseline2）兩個基線模型、本文的融合句法特征與BERT詞嵌入的BILSTM-CER注意力機制模型的多組對照變體模型以及本文模型進行測試。其中，BILSTM-CRF+WORD2VEC、BILSTM-CRF+BERT是baseline2加入兩種預訓練詞嵌入的對照變體模型；BILSTM-CRF+WORD2VEC+FEATURES、BILSTMCRF+BERT+FEATURES是baseline2加入兩種預訓練詞嵌入與句法特征的對照變體模型；BILSTM-CRF+WORD2VEC+ATTENTION、BILSTM-CRF+BERT+ATTENTION是baseline2加入兩種預訓練詞嵌入與注意力機制的對照變體模型；BILSTM-CRF+WORD2VEC+ATTENTION+FEATURES、BILSTM-CRF+BERT+ATTENTION+FEATURES（本文模型）是baseline2加入兩種預訓練詞嵌入與注意力機制和句法特征的對照變體模型。從實驗結果的準確率、召回率、F1值以及模型的復雜度等多個方面對各個模型進行了分析。以上模型均基于Tensorflow1.2.0深度學習框架實現，在模型訓練過程中，詞向量維度設置為100，LSTM神經元個數設置為100，Adma的學習率設置為0.001，迭代次數（epoch）設置為100，批大?。╞atchsize）設置為20，并通過dropout機制避免實驗過擬合。參數說明如表4所示。

表4 特征提取模型參數說明

2.2.2 情感傾向判定實驗設計

在商品評價情感傾向判定中，將數據集以8∶2的比例劃分訓練集與測試集。為驗證BILSTM模型的性能，在句子級與特征級情感分類任務上分別進行機器學習與深度學習兩類對比實驗。

在機器學習實驗中，本文選用支持向量機、樸素貝葉斯、邏輯回歸、決策樹、隨機森林與K近鄰等最常用的文本分類方法分別進行句子級與特征級的情感分類；在深度學習中，分別在句子級與特征級情感分類上與普通的RNN[20]、LSTM[13]、GRU[21]、BIRNN[22]（雙向RNN）、BIGRU（雙向GRU）等模型進行對比。其中，機器學習模型的參數為sklearn中的默認參數，深度學習模型基于keras實現，在模型訓練過程中，迭代次數（epoch）設置為20，批大?。╞atchsize）設置為16，其余參數與特征提取模型參數一致。具體的參數說明如表5所示。

表5 深度學習模型參數說明

2.2.3 評價指標

在評價特征提取的實驗中，采用準確率、召回率和F1值作為實驗結果的分析指標，各指標的具體計算公式見公式（15）、（16）、（17）：

其中，P、R、F1分別代表評價特征提取的準確率、召回率與兩者的調和平均值；TP代表實體、屬性、情感識別正確的數量，FP代表實體、屬性、情感識別錯誤的數量，FN代表未識別出的實體、屬性、情感的數量。在商品特征情感傾向判定的實驗中，以分類精度作為實驗指標，計算公式見公式（18）：

其中，Acc代表精度，TP、TN分別代表積極情感與消極情感分類正確的數量，FP、FN分別代表積極情感與消極情感分類錯誤的數量。

2.3 實驗結果及分析

2.3.1 評價特征提取結果分析

按照上述實驗設計進行實驗，評價特征提取的準確率、召回率、F1值與模型的時間復雜度（程序運行時間）、空間復雜度（程序額外占用的空間）的結果如表6所示。

表6 評價特征提取結果

通過對表6的實驗結果進行分析，可以發現：（1）加入CRF層的BILSTM模型雖然時間復雜度有所提高，但是在特征提取的準確率上有較高的提升，進一步證明CRF層對BILSTM模型的輸出結果起到一定約束作用；（2）預訓練詞嵌入的使用可以進一步提高深度學習模型的準確率與召回率，但卻同樣提高模型復雜度，其中BERT模型的使用比WORD2VEC模型的F1值提高0.4%，但BERT預訓練詞嵌入的維數較高，所以占用的額外空間較WORD2VEC模型高；（3）句法特征的加入使得模型的性能有所提升，同時也在一定程度上降低模型的時間復雜度，主要是因為文本語義信息的加入加快了神經網絡的學習效率；（4）注意力機制的引入進一步提高模型性能，但是模型的時間復雜度卻提高一倍；（5）本文模型最終的F1值達到88.22%。其中，實體、屬性與情感詞的準確率、召回率、F1值情況如圖5所示。

圖5 模型抽取結果

為進一步探究預訓練詞嵌入對深度學習模型的影響，繪制沒有詞嵌入的BILSTM-CRF（baseline2）模型、BILSTM-CRF+WORD2VEC模型、BILSTM-CRF+BERT模型在訓練過程中的損失與驗證、測試過程中的精度變化曲線，如圖6所示。

圖6 模型訓練損失與驗證、測試精度曲線

由圖6可以看出，預訓練詞嵌入的使用提高了深度學習模型的學習精度，BERT詞嵌入的效果比WORD2VEC模型的效果要好。

2.3.2 情感傾向判定結果分析

為驗證BILSTM模型在情感分類任務上的性能，本文分別在相同的實驗數據集下進行機器學習與深度學習兩組實驗、句子級與特征級兩類級別的分析，由于此實驗過程無需額外存儲空間，因此只對時間復雜度進行分析。實驗結果的精度與時間復雜度（程序運行時間）如表7所示。

由表7的實驗結果可以看出：（1）在情感分類任務中，雖然機器學習的時間復雜度遠遠低于深度學習，但是深度學習方法的性能卻明顯優于機器學習方法；（2）在機器學習方法中，各個模型的時間復雜度相差無幾，其中支持向量機（SVM）方法效果最好；（3）在深度學習方法中，GRU與LSTM模型的性能要優于普通的RNN模型，但性能的提升同樣造成模型時間復雜度的提升；（4）雙向的RNN、GRU、LSTM模型比單向的RNN、GRU、LSTM模型的時間復雜度要高，但同時精度也得到進一步的提升；（5）特征級情感分類任務與句子級情感分類任務相比，不僅時間復雜度有所降低，分類的精度也有較高的提升；（6）在上述12種方法中，BILSTM模型效果最好，但時間復雜度也最高。BILSTM模型在特征級情感分類任務上的測試集精度達到88.5%，訓練集精度達到95.5%，訓練與驗證過程中損失與精度的變化情況如圖7所示，其中，train_loss、val_loss分別代表訓練損失與驗證損失，train_acc、val_acc分別代表訓練精度與驗證精度。

表7 情感傾向判定結果

圖7 BILSTM模型訓練、驗證過程損失與精度變化曲線

3 模型的應用

為進一步驗證本文模型的實際應用效果，將其應用于京東商城某品牌手機。通過對該品牌手機的在線評價數據進行爬取，獲得1 000條無重復數據的原始評價，并將原始評價轉換成評價短句。首先，利用本文實驗部分訓練的融合句法特征與BERT詞嵌入的BILSTM-CRF注意力機制模型進行評價短句的商品實體、屬性與情感詞的提??；然后，利用訓練好的BILSTM模型對提取出的商品實體、屬性與情感詞所組成的特征級詞組進行情感傾向的判定。提取的實體與屬性的分布情況如圖8所示。

由圖8可以看出，對于這款手機商品來說，用戶比較關注拍照、運行、屏幕和外觀等實體，以及效果、速度、性能、顏色等屬性。為進一步挖掘用戶的關注重點與情感態度，將實體屬性的組合進行分析，部分實體屬性的情感分析結果如圖9所示。

圖8 實體、屬性分布

圖9 實體屬性情感分析結果

由圖9可以看出，用戶對于這款手機商品總體來說比較滿意。其中，用戶較為關心的實體屬性主要是拍照的效果、運行的速度、屏幕的效果、外觀的顏色等，最滿意的是后殼的手感，最不滿意的是拍照的性能。因此，廠商在日后的生產過程中可以根據用戶關注重點與偏好進行商品的改進與完善；電商平臺可能比較關心用戶對于物流、服務態度以及價格的反饋等，通過對此類信息進行分析，可以進一步提高服務質量以提升用戶體驗；用戶則更關注商品中的各類細粒度評價信息，通過對已有商品評價進行分析，可以為用戶的購買決策提供參考。

4 總結與展望

本文從用戶的關注點出發，對在線商品評價進行更為細粒度的實體、屬性情感研究，提出一種融合句法特征與BERT詞嵌入的BILSTM-CRF注意力機制的細粒度商品評價情感分析模型。首先，利用融合句法特征與BERT詞嵌入的BILSTM-CRF注意力機制模型提取商品評價的實體、屬性與情感特征；然后，利用BILSTM模型對提取出的評價特征進行情感傾向的判定。以兩個公開的中文商品評價數據集SemEval-2016 Task 5和COAE Task3為實驗數據，從模型的復雜度與精度對模型的性能進行分析，實驗結果表明融合句法特征與BERT詞嵌入之后的深度學習模型在特征提取上優于BILSTM與BILSTM-CRF模型，在情感分類上，BILSTM模型表現比目前常用的情感分類模型的效果更好。

為檢驗模型的實際應用效果，將訓練好的模型應用于真實的商品評價進行分析，通過對用戶評價進行挖掘，分析出用戶對于商品的關注重點與情感態度，從而為商品的生產、銷售與使用三方提供細粒度的信息服務。本文的不足之處在于實驗的驗證數據集有限，并且沒有對商品的隱式特征與隱式情感進行分析，希望在接下來的工作中可以對此方面內容進行系統的研究，進一步提高情感分析模型的性能。