基于特征權重與情感偏好的可解釋推薦

戴 興，劉永堅，解 慶+，劉平峰

(1.武漢理工大學 計算機科學與技術學院，湖北 武漢 430070； 2.武漢理工大學 經濟學院，湖北 武漢 430070)

0 引 言

目前基于用戶和物品的協同過濾推薦[1]、基于內容的推薦[2]、基于知識的推薦[3]等主流推薦算法已經發展得較為成熟，并廣泛應用于電子商務、社交網絡等領域。為了準確預測用戶對商品的偏好，用戶和商品之間的相關性分析常常應用于推薦模型，因為購買同一商品的用戶之間以及同一用戶購買的不同商品之間存在相關性(下文分別用相似用戶和相似商品表示)，有直接交互的用戶和商品間也具有一定的關聯性(下文用交互商品和交互用戶表示)。Wu等[4]提出RMG模型利用注意力機制為用戶、商品間的相關性建模，學習用戶和商品的表征預測評分。雖然RMG模型考慮了用戶、商品間的相關性，但是忽略了用戶對商品不同屬性的偏好差異，以及商品不同屬性的重要程度。此外，傳統推薦算法通常僅提供推薦結果，用戶只能被動地接受推薦，推薦過程不具有可解釋性，影響推薦效果和系統成交率。

基于以上分析，本文提出了基于特征權重與情感偏好的可解釋推薦算法(explainable recommendation based on weighted feature and emotional preference，EWFEP)。該算法從歷史評論數據中挖掘用戶偏好和商品屬性以及不同商品特征的重要程度，結合注意力機制精確刻畫用戶/商品表征，并以此設計可解釋的推薦算法，同時引入貝葉斯個性化排序[5,6]，優化整個算法模型。在最后推薦商品時提供特征短語級別的解釋以提高推薦質量。在Amazon和Yelp數據集中的實驗結果驗證了EWFEP模型的有效性。

1 相關工作

1.1 基于評論的推薦方法

近年來，大量研究[7]驗證了利用用戶對商品的歷史評論能夠有效提高推薦的準確性。最初，學者們使用主題建模技術從評論中提取語義特征，并將語義主題整合到潛在因子學習模型中。TLFM模型[8]提出了兩個單獨的因子學習模型，利用用戶和項目的情感一致性和文本一致性，將這兩個模塊結合在一起進行評分預測。然而該方案需要將目標用戶和項目成對的評論作為輸入，在實際應用中可行性不高，因此該方法將推薦任務轉變為情感分析任務。

最近，許多對評論的上下文信息建模的研究工作被提出。DeepCoNN模型[9]使用并行的CNN網絡從用戶和項目評論中提取語義特征，然后將提取的特征輸入到分解機(FM)中進行評分預測。TransNet模型[10]在DeepCoNN的基礎上添加額外的隱藏層來表示用戶和商品，該隱藏層表示與目標用戶-目標項目對相對應的評論的近似值，使之與訓練集的評論文本類似。D-Attn模型[11]采用全局和局部的注意力機制來識別評論文檔中的重要單詞，更精確挖掘用戶和商品的表征預測評分。NARRE[12]認為對于不同的用戶-項目對評論應該被區別對待，并使用注意機制選擇有用的評論，用于評級預測。MPCN模型[13]利用基于指針的共同注意方案啟用多層次的信息選擇，能夠識別重要的評論及評論中重要的詞，從而更準確地預測評分。RMG模型[4]使用注意力機制從評論中學習用戶和商品的個性化表示，繼續使用注意力機制對用戶、商品之間的交互建模，進一步學習用戶和項目的表示。上述基于評論和基于特征的解決方案通過識別重要的單詞或特征來得到用戶/項目的表征，然后為用戶項目之間相關性建模來提高推薦的質量。然而在為用戶項目相關性建模時，忽略了用戶對不同特征的關注度和商品不同屬性的重要程度。

1.2 可解釋推薦

現有研究[14]表明，給用戶推薦商品的同時提供合理的推薦理由，不僅可以提高用戶對推薦商品的接受度，還能激發用戶對系統的信心，幫助用戶更快地做出良好的決策以提升決策的效率和有效性。解釋的形式一般包括句子、標簽/關鍵字、特征短語以及不同類型的可視化方案等。

MTER[6]從用戶評論中構建情感詞典，生成3個三維張量，并將三維張量進行Tucker分解，在損失函數中引入貝葉斯個性化推薦進行優化，最后生成自由文本作為解釋。NARRE模型[12]認為不同評論重要性不一樣，通過注意力機制給每條評論賦予一個權重，將權重高的評論作為解釋呈現給用戶。MT模型[15]利用對抗式序列學習生成目標用戶對目標項目的評論作為解釋。Wang等[16]通過引入決策樹學習決策規則，與嵌入模型結合進行推薦，使整個推薦過程具有解釋性。

上述方法中作為解釋的生成的文本可能會有語句不順，而且評論可能只是某個用戶的觀點，并不能代表商品的真實屬性特點。在EWFEP模型中，從評論中提取顯式特征，并采用TF-IDF確定其權重，將顯式特征和權重作為解釋，用戶可以更加直觀地了解商品的屬性及其質量。

2 可解釋推薦算法EWFEP

本節將詳細介紹本文提出的EWFEP模型。如圖1所示，EWFEP模型由3個模塊組成：模塊一是文本處理模塊，從評論文本中提取特征及其情感構建情感詞典，然后構建用戶/商品表征，并確定特征權重；模塊二是交互建模模塊，為用戶-用戶、商品-商品、用戶-商品間的相關性建模，結合模塊一中的特征權重學習最終用戶/商品的表征；模塊三是預測層，主要負責結合模塊二中得到的用戶和商品表征與評分矩陣中挖掘出的潛在向量進行評分預測，并引入貝葉斯個性化排序減小評分預測誤差，提升模型性能。

圖1 EWFEP模型框架

2.1 文本處理模塊

2.1.1 構建情感詞典

由于用戶在評論中提及特征的頻次及其表達的情感傾向能夠反映出用戶的偏好以及商品的屬性質量，因此首先從評論文本中構建情感詞典。這個過程主要分為兩步：首先采用語法和形態學分析工具從評論文本中提取特征詞集F，根據提取到的特征詞，匹配對應的情感詞；然后利用知網的情感分析詞語集確定該特征的情感因子(若檢測存在否定詞，則將情感極性逆轉)。從評論文本中提取出一系列二元組(f,s)構建情感詞典，其中f表示特征，s為該特征對應的情感因子。本文將知網情感分析用語集劃分為5個情感程度等級，如式(1)所示

(1)

2.1.2 建立初始表征矩陣與特征權重矩陣

假設F={f1,f2,…,fn} 表示評論中出現頻率最高的n個特征，U={u1,u2,…,um} 表示m個用戶，對于用戶ui， 假設特征fj在與其相關評論中出現tij次。為了將tij縮放到與評分矩陣相同的范圍[1,N]，通過式(2)進行映射，則用戶特征矩陣Ur的對應元素為

(2)

其中，N表示滿分評分，一般為5，如Amazon和Yelp。

評論中表達對商品屬性的情感可以體現商品該屬性的質量，因此在構建商品屬性矩陣時需要考慮商品屬性對應的情感程度。類似地，假設P={p1,p2,…,po} 表示o件商品，屬性fj在商品pi相關評論中出現t次，t次的情感均值為sij， 則商品屬性矩陣Pr的對應元素為

(3)

通常用戶對不同特征關注度不同，商品不同屬性的重要性也不同，且用戶傾向于在評論中頻繁提及其關注的特征，同時評論中特征對應的情感傾向可以體現商品的屬性質量。因此利用從評論中提取出的特征及其情感極性構建用戶特征權重矩陣和商品屬性權重矩陣。

TF-IDF(term frequency-inverse document frequency)算法一般用來計算文檔中某個詞的重要性，本文采用TF-IDF的思想計算用戶特征權重和商品屬性權重。用戶特征權重矩陣與商品屬性權重矩陣構建類似，本節以用戶特征權重矩陣的構建為例，商品屬性權重矩陣同理。TFij代表用戶ui相關評論中特征fj出現的次數占用戶ui評論中所有特征出現次數的比重，TFij越大表示用戶ui對特征fj的關注度越高。IDF(j) 代表屬性fj在所有用戶中提及該特征的用戶數比重，IDF(j) 越大表示提及屬性j的用戶越少，說明屬性j對目標用戶越重要。用戶ui對特征fj的關注度wij計算式(4)～式(6)

(4)

(5)

wij=TFij*IDF(j)

(6)

2.1.3 表征優化

(7)

(8)

(9)

(10)

(11)

其中，k是一個比例系數，本文將通過實驗研究k的取值對模型性能的影響。同理，用戶的特征權重矩陣和商品的屬性權重矩陣進行同樣的迭代處理。

2.2 交互建模模塊

用戶和商品并不相互獨立，用戶與用戶之間，商品與商品之間以及用戶與商品之間都存在一定的相關性。如圖2所示(圓圈代表用戶或商品，線表示購買或評論行為)，由于u1購買了p1也購買了p2、p3，u2購買了p1，u3購買了p1，也購買了p4。因此p1與u1，u2，u3有關聯，同時也與p2，p3，p4有一定的關聯。本節將具體研究用戶商品間的相關性及其在推薦模型中的作用。

圖2 用戶商品交互

(12)

(13)

(14)

其中，w和b是可調參數，β是交互商品相應的注意權重。

由于式(14)未考慮用戶對不同特征的關注度以及不同屬性對商品的重要程度，因此引入2.1.2節中得到的權重矩陣，則相似用戶對目標用戶的特征偏好貢獻為

(15)

(16)

(17)

同理，可以得到商品的優化表征向量。

2.3 預測層

2.3.1 評分預測

評分矩陣中也包含豐富的用戶和商品信息，因此引入潛在因子模型(latent factor model，LFM)，通過矩陣分解技術從評分矩陣中學習用戶和商品的潛在特征向量，并將潛在特征與顯式特征建立映射關系

(18)

其中，pu∈Rm×n，qi∈Ro×n，n為上文選取的特征數，bu、bi、μ分別是用戶偏量、商品偏量和全局偏量。結合評論中挖掘到的表征，采用LFM的思想根據式(19)預測評分

R′u,i=W(Uf+pu)*(Pf+qi)T+bu+bi+μ

(19)

其中，W為參數，Uf和Pf分別是評論中學習的用戶和商品表征，bu、bi、μ為用戶偏量、商品偏量和全局偏量。如果將W置為1，忽略Uf和Pf， EWFEP模型就變成了潛在因子模型。

2.3.2 貝葉斯個性化排序優化

貝葉斯個性化排序(Bayesian personalized ranking，BPR)是基于矩陣分解的一種排序算法。BPR代替了SVD中的逐點學習，對一個用戶和兩個項目的三元組建模。如果用戶u與項目i有交互，則假定相比所有其它未交互的項目，用戶更喜歡該項目。在訓練集中構建三元組 ， 在本模型中表示：①用戶u對商品i有歷史評分或評論，而對商品j沒有任何歷史評分或評論；②用戶u對商品i和商品j都有歷史評分，但對i的評分比商品j的評分高。BPR的優化目標基于最大后驗估計概率，化簡后見式(20)

(20)

其中，σ是sigmoid函數，是在原始數據集中構建出的三元組數據集，λ是正則化參數。

引入貝葉斯個性化排序后模型的損失函數為

(21)

其中，rij為真實評分，r′ij、r′ik為預測評分。

2.4 推薦解釋性分析

傳統的推薦算法模型很難在生成推薦結果時提供推薦理由。本文特征屬性的權重可以直接表示用戶的偏好和商品屬性的質量。將特征屬性和權重作為推薦解釋，用戶可以直觀了解推薦理由，以便做出明智的決定。

應該將用戶關注度較高且商品有較好質量的特征屬性作為解釋。本文綜合考慮2.1.2節中構建的用戶特征權重矩陣Wu和商品屬性權重矩陣Wp， 將對應的特征與屬性權重相乘作為最終權重矩陣W(見式(22))，同時考慮到了用戶的偏好和商品的屬性質量。生成推薦結果后，選取其中最重要的3個特征和權重值作為解釋，同推薦結果一起提供給用戶

W=Wu?Wi

(22)

其中，?表示矩陣對應元素相乘。

例如給用戶推薦一家餐廳，EWFEP模型提供的解釋如圖3所示，用戶可以快速了解自己關注且餐廳較突出的特征及其權重，進而決定是否在該餐廳用餐。

圖3 解釋樣例

3 實驗結果與分析

3.1 數據集和實驗設置

為了驗證EWFEP模型的有效性，在Amazon中的Toys_and_Games,Kindle_Store和Movies_and_TV以及Yelp Challenge (下文分別用Toys,Kindle,Movies和Yelp表示)4個公開數據集中進行實驗。這些數據集涵蓋了不同領域，其中Yelp是最大的數據集，包含超過300萬條評論，而Toys是其中最小的數據集，僅約16萬條評論。由于原始數據非常大且稀疏，本文對所有數據集進行了預處理，僅保留評分或評論記錄不少于5，且評論中提取出特征數不少于10的用戶和商品。數據集的詳細信息見表1。

表1 數據集的詳細特征

3.2 評價指標

評分預測任務通常用均方根誤差(RMSE)、均方誤差(MSE)或平均絕對值誤差(MAE)作為評價指標，本文采用RMSE作為模型性能的評價指標，RMSE值越小表示模型性能越好。RMSE的計算見式(23)

(23)

其中， |TestSet| 代表測試集中的評分記錄數。

3.3 比例系數k值的影響

比例系數k的取值會直接影響用戶和商品的表征，進而影響模型的性能。本文通過對k取不同值進行對比實驗研究k值對EWFEP模型性能的影響。

實驗結果如圖4所示，從圖4中可以看出當k取值較小時，EWFEP模型的誤差較大，隨著k值增大，EWFEP模型的性能逐漸提升，當到達某個閾值后，EWFEP模型的效果隨著k值的繼續增大而逐漸變差。這是因為較小的k值會影響評論中挖掘的表征特征屬性的關系，而較大的k值會導致評論中挖掘的表征存在偏差，且具有一定的數據稀疏性，影響了模型的性能。從圖中可以看出當k取值為0.6時，各數據集的誤差都達到最小，模型性能達到最佳，因此本文比例系數k取值為0.6。

圖4 k值的影響

3.4 特征權重的影響

在本小節，通過對比實驗研究特征權重對EWFEP模型的影響。將EWFEP模型與其變體EWFEP-b忽略特征權重進行比較，實驗結果如圖5所示。結果表明在建模時考慮不同特征權重能夠有效減小評分預測誤差。這符合預期，因為不同的用戶對特征的關注度不同，不同商品屬性的重要程度也不同。在建模時考慮特征的權重，學習到的用戶和商品的表征更貼近其真實表征。

圖5 特征權重的影響

3.5 特征數的影響

本小節通過實驗研究特征數n對EWFEP模型性能的影響。本文依次選取特征數為 (10,20,30,40,50,60,70,80,90,100) 進行實驗，結果如圖6所示。從圖6中可以看出，當選取的特征數n較小時，模型性能不佳，選取的特征數n太大時，模型的性能也逐漸下降，只有選取合適的特征數時，模型的性能達到最佳。因為選取的特征數較小時，大量有用信息被丟失，不能準確表示用戶的偏好和商品的屬性；而特征數選取太大會引入大量噪聲，另外用戶常關注的特征數量有限，選取特征數過大會由于大量用戶未提及這些特征，造成用戶和商品的表征矩陣更加稀疏，直接影響模型效果，因此針對不同領域應選取合適的特征數。數據集Toys和yelp特征數為50時，模型的效果達到最好，而數據集Kindle和Movies特征數為60時，模型表現最好。

圖6 特征數的影響

3.6 性能評估

3.6.1 對比模型

實驗通過與幾種基準方法對比來評估EWFEP模型的性能?；鶞史椒ㄟx取了3個目前較為先進的模型：

(1)DeepCoNN[9]：深度協同神經網絡，利用深度學習技術對文本評論中的用戶和項目進行聯合建模的最早方法。

(2)Attn+CNN[17]：基于注意力機制的CNN，同時使用CNN和對單詞嵌入的注意力機制從評論中學習用戶和商品的表示。

(3)NARRE[12]：具有評論級別解釋的神經注意評分回歸模型，該模型使用注意力機制對商品評論的信息性進行建模。

(4)EWFEP：本文提出的模型，從評論中提取顯式特征表示用戶和商品的表征，為用戶商品交互建模并考慮用戶和商品特征屬性的重要程度得到最終的表征進行評分預測。

選取的基準方法中DeepCoNN是僅使用了評論文本的深度學習模型，Attn+CNN和NARRE模型結合了評分數據，并加入了注意力機制，EWFEP模型同時使用評分與評論，并引入注意力機制和深度學習技術，同時為用戶商品交互建模時考慮不同特征屬性的重要程度。各種方法具有的特征總結見表2。

表2 各種方法具有的特征

3.6.2 實驗設置

實驗隨機將每個數據集的80%作為訓練集，10%作為驗證集，剩下的10%作為測試集。通過訓練集訓練參數，驗證集選取參數，測試集評估模型性能。EWFEP模型正則參數λ=0.001，防止過擬合dropout=0.5，attention_size=64。

3.6.3 對比結果分析

EWFEP模型與其它對比模型的實驗結果見表3。從表中可以得出以下結論。

表3 不同模型對比結果

(1)本文的EWFEP模型在4個數據集中的評分預測誤差比次優的模型均降低了3%以上，4個數據集的平均預測誤差降低了3.62%，最大降低了4.93%。

(2)同時考慮評分數據和評論文本的模型比僅考慮評論文本的性能更好。因為評分數據中包含了大量用戶和商品信息，作為評論文本的補充，能夠更準確學習用戶的偏好和商品的屬性。

(3)引入了注意力機制的模型比未使用注意力機制的效果更好。因為注意力機制可以為重要的詞、句子、評論、用戶/商品等分配更高的權重，能更好挖掘用戶的偏好和商品的屬性。

(4)考慮了用戶和商品之間相關性以及特征屬性重要程度的比未考慮的表現更佳。這與直觀理解相符，用戶商品之間不是相互獨立的，用戶與其相似用戶和交互商品具有一定的相關性，商品同樣與其相似商品和交互用戶有關聯性，且用戶對不同特征的關注度不同，商品不同屬性的重要性也不同。

4 結束語

本文提出了一種基于特征權重與情感偏好的可解釋推薦算法EWFEP，該方法從評論中提取出特征及其情感程度，構建用戶和商品的表征并利用TF-IDF算法確定特征的權重。在為用戶/商品之間的相關性建模時考慮不同特征的權重，可以更準確學習用戶的偏好和商品的屬性。在生成推薦商品時，結合商品屬性權重與用戶偏好，將權重最大的3個特征屬性作為解釋。在4個真實數據集中的對比實驗結果表明，EWFEP模型的準確度有較大提升。下一步工作將重點研究用戶商品間的高階交互，更精準挖掘用戶的偏好和商品的屬性，進一步提升模型的效果。