將行為依賴融入多任務學習的個性化推薦模型

顧軍華，李寧寧，王鑫鑫，張素琪

1.河北工業大學 人工智能與數據科學學院，天津 300401

2.河北省大數據計算重點實驗室（河北工業大學），天津 300401

3.天津商業大學 理學院，天津 300134

4.天津商業大學 信息工程學院，天津 300134

在互聯網技術快速發展的時代背景下，每天都會產生海量數據，對數據進行篩選和過濾已經成為系統中必不可少的環節。推薦系統應運而生，它可以幫助用戶方便地獲取需要的項目和服務，因此受到廣泛關注。

在各類推薦系統中，協同過濾算法的應用最為廣泛。協同過濾推薦算法[1]利用用戶的歷史交互行為學習用戶偏好并形成推薦結果，然而現有的推薦算法僅僅基于單一的行為類型對用戶和項目進行建模，忽略了真實的應用場景中用戶和項目之間存在著多種行為類型[2-3]。圖1 是在線商城用戶-項目的多行為交互示例，其中ui表示用戶i，vj表示項目j，e1、e2、e3、e4分別表示查看、加購、收藏和購買行為，用戶可以通過查看、加購、收藏等方式與項目進行交互[4]。多種行為類型數據的引入，可以有效緩解數據稀疏和冷啟動問題。聯合并挖掘多行為之間復雜的依賴關系，有助于獲取更準確的用戶偏好特征。多行為推薦算法中通常將購買作為目標行為，查看、收藏、加購等其他行為作為輔助行為。

圖1 在線商城用戶-項目的多行為交互Fig.1 User-item multi-behavior interaction in online retail

近年來，基于深度學習框架的推薦算法成為大量推薦平臺首選，它能通過用戶的交互歷史以及各種輔助信息有效地學習用戶和項目特征。目前基于深度學習的多行為推薦算法主要是基于圖神經網絡的方法，首先構建多行為交互圖，如圖2（a）所示，是根據圖1 中多行為交互數據構建的以用戶u1為中心的多行為交互圖，再利用圖神經網絡對多行為交互圖進行建模，捕獲用戶和項目高階協同信息。例如MBGCN（multi-behavior graph convolutional network）[5]和GHCF（graph heterogeneous collaborative filtering）[6]均利用圖卷積網絡處理多行為交互圖。另一個是基于循環神經網絡的方法，首先構建用戶多行為交互序列，如圖2（b）是按照用戶u1交互時間順序排列的多行為交互序列，再利用循環神經網絡對序列建模學習數據的時序特征，例如DUPN（deep user perception network）[7]和DIPN（deep intent prediction network）[8]分別利用長短期記憶網絡（long short-term memory，LSTM）[9]和雙向門控循環單元（bi-directional gated recurrent unit，Bi-GRU）[10]處理多行為交互序列，捕獲數據的時序特征。

圖2 多行為交互圖和多行為交互序列示例Fig.2 Examples of multi-behavior interaction graph and multi-behavior interaction sequence

基于圖神經網絡和基于循環神經網絡的多行為推薦方法都有效提高了推薦的準確率，但是也存在兩個問題：

第一個問題，未能全面捕獲行為之間復雜的依賴關系。MBGCN[5]和GHCF[6]都強調不同行為有不同重要性，通過區分行為的權重值聚合高階鄰域信息。這種方式只學習了行為的重要程度。KHGT（knowledge-enhanced hierarchical graph transformer network）[11]既強調了行為的重要程度，又強調行為之間的相互影響，首先利用圖注意力機制獲取行為權重，再利用注意力機制捕獲行為特征相關性，即行為間的相互依賴關系，但這些方法都忽略了行為間的時序相關性，即行為的時序特征。DUPN[7]和DIPN[8]強調行為發生的先后順序，用循環神經網絡對多行為交互序列建模，可以有效捕獲行為間的時序相關性，但無法捕獲行為間的特征相關性。綜上，兩種多行為推薦方法都存在片面性，實際上同時捕獲行為間的特征相關性和時序相關性有利于學習準確的用戶特征。

第二個問題，忽略了行為特征與用戶和商品的相關性。MBGCN[5]是根據用戶在不同行為下的交互次數學習行為權重，只考慮了行為與用戶的相關性。GHCF[6]中設置通用的行為向量，圖卷積時根據行為和項目特征學習聚合權重，只考慮了行為與項目的相關性。實際上行為特征與用戶和項目都存在相關性，行為與用戶的相關性是指每個用戶有不同的行為特征，行為與項目的相關性是指同一用戶在交互不同項目時有不同的行為特征。例如用戶u1買水果時往往先查看，然后直接購買。而購買筆記本電腦時則相對謹慎，通過查看、收藏和加購，然后才購買。即除了考慮不同用戶有不同行為特征之外，還需要考慮同一個用戶在購買不同商品時有不同的行為特征，因此同時捕獲行為與用戶和項目的相關性有助于獲取更準確的用戶和項目特征。

為了解決目前方法存在的主要問題，本文提出將行為依賴融入多任務學習的個性化推薦模型（integrating behavioral dependencies into multi-task learning for personalized recommendations，BDMR）。首先設置用戶個性化行為向量來表示行為特征，利用圖卷積網絡處理多個單行為交互圖，聯合用戶、項目和行為特征獲取行為權重，聚合鄰域高階信息，獲得基于行為的用戶和項目特征，再通過自注意力機制學習多行為間的特征相關性；然后，將用戶行為特征和項目特征構成的交互序列輸入循環神經網絡，挖掘多行為間的時序相關性；最終，將用戶個性化行為特征融入多任務學習框架中獲取更準確的用戶、行為和項目特征，從而提高推薦性能。

1 相關工作

根據目前多行為推薦算法對多行為交互數據的處理方式不同，將其分為基于圖神經網絡和基于循環神經網絡的多行為推薦算法。本章將介紹這兩種多行為推薦算法，并分析目前研究中存在的問題，提出本文方法的解決思路，然后介紹多任務學習框架的功能以及其在多行為推薦中的應用。

1.1 基于圖神經網絡的多行為推薦算法

近年來，基于圖神經網絡的模型在推薦系統中得到了廣泛的應用。圖神經網絡主要思想是采用深度神經網絡來聚合鄰居節點的特征信息，獲取更豐富的用戶和項目向量[12]。例如，GCN[13]、GraphSAGE[14]和GAT[15]分別采用卷積算子、長短期記憶網絡和自注意力機制來聚合鄰居節點的特征信息。目前圖神經網絡在多行為推薦中的應用日益廣泛，MBGCN[5]利用圖卷積網絡對用戶多行為交互圖進行建模，通過用戶交互次數學習行為權重聚合高階鄰域信息。KHGT[11]利用圖注意力網絡對用戶多個單行為交互圖進行建模，聚合高階鄰域信息時通過用戶對項目的偏好學習聚合權重；再結合注意力機制學習多個行為之間的特征相關性。GHCF[6]中除了考慮圖中節點信息，還引入邊信息，圖卷積時根據行為和項目特征學習聚合權重聚合高階鄰域信息。

利用圖神經網絡可以捕獲節點的高階鄰域信息，獲取更準確的用戶和項目表示，但在計算行為權重時，未能同時考慮行為特征與用戶和項目的相關性。并且基于圖神經網絡的多行為推薦算法需要基于預定義的圖結構數據，因此無法有效地捕獲節點的時序特征。

1.2 基于循環神經網絡的多行為推薦算法

在現實生活中，用戶的行為前后都存在極強的關聯性甚至因果性，因此可以將用戶和項目的交互建模為一個動態的序列并且利用序列的依賴性來捕捉用戶的交互特征。推薦系統中常常利用循環神經網絡來捕獲用戶行為的時序特征。目前常見的循環神經網絡結構有循環神經網絡（recurrent neural network，RNN）[16]、LSTM[9]、門控循環單元（gated recurrent unit，GRU）[17]以及它們的變體Bi-GRU[10]等。DUPN[7]中提出利用長短期記憶網絡處理多行為交互序列，長短期記憶網絡中同時輸入項目特征以及對應的行為特征來捕獲多行為交互的上下文信息和時序特征。DIPN[8]對DUPN 進行改進，提出利用Bi-GRU 捕獲多行為交互序列的時序特征，并結合注意力機制進行信息整合，從而提高推薦性能。

將包含項目和行為特征的交互序列輸入循環神經網絡中，可以有效捕獲項目上下文信息和行為的時序相關性。

1.3 基于多任務學習框架的多行為推薦算法

多任務學習（multi-task learning，MTL）是一種對不同但相關的任務進行聯合訓練的模式，多個任務并行訓練并且相互影響[18]。多任務學習有很多形式，如聯合學習、自主學習、借助輔助任務學習等[19]。在多行為推薦中，將每種行為的訓練作為一個任務，借助輔助任務加強目標任務的學習，其中將訓練輔助行為的預測模型作為輔助任務，將訓練目標行為的預測模型作為目標任務。輔助任務的目標在于學習到共享參數的表示，來幫助目標任務的學習。輔助行為和目標行為的產生都是源于用戶的興趣，因此輔助任務與目標任務密切相關，在訓練時可以學到有利于目標任務的表示。NMTR（neural multi-task recommendation）[2]根據行為發生的順序設計級聯關系，學習行為之間相關性，利用多任務學習框架改進輔助行為的預測模型，再進一步改進目標行為的預測模型。但NMTR 只通過行為發生順序考慮多行為的相關性，未能充分發揮輔助任務的作用。因此EHCF（efficient heterogeneous collaborative filtering）[20]

提出利用映射機制將輔助行為映射到目標行為空間，可以充分學習輔助行為對目標行為的影響，從而更好地利用輔助任務加強目標任務的訓練。

綜上，目前多行為推薦算法未能全面捕獲多行為之間特征相關性和時序相關性，并且只考慮了行為與用戶的相關性或行為與項目的相關性，未能同時考慮行為特征與用戶和項目的相關性。而有效捕獲以上信息可以更好地利用多任務學習框架學習用戶、行為、項目特征，為目標用戶提供更準確的推薦。

2 提出的方法

2.1 問題定義

多行為交互圖和多行為交互序列是本模型的重要輸入。本文定義用戶集合U={u1,u2,…,ui,…,uM}、項目集合V={v1,v2,…,vj,…,vN}，ui和vj分別表示用戶i和項目j。多行為交互圖G={U,V,E}，其中E代表圖中邊的集合，一個多行為交互圖G包含多個單行為交互圖Gk，Gk={U,V,Ek}表示k行為下的交互圖，其中Ek代表k行為邊的集合。邊表示ui和vj在k行為下的交互情況，如果=1表示存在交互，=0表示不存在交互。多行為交互序列可以定義為Seq={s1,s2,…,st,…,sT}，由用戶的近期T個交互組成，其中st表示第t個交互，st包含兩部分信息，表示為＜vt,pt＞，其中vt表示第t個交互中的項目信息，pt表示第t個交互中的行為類型。

通過輸入多行為交互圖G和多行為交互序列Seq，輸出目標行為下用戶u交互待推薦項目v的概率。

2.2 BDMR模型介紹

目前的多行為推薦算法，主要對行為之間的相關性進行研究。本文將行為之間的復雜依賴關系分為特征相關性和時序相關性。特征相關性是指行為與行為之間的相互影響，例如：加購行為比查看行為更能決定用戶的興趣，并且加購的商品更可能被購買。時序相關性是前一個行為的發生會對下一個行為產生影響，主要強調行為發生的時序特征，例如查看的商品可能被加購、收藏或直接購買。

目前多行為推薦算法中，利用圖神經網絡對多行為交互圖進行建?；蛘呃醚h神經網絡對多行為交互序列進行建模，都未能全面地捕獲多行為復雜的依賴關系，并且未同時學習行為特征與用戶和項目相關性。本文提出將行為依賴融入多任務學習的個性化推薦模型（BDMR），提出用戶個性化行為向量，利用圖卷積聚合高階鄰域信息，聯合用戶、行為和項目特征計算聚合權重，結合自注意力機制學習行為之間的特征相關性。并利用長短期記憶網絡捕獲行為的時序相關性。

圖3 中展示了該模型架構，模型主要分為三部分：（1）多行為圖卷積層，分別對多個行為下的交互圖進行圖卷積，聯合用戶、行為和項目特征獲取行為權重，聚合高階信息，獲得基于行為的用戶和項目特征，再結合自注意力機制學習不同行為下的用戶和項目特征相關性；（2）多行為循環神經網絡層，將用戶近期交互序列中的行為和項目特征同時輸入長短期記憶網絡學習多行為交互的上下文信息，獲得多行為的時序相關性，再結合注意力機制獲得與待推薦項目相關的用戶特征；（3）多任務預測層，將（1）和（2）層中獲得的用戶特征整合獲得用戶最終特征，結合用戶個性化行為向量以及多任務學習框架預測用戶在目標行為下交互待推薦項目的概率。

圖3 BDMR模型架構Fig.3 Model architecture of BDMR

2.2.1 多行為圖卷積層

圖卷積網絡的作用是加強用戶和項目特征的學習。多行為圖卷積層利用圖卷積網絡分別對K個單行為交互圖進行建模，學習k行為下的用戶特征uk和項目特征vk。利用圖卷積對k行為下的交互圖Gk={U,V,Ek}建模，建模時考慮到不同的用戶存在不同的行為特征，因此設置了用戶個性化行為向量pu,k，表示針對用戶的k行為特征。在圖Gk卷積過程中，將(u,pu,k,vj)作為三元組的（頭節點，關系，尾節點），通過計算三者內積獲得關系權重，以用戶為例，聚合權重由用戶u和(pu,k+vj)的內積得到。如圖4所示。

圖4 多行為圖卷積層Fig.4 Multi-behavior graph convolution layer

其中，vj表示用戶的交互項目，πvj,pu,k表示用戶u在行為k下交互項目vj的權重，的值越大表示項目vj越符合用戶在k行為下的興趣特征。表示用戶u在k行為下的鄰居信息。是經過歸一化后的權重值。

根據權重值將對應的鄰域特征加權求和，更新用戶和項目在k行為下的嵌入表示。

其中，uk,(h)和vk,(h)分別表示行為k下用戶u和v在第h層的表示。其中uk,(0)即用戶的初始嵌入u，其中vk,(0)即項目的初始嵌入v，經過H層的傳播后，得到單個行為下多個用戶和項目的表示，將這些表示合并得到用戶和項目多個行為下的表示，以行為k下的用戶表示為例：

然后，利用自注意力機制學習多行為之間的相關性，利用一層前饋神經網絡（feedforward neural network，FNN），融合多行為下的用戶交互特征，獲得用戶特征ufeature，ufeature捕獲了多行為下的用戶特征相關性。

2.2.2 多行為循環神經網絡層

為了捕獲行為之間的時序相關性，利用循環神經網絡處理用戶近期的交互序列，從而學習多行為交互的上下文信息以及行為的時序相關性。如圖5所示：本文選取用戶u的近期T個交互組成序列Seq={s1,s2,…,st,…,sT}，其中每個交互st包含行為向量pu,t和項目向量vt，并按照時間順序同時輸入長短期記憶網絡，長短期記憶網絡的門控機制公式如下：

圖5 多行為循環神經網絡層Fig.5 Multi-behavior recurrent neural networks layer

其中，it、ft和ot分別表示t時刻的記憶門、忘記門和輸出門。其中ct記錄著長期穩定的信息，ht記錄著短期局部的信息。將t時刻的行為特征pt和項目特征vt輸入記憶門it和忘記門ft，選擇ct-1需要保留和遺忘的特征。再經過輸出門更新得到短期記憶ht。

同時為了更準確地判斷當前用戶交互待推薦項目的可能性，本文利用長短期記憶網絡每層的隱藏層輸出ht，輸入注意力機制學習每個時刻的歷史交互特征與待推薦項目的相關性。首先定義注意力機制中的Q∈Rd×d，K∈Rd×d，V∈Rd×d，計算每個交互輸入值的權重。由查詢值和鍵值的內積決定，具體實現公式如下：

其中，βv,ht是待推薦項目v和t時刻的記憶ht的相關性得分。根據歸一化后的進行加權聚合，獲得utiming，utiming捕獲了多行為之間的時序相關性。

2.2.3 多任務預測層

多行為圖卷積層通過捕獲多行為之間的特征相關性學習用戶表示ufeature，多行為循環神經網絡層通過捕獲多行為之間的時序相關性學習用戶表示utiming，將兩者結合在一起得到用戶u的最終表示：

模型采用內積來計算用戶u在k行為下交互待推薦項目v的概率得分：

最后，利用多任務學習框架，同時訓練多個行為的預測模型，在訓練階段，采用Adam 算法來優化以下目標函數：

其中，K表示行為類型總數，λk是超參數。λk可以根據數據集進行調整，用來控制k行為對整體訓練的影響，其中。

2.2.4 BDMR模型訓練過程

算法1BDMR

2.2.5 BDMR復雜度分析

BDMR 模型主要包括多行為圖卷積層和多行為循環神經網絡層，因此整體計算復雜度是兩部分復雜度之和。多行為圖卷積層包含圖卷積和自注意力運算，其中圖卷積的計算復雜度為O(K×(M+N)×d2+|E|×d)，K表示行為個數，M和N分別表示用戶和項目個數，|E|表示交互圖中邊的個數，d為嵌入維度；自注意力運算的復雜度為O(K×d2+K2×d)。多行為循環神經網絡層包含LSTM 和注意力運算，計算復雜度為O(2×T×d2+T×d)，其中T為多行為序列輸入個數。另外，本文模型中K的取值在[1,4]之間，T的取值在[15,30]之間。綜上，多行為圖卷積層的復雜度遠遠大于多行為循環神經網絡層的計算復雜度。因此，BDMR 的計算復雜度相當于基于圖神經網絡的多行為推薦算法（MBGCN、KHGT、MBGMN（multibehavior with graph meta network）、GHCF）和其他多行為推薦算法（NMTR、DIPN、EHCF）的計算復雜度?？傊?，本文模型BDMR 的計算復雜度可以達到與最先進的多行為推薦算法（EHCF、MBGMN、GHCF）相當的計算復雜度。

3 實驗及分析

本章主要介紹實驗數據集、評估指標、實驗基準和參數設置，在Yelp、ML20M 和Tmall 數據集上進行對比實驗，并對實驗結果進行分析，最終驗證BDMR模型能有效提高推薦性能。

3.1 數據集

Yelp：美國著名商戶點評網站。根據用戶對商戶的評論數據和評分數據分為四種行為類型：（1）評價表示用戶對商戶進行了評論；（2）不喜歡表示用戶對商戶進行了評分且評分r≤2；（3）中立表示用戶對商戶的評分2 ＜r＜4；（4）喜歡表示用戶對商戶的評分r≥4。這里將{喜歡}設置為目標行為。

ML20M：MovieLens 公共數據集存儲了用戶對電影的評分信息，被廣泛用在推薦系統中，本文選取ML20M 作為實驗數據集，按照用戶的評分使用與Yelp相同的劃分標準。共劃分為三種行為類型{不喜歡，中立，喜歡}，并將{喜歡}設置為目標行為。

Tmall：在線商城網站，本數據集從天池平臺獲取，為保證每個用戶有足夠的訓練數據，過濾掉了交互數量少于5 個的用戶和項目。數據集中主要包含四種行為{查看，加購，收藏，購買}，并將{購買}設置為目標行為。

表1展示了這些數據集的詳細信息，其中字體加粗部分表示目標行為。

表1 數據集詳細數據Table 1 Detailed data of dataset

3.2 評估指標

實驗中采用了兩種常用的評價指標來評估模型性能，分別為命中率（hit ratio，HR）和歸一化折扣累計增益（normalized discounted cumulative gain，NDCG）。

HR 表示測試集中出現在Top-K推薦列表中的項目個數占測試集中總項目個數的比例。HR 值越大說明命中率越高。

其中，GT為測試集合中的項目總數，Number of Hits@K表示Top-K推薦列表中包含的測試集項目數量。

NDCG 表示測試集中項目在Top-K推薦列表中相關性和排序的綜合評估得分。NDCG 值越大說明排序結果越優。

其中，reli表示項目i的相關性得分，DCGu@K同時考慮相關性和順序因素，計算用戶u推薦列表中前K個項目的得分，IDCGu@K是DCGu@K歸一化后的結果，NDCG@K是將所有用戶的平均值作為最終分值。

3.3 實驗基準

為了驗證本文提出模型BDMR 的有效性，共對比了7個方法。

（1）NMTR[20]：按照行為發生順序設置級聯關系，引入多任務學習框架同時訓練多個行為的預測模型，借助輔助任務加強目標任務的學習。

（2）EHCF[2]：利用Trans 方式學習多行為間的相關性，引入多任務學習框架對多個行為的預測模型聯合訓練。

（3）DIPN[8]：利用雙向遞歸網絡學習用戶交互序列的上下文信息，并結合注意力機制來學習行為序列之間的依賴關系。

（4）MBGCN[5]：利用圖神經網絡學習用戶和項目特征，根據用戶在不同行為下的交互次數學習行為權重，行為權重決定了行為對用戶偏好的影響程度。

（5）KHGT[11]：利用圖注意力網絡捕捉每個行為語義特征，并結合注意力機制學習行為之間的相關性。

（6）MBGMN[21]：利用圖神經網絡對行為語義編碼，利用注意力機制學習行為之間的依賴關系以及個性化多行為模式。

（7）GHCF[6]：利用圖神經網絡學習用戶和項目特征，行為和項目特征決定聚合權重，并結合多任務學習框架，同時提高其他行為和目標行為的推薦準確率。

3.4 參數設置

實驗中，模型基于TensorFlow 框架實現，三個數據集的設置見表2。epoch 指模型訓練次數，三個數據集的訓練次數都是120；lr指學習率；batch_size指批次大??；d指用戶、項目和行為特征的嵌入維度；H指圖卷積層數；T表示近期交互個數。另外分別將Yelp、ML20M 和Tmall 數據集中多任務權重參數λk設置為[1/6，1/6，1/6，3/6]，[1/3，1/3，1/3]，[1/4，1/4，1/4，1/4]。每個數據集的λk之所以不同，是因為不同數據集中每個任務對用戶和項目特征優化的影響程度不同。同時為了保證實驗結果的準確性，本模型以及其他對比基準都在相同環境配置下運行。

表2 模型參數設置Table 2 Model parameter setting

3.5 模型性能評估

表3 展示了所有基準方法在三個數據集上的實驗結果。首先，本文提出的模型BDMR 相對于其他基于多任務的多行為推薦模型（NMTR、EHCF）結果更好，主要是因為NMTR 只能捕獲多行為交互之間的順序依賴特征；EHCF 利用映射機制學習了行為之間相互依賴關系，但未能捕獲用戶個性化行為模式，兩種多任務模型都存在局限性，未能完全捕獲行為之間的復雜依賴關系。其次，BDMR 相對于其他圖神經網絡模型（MBGCN、KHGT、MBGMN、GHCF）的實驗結果高，證明了捕獲行為時序相關性的有效性。在圖神經網絡基礎上應用多任務學習框架的模型（MBGMN、GHCF）相對于只使用圖神經網絡的模型（MBGCN、KHGT）整體性能更優，說明多任務學習框架能有效提高多行為推薦性能。同時BDMR 的實驗結果較循環神經網絡模型（DIPN）的實驗結果有明顯提升，證明了BDMR 中利用圖神經網絡捕獲了用戶和項目的高階協同信息能有效提高推薦性能。

表3 在不同數據集上的NDCG@10和HR@10性能比較Table 3 Performance comparison on different datasets in terms of NDCG@10 and HR@10

同時EHCF 和GHCF 相對其他模型性能較優，原因是這兩種模型采用非采樣學習機制，有效利用了所有交互數據?？傮w來看，BDMR 的推薦性能高于其他基準的性能。本模型的主要優勢是：能有效利用圖神經網絡中的高階鄰域信息，增強用戶和項目的表示；并且有效學習多行為之間的復雜依賴關系，利用自注意力機制學習行為之間的特征相關性，利用循環神經網絡學習行為的時序相關性；同時設置用戶個性化行為向量，捕獲了用戶個性化行為特征，圖卷積時利用用戶、行為和項目計算權重，學習行為與用戶和項目的關聯特征。

為了進一步驗證模型BDMR 的有效性，并且使實驗結果直觀和清晰，根據表3 的實驗結果，本文從基于多任務學習框架（NMTR、EHCF）、基于圖神經網絡（MBGCN、KHGT）、結合了圖神經網絡和多任務學習框架（MBGMN、GHCF）以及基于循環神經網絡（DIPN）的多行為推薦算法中選擇了性能較優的4 個算法，分別是EHCF、KHGT、GHCF、DIPN，然后改變K值評估模型性能。圖6 顯示了Tmall 數據集下的評估結果，從實驗結果中看出BDMR 在不同K值的實驗結果始終高于其他模型，說明BDMR 能有效捕獲行為與用戶和項目的關聯特征，以及行為之間復雜的依賴關系，從而能準確地給用戶推薦更符合其偏好的項目。

圖6 Tmall數據集上Top-K推薦的性能比較Fig.6 Performance comparison of Top-K recommendations on Tmall dataset

3.6 子模塊消融研究

為了驗證圖卷積神經網絡、循環神經網絡以及多任務學習框架對本文模型BDMR 性能的影響，使用BDMR 模型的3個變體W/O GCN、W/OLSTM 以及W/OMTL 在3 個數據集上進行比較，實驗結果在表4中展示，其中：

表4 BDMR子模塊的消融研究Table 4 Ablation studies of sub-modules in BDMR

W/O GCN 取消多行為圖卷積層，保留循環神經網絡和多任務學習框架；

W/O LSTM 取消多行為循環神經網絡層，保留多行為圖卷積層和多任務學習框架；

W/O MTL 取消多任務學習框架，只保留購買行為的目標函數。

表4 展示了消融實驗的研究結果，3 個變體模型相對于整體模型BDMR 實驗結果都有降低?？梢缘玫饺缦陆Y論：移除模型中任意一個模塊都導致模型的推薦性能下降，說明模型中捕獲多行為之間的復雜依賴關系、行為與用戶和項目的相關性，都能提升模型的推薦性能。同時多任務學習框架的應用可以有效提高目標行為的推薦性能。

3.7 超參數效果研究

為了評估不同參數對推薦性能的影響，本文展示了BDMR 在不同超參數設置和不同數據集下的實驗結果。主要對以下4個超參數進行調整。

用戶和項目的嵌入維度d：適中的維度可以有效學習用戶和項目的特征，而過高的維度可能導致過擬合，并且時間復雜度較高。本文將用戶、項目、行為設置為相同的嵌入維度，并在8～32 范圍內修改維度，使模型結果達到最優。如圖7（a）、（b)所示，隨著嵌入維度的增加，模型性能逐漸增加，當嵌入維度為32時，模型取得較優結果，并且嵌入維度由16增加到32 時，性能提升幅度較小，為了保障模型的運行效率，本文將3個數據集的最優嵌入維度都設為32。

圖7 嵌入維度d對性能的影響Fig.7 Impact of embedding dimension d on performance

多行為圖卷積層中圖卷積層數H：通過疊加卷積層數可以有效學習用戶-項目的高階協同信息，使推薦性能提高。如圖8（a）、（b）所示，3 個數據集在圖卷積層數為2 時，性能達到最優。當層數增加到3 時，性能反而下降，其原因是經過多層卷積之后獲得的節點特征變得相似，從而無法提升性能。

圖8 GNN層數對性能的影響Fig.8 Impact of GNN layers on performance

多行為交互序列中近期交互個數T：Yelp、ML20M、Tmall 的平均交互數分別是70、52、34。圖9中展示了模型在3 個數據集下的近期交互個數T分別為30、20、15 時結果為最優，說明近期交互個數并非越高越好，多行為循環神經網絡層除了能有效捕獲行為的時序相關性之外，還能有效捕獲用戶近期偏好。

圖9 近期交互個數對性能的影響Fig.9 Impact of number of recent interactions on performance

目標函數中多任務的分配權重λk：在多任務學習框架中λk的分配很大程度影響著BDMR 的推薦性能。在數據集Yelp 和Tmall 中有4 種行為類型，需要設置4 個權重參數λ1、λ2、λ3、λ4，其中每個λk參數從[1/6，1/4，1/3，1/2]中選值，并保證λ1+λ2+λ3+λ4=1，同理，ML20M 數據集需要設置3 個權重參數λ1、λ2、λ3。每個λk參數從[1/6，1/3，1/2]中選值，并保證λ1+λ2+λ3=1。本模型根據實驗結果調整λk使結果達到最優，最終Yelp 數據集中λ1、λ2、λ3、λ4分別設置為[1/6，1/6，1/6，3/6]時達到最優值；ML20M數據集中λ1、λ2、λ3分別設置為[1/3，1/3，1/3]時達到最優值；Tmall 數據集中λ1、λ2、λ3、λ4分別設置為[1/4，1/4，1/4，1/4]時達到最優值。

4 結束語

針對目前多行為推薦算法中未能全面捕獲多行為之間復雜的依賴關系，忽略了行為特征與用戶和項目的相關性等問題，本文提出將行為依賴融入多任務學習的個性化推薦模型（BDMR）。首先，設置針對用戶的行為向量，學習用戶個性化行為特征；其次，利用圖卷積神經網絡捕獲不同行為下用戶和項目的高階協同信息，并且同時考慮用戶、行為和項目三者相關性獲取行為權重，再結合自注意力機制學習行為的特征相關性；然后，利用長短期記憶網絡學習行為的時序相關性；最后，將個性化行為特征融入多任務學習框架獲取更準確的用戶、行為和項目特征。為了驗證本模型的有效性，對比了多種多行為推薦模型，實驗結果顯示，在3個真實數據集上BDMR都比KHGT 和DIPN 的結果更優，說明BDMR 模型能有效捕獲行為之間的復雜依賴關系。同時相比MBGCN和GHCF取得更好結果，說明BDMR模型有效學習了行為與用戶和項目的相關性。

盡管BDMR 模型能有效提升推薦性能，但是利用多任務學習框架需要人工調整多任務的權重參數，并且為使模型達到最優性能，需要為不同模型設置不同的權重分配方案。因此下一步的工作是對模型中多任務的權重參數的分配方案進行改進，使其能夠自適應學習權重，從而為用戶提供更優更精準的推薦。