面向知識圖譜鏈接預測任務的解釋子圖生成模型

姚俊萍 袁聰 李曉軍 郭毅 王浩 周志杰

收稿日期：2023-06-02；修回日期：2023-08-14? 基金項目：國家自然科學基金資助項目；陜西省科技創新團隊項目

作者簡介：姚俊萍（1978—），女，陜西人，教授，碩導，博士，主要研究方向為信息系統與數據工程；袁聰（1996—），男，河南淇縣人，碩士研究生，主要研究方向為知識圖譜推理；李曉軍（1981—），男（通信作者），河北人，副教授，碩導，博士，主要研究方向為信息系統與數據工程（xi_anlxj@126.com）；郭毅（1981—），男，陜西西安人，工程師，博士，主要研究方向為大數據與軟件工程；王浩（1996—），男，內蒙古呼和浩特人，碩士研究生，主要研究方向為數據噪聲標簽處理；周志杰（1978—），男，山西人，教授，博導，博士，主要研究方向為證據推理、置信規則庫．

摘? 要：近年來圖神經網絡（GNN）發展迅速，相關模型在知識圖譜鏈接預測任務上的性能顯著提升。為解釋性能提升的原因，研究人員需要提取GNN學習到的子圖模式。然而現有GNN解釋器在知識圖譜這類典型多關系（multi-relation）圖數據場景下的解釋準確性尚未被驗證，且相關工具尚未實現，導致解釋子圖提取困難。針對該問題，提出一種將多關系的知識圖譜轉換為單關系（uni-relational）圖的知識圖譜鏈接預測模型，該模型通過將知識圖譜中的實體組合為新的節點，并將關系作為新節點的特征，生成只有單一關系的新圖，并在新圖上訓練去噪自編碼器使其獲得鏈接預測能力，最后使用GNN解釋器生成子圖解釋。在三個基準數據集上的實驗表明，與不進行轉換的GraIL相比，基于單關系轉換的鏈接預測模型的相對AUC指標提升顯著。最后，該模型選取FB15K-237數據集進行解釋子圖提取實驗，驗證了模型在直接提取鏈接預測解釋方面的有效性。

關鍵詞：可解釋性；知識圖譜；知識推理；圖神經網絡；模型無關解釋方法

中圖分類號：TP391??? 文獻標志碼：A??? 文章編號：1001-3695（2024）02-008-0375-06

doi：10.19734/j.issn.1001-3695.2023.06.0260Interpretive subgraph generation model for

knowledge graph link prediction task

Yao Junping，Yuan Cong，Li Xiaojun，Guo Yi，Wang Hao，Zhou Zhijie

（Rocket Force University of Engineering，Xian 710025，China）

Abstract：In recent years，GNN has developed rapidly，and the performance of related models in knowledge graph link prediction tasks has been significantly improved.To explain the performance improvement，the researchers need to extract the subgraph patterns learned by the GNN.However，the interpretation accuracy of existing GNN interpreters in typical multi-relational graph data scenarios such as knowledge graphs has not been verified，and related tools have not yet been implemented，resulting in difficulty in extracting interpretation subgraphs.In response to this problem，this paper proposed a knowledge graph link prediction model that converted a multi-relational knowledge graph into a uni-relational graph.The model combined the entities in the knowledge graph into new nodes and the relationship as a new node.Node features generated a new graph with only a single relationship，and trained a denoising autoencoder on the new graph to obtain link prediction capabilities，and finally used a GNN interpreter to generate subgraph explanations.Experiments on three benchmark datasets show that the relative AUC index of the link prediction model based on single-relational transformation is significantly improved compared with GraIL without transformation.Finally，this paper selected the FB15K-237 dataset to conduct explanatory subgraph extraction experiments，and verified the effectiveness of the model in directly extracting link prediction explanations.

Key words：interpretability；knowledge graph（KG）；knowledge reasoning；graph neural network（GNN）；model-agnostic explanatory methods

0? 引言

知識圖譜（KG）［1］是一種使用標準格式三元組表示的事實集合。同時，它也被認為是一種以圖結構作為存儲形式的數據庫，圖中的每個節點和邊分別代表知識圖譜中的實體和它們之間的關系。由于現實中的知識圖譜，尤其是大規模知識圖譜往往不是完備的，這導致許多下游任務如基于知識圖譜的問答系統［2，3］和推薦系統［4，5］在實踐中的表現受到限制。因此，為了實現對實體間缺失關系的預測，進而對不完整的知識圖譜進行自動補全，知識圖譜上的鏈接預測任務受到了越來越多的關注?；谇度氲闹R圖譜鏈接預測模型［6］旨在為知識圖譜中的實體和關系學習合適的向量表示，并基于學習到的表示得到關系的預測結果。得益于圖神經網絡（graph neural network，GNN）近年來的發展，基于嵌入的知識圖譜鏈接預測模型有了新的編碼器可以選擇。根據消息傳遞范式MPNN［7］對GNN的描述，GNN是通過聚合（aggregate）和更新（update）兩個函數更新每個節點特征，在聚合每個節點鄰域的過程中將圖數據的拓撲信息也編碼到了節點表示中，因而學習到的嵌入相比傳統方法效果更好。知識圖譜的邏輯結構也是一種圖結構數據，因而使用GNN來獲得知識圖譜的表示，進而對知識圖譜進行補全成為一個自然的研究方向［8］。

可解釋性一直是所有基于神經網絡的算法和應用實踐中面臨的共同挑戰。研究可解釋性可以建立用戶的信任，另一方面對研究者而言，給出的解釋也是輔助科學發現的重要途徑。當前對于基于GNN的相關模型的可解釋性研究主要集中在開發一種解釋器，通過解釋器尋找輸入圖中與模型預測結果最相關的子圖。這些子圖可以反映出GNN在決策時所依據的模式。

GNN主要面向單關系數據上的節點分類任務以及圖分類任務［9］，因而現有的解釋器也主要面向單關系場景。要想為知識圖譜上的鏈接預測任務生成解釋，則需要解釋器可以在多關系圖上正常工作，但現有的解釋工具發展均不成熟，針對知識圖譜中推理模式的研究難以開展。為解決這一問題，本文提出一種將多關系圖轉換為單關系圖的知識圖譜鏈接預測模型。通過這樣的轉換，一方面可以將復雜的多關系圖轉換為更簡單的單關系圖，另一方面也可以將鏈接預測任務轉換為一種節點分類任務。圖1展示了一個轉換的示例。

圖1（a）是一個小型的知識圖譜，存在兩種關系（livesIn和isMarriedTo）以及五個實體?？梢钥闯鏊且粋€比較復雜的有向多關系圖，通過轉換，圖1（b）中已經不包含關系的類型單關系圖，且每條邊都是無向的。GNN只需要在轉換后的圖上學習如何準確預測節點（Rose，NewYork）的類型為livesIn。

在此背景下，本文開展基于單關系轉換的知識圖譜鏈接預測子圖解釋生成研究，主要貢獻為：

a）提出了一種將多關系圖向單關系圖進行轉換的方法。這種轉換可以令現有的解釋器不加改動地應用到知識圖譜鏈接預測的任務上。

b）驗證了在多關系數據場景下提取解釋子圖的可行性，并就提取的子圖進行了分類分析。

1? 相關工作

a）基于GNN的知識圖譜補全。知識圖譜是一種多關系圖，而GNN主要是為單關系圖設計的，因此要應用在知識圖譜上，需要根據這樣的數據特點進行針對性設計。Marcheggiani等人［10］提出一種新的基于GNN的語義標注模型Syntactic GCN，該模型首次將句法依存樹視做一種圖結構數據進行處理，并第一次提出了為每種不同類型的邊分別定義參數矩陣的思想。Schlichtkrull等人［11］在這項研究的基礎上進一步抽象總結提出了R-GCN模型，第一次證明了GNN可以應用于建模知識圖譜這樣的關系數據。類似地，Vashishth等人［12］認為R-GCN僅學習了節點表示而沒有學習關系的表示，因此不能直接應用于需要關系嵌入的鏈接預測任務中，于是提出CompGCN來解決此問題。除了為每種關系定義參數矩陣外，Nathani等人［13］提出可以在聚合時為每條邊分配注意力分數，通過注意力分數控制在聚合時不同類型邊上的消息傳播。上述工作均聚焦于改進GNN自身的聚合組件，另一些工作致力于通過對知識圖譜進行一定的預處理后再利用R-GCN 等捕獲相關特征。例如：GraIL［14］通過提取目標三元組的局部子圖，然后結合GNN進行推理；RED-GNN［15］借助KG中提取的有向關系圖，然后基于關系有向圖訓練GNN進行推理。以上基于GNN的模型在各項指標上取得了良好的表現，其有效性往往歸因于GNN從數據中學習到了傳統方法所不能感知的拓撲結構信息，而要顯式提取出所學習到的拓撲結構則需要借助于面向GNN的解釋方法。

b）面向GNN的解釋方法?？山忉屝允巧疃葘W習領域的一個重要研究內容，文獻對其分類的角度比較多。主要的二分法有實例級和模型級解釋、事前解釋和事后解釋以及模型相關和模型無關解釋。要解釋基于GNN的知識推理模型，則必須要解釋作為推理核心的GNN組件。GNN由于發展較晚，對其可解釋性的研究也處于起步階段。目前的研究主要集中于模型無關的實例級事后解釋方法，其主要思想是通過最大化子圖與模型預測之間的互信息來尋找與模型預測最相關的子圖，某種意義上可以認為是一種對原圖去噪的過程。例如，GNN-Explainer［16］為每張圖單獨訓練生成掩碼。而Luo等人［17］認為前者在生成掩碼效率方面存在缺陷，于是提出PGExplainer為多張圖同時訓練掩碼。最近，Amara等人［18］嘗試將所有解釋方法進行歸納總結，建立統一框架橫向評估各類GNN解釋模型，無論是否存在ground-truth解釋。以上解釋方法在解釋單關系圖上的節點分類結果時較為準確，這在一些人造數據集上已經得到驗證，但在知識圖譜上還沒有進行實驗驗證，且它們不能直接解釋鏈接預測的結果。

2? 基于單關系圖轉換的知識圖譜鏈接預測模型

2.1? 模型框架

知識圖譜鏈接預測模型旨在通過已知信息推斷實體間缺失的鏈接，也可以認為是一種對數據集的去噪問題，其中缺失的鏈接即為圖中的噪聲。去噪自編碼器（denoising auto-encoder，DAE）［19］是一種常見的模型，它通過按一定比例隨機破壞輸入數據并以未破壞的原始數據為優化目標進行學習，最終模型可以學會如何對缺失的數據進行補全?；诖?，本文將模型構造為一個在圖上工作的DAE。模型的整體結構如圖2所示。本文按照一定比例隨機掩蓋知識圖譜中的三元組，這相當于為知識圖譜人工添加噪聲。然后將帶有噪聲的知識圖譜轉換為單關系無向圖，并在此基礎上應用GNN進行去噪編碼。當GNN成功學習到如何去噪時，也就學會了如何進行鏈接預測。最后本文研究了GNN解釋器學習到的補全模式。

以上過程用符號化的描述為：對于一個知識圖譜K，由于K中不存在負例，所以首先需要通過負采樣將 K 擴展為，中的每一個三元組都被分配了一個二元標簽并形成一個四元組（h，r，t，l）。當 l=1 時表示正例，即該三元組是原本存在于K中的；l=0時為負例，表示該三元組由負采樣得到。然后本文將按一定比例隨機遮蔽（mask），得到c和被遮蔽的三元組集合Λ。模型的訓練目標即為將Λ準確還原到c中。從數據結構的角度看，是一種圖m，其中的節點和邊分別為中的實體和關系。m是一個多關系的有向圖，單關系無向圖上的解釋器難以應用，因此需要進一步轉換為單關系（uni-relation）無向圖u。之所以要研究模型在數據集上的解釋，是因為本文希望了解基于GNN的鏈接預測模型會在知識圖譜上捕獲到何種模式。圖1（a）是一個知識圖譜上鏈接預測的示例，從中可以觀察到一個明顯的模式，即結婚的兩個人住在同一座城市?；诖四Ｊ?，人類可以很有信心地推理出（Rose，livesIn，NewYork），而一個訓練好的鏈接預測模型也應該可以從數據集中學習到這樣的模式并作出正確的預測，而GNN解釋器的研究提供了理解模型決策的途徑。

2.2? 單關系圖轉換

復雜的多關系有向圖m向單關系無向圖u轉換可以分為節點的轉換和邊的轉換兩個部分。在m中，每條邊連接著兩個不同的節點，邊的類型代表了節點之間的語義聯系，邊的方向指出了頭尾順序。為了可以通過轉換使新圖成為單一關系類型，本文提出將m中存在連接的兩個節點組成有序偶充當新圖中的節點，有序偶的順序即是原本邊的方向，而原本邊上的類型則由新圖的特征向量中的非零元素指示。為了盡可能連接所有新節點，保證信息連通，本文規定只要兩個有序偶共享相同的元素，即將兩者用一條無類型的無向邊連接。

同時通過這樣的轉換，原m上的鏈接預測問題等效于有序偶的分類問題，進而可以使用普通的GNN模型對其中的模式進行學習，并利用現有的GNN解釋器提取解釋。以下分別從節點和邊的生成闡述具體的轉換過程。

2.2.1? 節點轉換規則

單一關系圖轉換的整體過程如式（1）所示。

m=（V，E，R）u=（V′，E′，T）（1）

其中：V、E、R分別表示節點和邊以及邊的類型集合；V′、E′和T分別為u中的節點、邊以及節點的類型集合。針對節點轉換任務，本文遍歷E并?。╤，t）∈E，構成新圖u中的一個節點vr（h，t），上標r∈Euclid Math TwoRAp表示該節點所屬的類別。

以圖2為例，本文用首字母縮寫L、A、J、R分別代表節點Leon、Ada、Jack、Rose，于是V={L，A，J，R}，E={（L，A），（A，L），（L，N），（J，N），（J，R），（R，J），（A，N）}，R={isMarriedTo，livesIn}。節點轉換共有兩個任務：

a）構造V′。由于本文目標是通過邊獲得有序偶進而構成V′，所以直接令V′=E。為了表示的緊湊性，本文為V′中的每個節點分配一個唯一的ID，如{（L，A）：0，（A，L）：1，…}。

b）初始化V′的特征。對于V′的特征初始化，每個節點首先會被分配一個維度為|R|的全零向量x。然后為R中的元素按首字母排序并分配ID，如R={isMarriedTo：0，livesIn：1}。根據R中關系的ID，本文將x中相應id的元素置為1，即xi=1。如本文對V′中的節點（L，A）isMarriedTo的特征進行初始化， 由于|R|=2，于是令x=［0，0］。由于id（isMarriedTo）=0，所以將x的第0個元素置為1，即x=［1，0］，這樣就得到了節點的初始化特征。

2.2.2? 邊轉換規則

u相較于m的重要區別在于前者的邊是單關系類型且無向的。通過節點轉換，本文可以得到V′，V′是由有序偶構成的。為了連接這些有序偶，本文規定：對于兩個節點vi和vj，若兩者對應的有序偶中存在相同的實體，則將兩者用一條無向邊e相連。例如，假設u有節點v（a，b）和v（b，c），其中a、b、c表示m中的節點，因為兩者共享節點b，此時它們之間將生成一條無向邊e=（v（a，b），v（b，c））。該無向邊本身不具有屬性，僅表示一種鄰接關系。

2.2.3? 轉換圖空間復雜度分析

為了估計轉換后的單關系圖u與原圖m之間的規模關系，本文已知m的節點數為|V|=m，假設m中的每一個節點都與其他m-1個節點有關聯，則可以得到m最多有|E|=m2條邊。通過將m轉換為u，u的節點數|V′|取決于m的邊數|E|，假設u是全連接圖，則u的邊數|E′|=|E|2，即在全連接的情況下u的邊數相較于m的邊數呈二次方增長，或者節點數的m4增長。通過以上估算，即使在連接最密集的情況下，轉換后的圖規模與原圖之間依然是多項式復雜度的。多項式復雜度的算法在實踐中可以被接受。且由于知識圖譜中的連接一般具有稀疏性，u相較于m，在圖的大小方面不滿足2次增長關系，所以可以認為這樣的轉換是線性的。

2.3? GNN模型設置

在MPNN框架的描述中，GNN的工作主要分消息傳遞（massage passing）和讀出（read-out）兩個階段。在消息傳遞階段，GNN主要執行了消息函數、聚合（aggragated）函數和更新（update）函數三個子函數。在讀出階段GNN執行讀出函數。形式上，一個消息傳遞的網絡可以由如下方程定義：

m（t+1）e=（x（t）v，x（t）u，w（t）e），（u，v，e）∈Euclid Math OneEAp（2）

x（t+1）v=ψ（x（t）v，ρ（{m（t+1）e：（u，v，e）∈Euclid Math OneEAp}））（3）

=R（{xTv|v∈G}）（4）

其中：消息函數通過將邊上的特征與所連接節點的特征相結合生成消息。聚合函數ρ會將從邊上傳遞的消息聚合到節點，最常見的聚合函數可以是簡單的加和（sum），也可以是max或者min。最后更新函數ψ會結合聚合后的消息和節點本身更新特征。對于普通的節點分類任務，讀出函數可以是一個softmax函數，而對于圖級分類任務，讀出函數可能需要將所有節點做加和后歸一化以得到全圖的表示。

在本文方法中，GNN模塊由兩層圖卷積神經網絡（GCN）構成，使用ReLU作為激活函數。ReLU具有計算效率高，可以防止梯度消失問題的優點。為便于計算損失，在最后一層，本文使用sigmoid將輸出值限制在（0，1）。

2.4? 解釋生成

在本文方法中，為了生成鏈接預測的解釋，采用目前性能表現最良好［20］的解釋器GNNExplainer。GNNExplainer的核心觀點是GNN對圖上某個節點作出預測所需要的全部信息完全由其周邊鄰域節點和邊所決定?；诖擞^點，GNNExplainer通過識別輸入圖中對預測結果起到關鍵作用的一個小子圖以及最有影響力的一部分節點特征來為預測結果生成解釋。具體而言，GNNExplainer通過最大化解釋子圖Gs與模型預測Y之間的互信息，以獲取最符合模型預測的子圖。GNNExplainer是一個模型無關的解釋方法，從方法的輸入上看，它只需要一個訓練好的模型以及模型的輸入圖和要解釋的對象。

maxGSMI（Y，（GS，XS））=H（Y）-H（Y|G=GS，X=XS）（5）

對于節點分類任務，GNNExplainer會提取目標節點的k階鄰域生成子圖，然后通過不斷優化掩碼過濾掉對預測結果不重要的邊和節點。這個過程可以視為對原始圖數據的去噪。經過對以目標節點為中心的子圖的去噪處理，即可以得到此次預測的解釋子圖。為了便于觀察，本文選取top-10的掩碼生成子圖。有研究認為，GNN可以學習到輸入圖數據中的常見模式，因此本文希望提取出的解釋子圖可以反映這一點。

3? 實驗與評估

本文的實驗主要分為兩個部分：a）比較基于同質圖轉換的GNN知識圖譜補全與其他直接在多關系圖上進行KGC的模型之間的性能表現；b）對提取的解釋子圖進行分析。

3.1? 實驗設定

本文方法依賴PyTorch v1.0.0和PyTorch Geometric v1.5.0實現，并在一臺配有Intel Xeon 2.30 GHz處理器，128 GB內存和NVIDIA v100 GPU的Ubuntu 20.04服務器上完成模型的訓練和解釋提取。

1）基線? 將本文方法與R-GCN［11］、GraIL［14］以及INDIGO［21］三種直接在多關系圖上進行知識圖譜鏈接預測的方法進行比較。 R-GCN是一種典型的基于圖卷積神經網絡的關系型數據處理方法；本文使用了與GraIL相同的數據集，GraIL是一種基于子圖推理的知識圖譜補全模型；INDIGO是一種基于GNN的歸納式知識圖譜補全模型；本文采用了動機不同但相似的知識圖譜轉換方式。

2）數據集? 本文使用Teru等人［14］的數據集分割方案，將FB15K-237［22］、NELL-995［23］和WN18RR［24］分別拆分為四個版本，用v1、v2、v3和v4表示。其中每個版本的數據集K分為Ktrain和Ktest兩個實體不相交的子集，且Ktrain中的關系包含Ktest中的全部關系。數據集的相關統計數據如表1、2所示，其中表1統計了各數據集中的三元組數量，表2則根據圖的結構信息，如節點、關系和邊的數量進行統計。

3）模型訓練? 本文將模型訓練為一個降噪自編碼器（denoising autoencoder，DAE）［19］。每個訓練集以9：1的比例分為不完整的數據集 K′train和作為補全目標的候選三元組集KCtrain。本文將KCtrain的三元組作為訓練的正例，通過負采樣可以為每個正例最多獲得9個負例。為了確保準確率和召回率的平衡，本文令正例和負例的數量相同。數據集處理完成后，本文設置損失函數為標準交叉熵損失函數，并使用Adam優化器將模型在每個數據集上訓練3 000個epoch。

3.2? 知識圖譜補全實驗與結果分析

為了證明本文方法在進行同質圖轉換后在推理任務的性能表現與不進行轉換的模型性能相當，進行了如下性能測試。

3.2.1? 實驗指標設置

本文實驗通過基于準確度的指標和基于排名的指標綜合評估模型的性能。這些指標是根據模型在正例和負例集P和N上的結果計算得出的，如下所述。請注意，N*通常非常大，使用它的所有三元組并不可行，所以需要采樣。為了減輕可能由采樣引起的波動的影響，本文使用獨立采樣的負面示例集在給定的基準測試中評估每個系統超過10次的運行，并報告每個指標的平均值和方差。

為了確保系統無法通過在訓練期間對負例采用特定的采樣策略來獲得優勢［25］，本文對P中的每個正例以等概率隨機采樣N*的一個元素來構造N。實驗中，本文使用準確率、召回率和精度。除此之外，還使用 F1分數和精確召回曲線（PRC）的曲線下面積（AUC），它們通常根據不同閾值的精確度和召回率定義（使用基于置信度的預測計算）。

對于基于排名（rank）的指標，本文通過隨機替換正例集中的三元組分量來構建負例集N，例如，對于（a，r，b）∈P，本文可以隨機替換a，r，b。特別地，對于P中的每個正例（Ktest，（c，r，d）），集合Nc中包含50個隨機采樣的負例，形式為（Ktest，（c′，r，d））；集合Nr和Nd類似地通過替換r和d并分別獲取所有樣本和50個樣本來構造（請注意，Nr的候選數受Ktest中的關系數限制）。然后，在P和N上評估的KG補全系統的基于排名的指標計算如下。對于每個λ∈Λ+測試和x∈{c，r，d}，令Rankx（c）為（Ktest，KCtest）在系統對P∪Nx中所有示例的置信度預測的降序列表中的位置。為了減輕隨機采樣對結果的影響，本文使用獨立采樣的負例在給定的基準測試中將每個系統運行10次，并取平均值和方差作為最終測試結果。

3.2.2? 實驗結果

表3展示了本文方法在三個數據集上的評估結果，其中R、G、I分別代表R-GCN、GraIL以及INDIGO。

可以看到，本文方法幾乎在所有指標上的表現始終優于基線，并且大幅領先R-GCN和GraIL，對于INDIGO也在各項指標有超過2%的平均相對提升。除了性能的提升以外，本文方法在訓練速度上也有明顯提升。在本文的實驗條件下，R-GCN訓練花費1.2 h，GraIL訓練花費4 h，INDIGO訓練花費了0.45 h。本文方法訓練花費了0.61 h，訓練速度顯著超過R-GCN和GraIL，但相對INDIGO較慢。這是因為根據本文方法所轉換的新圖相較INDIGO的方法規模更大，導致訓練速度減慢。

3.3? 解釋提取實驗與結果分析

相較于WN18RR以及NELL-995，FB15K-237數據集中的知識更加貼近常識，對解釋子圖的理解不需要專業背景知識，因此本文選擇FB15K-237作為提取解釋的實驗數據集，并選擇GNNExplainer作為解釋生成器。

3.3.1? GNNExplainer設定

對于GNNExplainer的設置，本文采用Amara等人［18］提出的統一框架GraphFramEx進行描述。

a）explanation type。在GraphFramEx中，解釋的類型可以分為model和phenomenon，其中phenomenon是指對模型的標簽進行解釋，即尋找能夠令模型產生目標標簽的解釋子圖。而model則是指對模型的一次預測進行解釋。由于本文只關心正確的預測，所以采用phenomenon類型的解釋。

b）node mask type和edge mask type。節點和邊的掩模類型使用object，這種類型的粒度較粗，且對于預測任務而言，關注特征的某個分量并無必要，且較粗粒度的掩模形成的子圖更便于觀察解釋結構特征。

c）threshold type。閾值的類型決定了解釋子圖的最終呈現。在本文中選擇top-10進行展示。

基于以上的設定，本文為每個節點訓練500個epoch后提取解釋。

3.3.2? 解釋節點粒度及選擇

為了研究所生成的解釋子圖之間的關聯，本文選擇那些具有相同關系特征并且尾實體相同的實體對進行解釋。這樣做的原因在于，將關系和尾實體固定下來以后即可專注于不同頭實體條件下所生成的解釋的特點。為了便于展示和理解，本文最終選擇了較為常見的出生地（place of birth，）、居住地（place lived）以及專業（profession）三種關系進行說明。

表4為提取的一部分解釋子圖，其中a1、a2、a3表示三種不同的解釋目標節點。由于模型的預測本質上依靠對數據集的統計規律的學習，所以一些示例在數據集中比較稀少，故解釋效果不佳，如模型對于（A，place of birth，New York City）的解釋子圖連通性差，難以辨識。

通過對解釋的觀察發現，GNNExplainer在關系和尾實體固定的條件下生成的子圖解釋具有很高的相似性，它們反映了GNN在進行知識推理時遵循的模式。這種現象是合理的，比如當模型可以預測出三元組（a1，place lived，Syrause）和（a2，place lived，Syrause），即模型通過學習已經可以正確預測一個人是否居住在某地時，那么有理由認為模型在作出這兩個相似的判斷時采用的是同一套推理模式，因為模式是具有通用性的，而這種推理模式反映到不同預測的解釋子圖上就是它們具有相似甚至相同的結構。

4? 結束語

本文針對當前的解釋方法在基于GNN的KG鏈接預測任務上發展不成熟的問題，開展對現有解釋方法的適應性研究，提出一種基于單關系圖轉換的子圖解釋生成模型。該模型通過單關系轉換，將基于GNN的KG上鏈接預測任務轉換成更容易解釋的節點分類任務，解決了當前解釋方法在多關系圖下難以應用的問題。對于研究GNN在知識圖譜鏈接預測中學習到的推理模式以及在實踐中建立用戶對鏈接預測結果的信任具有重要的意義和價值，實驗結果表明：

a）基于單關系圖轉換的模型在分類性能的各項指標上有著比原生KG鏈接預測模型更好的表現，可以支撐對模型捕獲模式的研究。

b）通過對所生成的子圖解釋進行分類研究發現，屬于同一類的節點存在多種不同解釋的現象，這種現象證明，基于GNN的KG鏈接預測模型根據目標節點鄰域的特點學習到了不同的模式。

同時，本文在對子圖解釋的量化分析方面存在局限性，由于缺乏對子圖解釋有效量化評估的標準，所以對子圖解釋的評估主要依靠人工觀察其合理性。后續可開展子圖解釋與邏輯規則的轉換研究，將生成的子圖解釋更進一步轉換為明確的邏輯規則，并從邏輯規則質量角度對捕獲的子圖進行量化評估，以解決對子圖解釋的量化分析，研究不足的問題。

參考文獻：

［1］Ji Shaoxiong，Pan Shirui，Cambria E，et al.A survey on knowledge graphs：representation，acquisition and applications［J］.IEEE Trans on Neural Networks and Learning Systems，2022，33（2）：494-514.

［2］Cui Wanyun，Xiao Yanghua，Wang Haixun，et al.KBQA：learning question answering over QA corpora and knowledge bases［J］.Proceedings of the VLDB Endowment，2017，10（5）：565-576.

［3］Lan Yunshi，He Gaole，Jiang Jinhao，et al.A survey on complex knowledge base question answering：methods，challenges and solutions［C］//Proc of the 30th International Joint Conference on Artificial Intelligence.Montreal，Canada：International Joint Conferences on Artificial Intelligence Organization，2021：4483-4491.

［4］Wang Hongwei，Zhang Fuzheng，Zhao Miao，et al.Multi-task feature learning for knowledge graph enhanced recommendation[C]//Proc of World Wide Web Conference.New York：ACM Press，2019：2000-2010.

［5］程開原，姚俊萍，李曉軍，等.時態網絡中知識圖譜推薦：關鍵技術與研究進展［J］.中國電子科學研究院學報，2021，16（2）：174-183，188.（Cheng Kaiyuan，Yao Junping，Li Xiaojun，et al.Recommendation based on knowledge graph in temporal networks：key technologies and progress［J］.Journal of China Academy of Electronics and Information Technology，2021，16（2）：174-183，188）.

［6］Chen Yonghong，Li Hao，Li Han，et al.An overview of knowledge graph reasoning：key technologies and applications［J］.Journal of Sensor and Actuator Networks，2022，11（4）：78-94.

［7］Gilmer J，Schoenholz S S，Riley P F，et al.Neural message passing for Quantum chemistry［C］//Proc of the 34th International Conference on Machine Learning.［S.l.］：JMLR.org，2017：1263-1272.

［8］Shang Chao，Tang Yun，Huang Jing，et al.End-to-end structure-aware convolutional networks for knowledge base completion［C］//Proc of the 33rd AAAI Conference on Artificial Intelligence and the 31st Innovative Applications of Artificial Intelligence Conference and the 9th AAAI Symposium on Educational Advances in Artificial Intelligence.Palo Alto，CA：AAAI Press，2019：3060-3067.

［9］Li Juanhui.From uni-relational to multi-relational graph neural networks［C］//Proc of the 15th ACM International Conference on Web Search and Data Mining.New York：ACM Press，2022：1551-1552.

［10］Marcheggiani D，Titov I.Encoding sentences with graph convolutional networks for semantic role labeling［C］//Proc of Conference on Empirical Methods in Natural Language Processing.Stroudsburg，PA：Association for Computational Linguistics，2017：1506-1515.

［11］Schlichtkrull M，Kipf T N，Bloem P，et al.Modeling relational data with graph convolutional networks［C］//Proc of European Semantic Web Conference.Berlin：Springer，2018：593-607.

［12］Vashishth S，Sanyal S，Nitin V，et al.Composition-based multi-relational graph convolutional networks［C］//Proc of International Conference on Learning Representations.New York：ACM Press，2020：151-162.

［13］Nathani D，Chauhan J，Sharma C，et al.Learning attention-based embeddings for relation prediction in knowledge graphs［C］//Proc of the 57th Annual Meeting of the Association for Computational Linguistics.Stroudsburg，PA：Association for Computational Linguistics，2019：4710-4723.

［14］Teru K，Denis E，Hamilton W.Inductive relation prediction by subgraph reasoning［C］//Proc of the 37th International Conference on Machine Learning.［S.l.］：JMLR.org，2020：9448-9457.

［15］Zhang Yongqi，Yao Quanming.Knowledge graph reasoning with relational digraph［C］//Proc of ACM Web Conference .New York：ACM Press，2022：912-924.

［16］Ying R，Bourgeois D，You Jiaxuan，et al.GNNExplainer：generating explanations for graph neural networks［C］//Proc of the 33rd International Conference on Neural Information Processing Systems.Red Hook，NY：Curran Associates Inc.，2019：9244-9255.

［17］Luo Dongsheng，Cheng Wei，Xu Dongkuan，et al.Parameterized explainer for graph neural network［C］//Proc of the 34th International Conference on Neural Information Processing Systems.Red Hook，NY：Curran Associates Inc.，2020：19620-19631.

［18］Amara K，Ying Zhitao，Zhang Zitao，et al.GraphFramEx：towards systematic evaluation of explainability methods for graph neural networks［C］//Proc of the 1st Learning on Graphs Conference.［S.l.］：JMLR.org，2022：2045-2053.

［19］Vincent P，Larochelle H，Lajoie I，et al.Stacked denoising autoenco-ders：learning useful representations in a deep network with a local denoising criterion［J］.Journal of Machine Learning Research，2010，11（1）：3371-3408.

［20］Yuan Hao，Yu Haiyang，Gui Shurui，et al.Explainability in graph neural networks：a taxonomic survey［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2022，32（7）：1-19.

［21］Liu Shuwen，Grau B，Horrocks I，et al.INDIGO：GNN-based inductive knowledge graph completion using pair-wise encoding［C］//Advances in Neural Information Processing Systems.Red Hook，NY：Curran Associates Inc.，2021：2034-2045.

［22］Bordes A，Usunier N，Garcia-Duran A，et al.Translating embeddings for modeling multi-relational data［C］//Proc of the 26th International Conference on Neural Information Processing Systems.Red Hook，NY：Curran Associates Inc.，2013：2787-2795.

［23］Xiong Wenhan，Hoang T，Wang W Y.DeepPath：a reinforcement learning method for knowledge graph reasoning［C］//Proc of Confe-rence on Empirical Methods in Natural Language Processing.Stroudsburg，PA：Association for Computational Linguistics，2017：564-573.

［24］Dettmers T，Minervini P，Stenetorp P，et al.Convolutional 2D know-ledge graph embeddings［C］//Proc of the 32nd AAAI Conference on Artificial Intelligence and the 30th Innovative Applications of Artificial Intelligence Conference and the 8th AAAI Symposium on Educational Advances in Artificial Intelligence.Palo Alto，CA：AAAI Press，2018：1811-1818.

［25］Pezeshkpour P，Tian Yifan，Singh S.Revisiting evaluation of knowledge base completion models［C］//Proc of Automated Knowledge Base Construction.Red Hook，NY：Curran Associates Inc.，2020：23-34.