面向不平衡數據的隱式篇章關系分類方法研究

朱珊珊，洪 宇，丁思遠，姚建民，朱巧明

（蘇州大學計算機科學與技術學院，江蘇蘇州215006）

1 引言

篇章關系分類研究旨在自動推測同一篇章內兩個文本片段（即“論元”，argument）之間的語義連接關系。賓州篇章樹庫（Penn Discourse Treebank，PDTB）［1－2］是2008年發布標注具體篇章關系類型的語言學資源，其將篇章關系類型分成三層（如圖1所示）：Class層、Type層和Subtype層。Class層包括：Expansion（擴展關系）、Contingency（偶然關系）、Comparison（對比關系）和Temporal（時序關系）；Type層和Subtype層則分別針對上一層進行細分。

此外，依據“論元對”關系類別的不同識別方式，PDTB又將篇章關系分成顯式篇章關系（Explicit Discourse Relation）和隱式篇章關系（Implicit Discourse Relation）兩種類型。在顯式篇章關系類型中，兩個“論元”之間存在連接詞（例如，連接詞“but”，“because”等），可直接根據連接詞判定篇章關系；而在隱式篇章關系類型中，兩個“論元”之間缺少連接詞等直觀推理線索，無法直接判定篇章關系，須結合上下文、句子語義結構等其他信息間接推理。在PDTB語言學資源中，標注者通過在隱式“論元對”中插入一個連接詞表示具體的篇章關系類型。本文主要專注于Class層隱式篇章關系分類問題的研究。例1是從PDTB語料中抽取的具有隱式篇章關系的文本片段，圖2給出標注的連接詞及其對應的篇章關系類別。

圖1 PDTB篇章關系體系

例1 ［Mrs.Tom was fired and prosecuted under a South Carolina law that makes it a crime to breach test security.］arg1［Implicit＝then］［In September，she pleaded guilty and paid a＄500 fine］arg2［Implicit＝but］［She never complained to school officials that the standardized test was unfair］arg3［Implicit＝therefore］［Do I have much sympathy for her］arg4［Implicit＝in fact］［Not really］arg5.

＜譯文：依據南卡羅來納法：違反安全測試是一種違法行為，湯姆小姐被解雇并同時被起訴?！倦S后在九月份，她承認罪行并支付了500美金的罰款?！镜恰克龔臎]有向學校官員抱怨標準化測試是不公平的?！疽虼恕课彝樗龁?？【實際上】并不是這樣的。＞

圖2 例1中各“論元對”篇章關系標注結果

關于篇章關系分類的研究已開展多年，在顯式篇章關系方面，分類精確率已達93.09%［3］。而在隱式篇章關系方面，分類精確率仍然較低。主流研究方法主要采用基于語言學特征的機器學習方法實現關系分類，在這種分類方法中，大多數研究者都假設參與分類的正類樣本和負類樣本的數量是相等的，通過隨機欠采樣等方法保持數據平衡。然而隨機欠采樣方法存在一個明顯的缺點（注：為表述清楚，本文將樣本中數量較多的一類稱為多數類，將樣本數量較少的一類稱為少數類）：欠采樣過程從多數類樣本中隨機選擇與少數類樣本數量相等的樣例，致使多數類樣本中大量有用的樣本被丟棄，在后續分類過程中未能發揮作用，從而影響整體的關系分類性能。

針對該問題，本文提出一種基于框架語義向量的訓練樣本擴展方法，旨在充分利用已標注的篇章關系樣本，對不平衡的訓練樣本進行擴展，解決基于不平衡數據的隱式篇章關系分類問題。具體實現過程中，該方法借助框架語義知識庫，將篇章關系樣本表示成框架語義向量，借助框架語義向量，在外部未標注數據資源中挖掘篇章關系樣本，實現對訓練樣本的擴展，從而解決數據不平衡問題。

本文的組織結構如下：第2節介紹相關工作；第3節描述框架語義知識庫及框架語義向量；第4節給出基于框架語義向量的隱式訓練樣本集擴展方法；第5節給出實驗結果及相關分析；第6節總結全文。

2 相關工作

2.1 隱式篇章關系分類

基于全監督學習的隱式篇章關系分類是目前的主流研究方法，主要包括：Pilter等［4］首次使用PDTB語言學資源，抽取論元的情感極性，動詞類型及上下文特征進行關系分類，最終獲得優于隨機分類的性能，奠定隱式篇章關系分類研究的基礎。Zhou等［5］根據語言模型困惑度在兩個論元之間插入顯式連接詞，并將該連接詞作為額外的分類特征，進一步提高隱式篇章關系的分類性能。Lin等［6］在Pilter的研究基礎上，增加句法特征及依存特征。隨后，Wang等［7］提出基于樹核函數的隱式篇章關系分類方法，有效提升句法特征之間的區分能力，最終在PDTB語料上獲得40.0%的關系分類性能。Park等［8］采用前向選擇算法對單詞對、動詞、極性、句法特征等八種特征進行特征選擇，在每種關系類型上都獲得一個最優的特征集合。Wang等［9］通過SCC（single centroid clustering）聚類算法選擇“典型”的訓練樣例，減少噪音文本。近期，Rutherford等［10］使用布朗聚類對特征代替單詞對特征，Li等［11］通過改變句法特征的表示方法，有效解決特征表示的稀疏性問題。

2.2 不平衡數據分類方法

目前，主流的不平衡數據分類方法可分成兩大類：采樣技術及代價敏感函數方法。

其中，采樣技術應用最為廣泛，主要包括隨機欠采樣（Random Under－sampling）和隨機重采樣（Random Over－sampling）兩種方法。詳細而言，隨機欠采樣方法從多數樣本中刪除部分樣例使得樣本分布平衡；而隨機重采樣方法是從少數類樣本中隨機選擇部分樣例進行復制，直到多數類和少數類樣本數量相等。Mani等［12］提出基于K近鄰的欠采樣方法，與隨機欠采樣方法相比，該方法通過K近鄰算法從多數類樣本選擇需要刪除的樣例，保留多數類樣本中有用的分類信息。Lin等［13］將采樣技術與集成學習方法相結合，從多數類樣本中抽取子集與少數類樣本進行組合，訓練多個分類器進行分類決策。Lin等還提出一種基于平衡－級聯算法的不平衡數據分類方法，該方法以監督學習方法為基礎，通過訓練多個分類器選擇多數類樣本中需要刪除的樣例。此外，Chawla等［14］提出基于少數類合成的過采樣技術（簡稱SMOTE算法），該方法以少數類樣本為種子樣例，基于K近鄰算法生成新的少數類樣例，對少數類進行擴展。Han等［15］對SMOTE算法進行改進，對少數類樣本進行歸類，在此基礎上，提出基于邊界－少數類合成的采樣方法。

上述采樣技術主要通過調整樣本數量保持數據平衡，代價敏感函數方法則是在分類過程中改變誤分類的代價函數［16］，保證在多數類樣本中分錯的代價大于在少數類樣本中分錯的代價。在此基礎上，后續研究者提出代價敏感決策樹和代價敏感神經網絡，進一步解決不平衡數據分類問題。

3 框架語義知識庫及框架語義向量

3.1 框架語義知識庫

框架語義知識庫（FrameNet）①http：／／framenet.icsi.berkeley.edu／是基于框架語義學（Frame Semantics）［17］構建的權威英文語義詞匯資源?？蚣苷Z義學由Fillmore于1992年提出，它是一種通向理解及描寫詞語和語法結構意義的方法。該理論的核心思想是為了理解語言中詞的意義，首先要有一個概念結構，這個概念結構為詞在語言及言語中的存在和使用提供背景和動因。表1給出FrameNet中相關術語定義及標注示例。從表1中的標注示例可以看出，兩個標注示例包含不同的語義信息，但它們具有相同的框架語義，目標詞cooks和fry對應的框架語義均為APPLY＿HEAT，通過框架語義信息，可將兩個具有不同語義信息的文本片段關聯起來。

表1 FrameNet相關術語定義及標注示例

本文引入框架語義，主要動機在于框架語義有助于“論元”語義一級的描述，對于后續隱式訓練樣本的擴展，能夠有效提升“論元對”的挖掘精度與廣度，并提升其分類效率。目前，框架語義學領域已然形成多種自動框架語義分析與識別工具。本文采用Dipanjan Das等人開發的SEMFOR①http：／／www.ark.cs.cmu.edu／SEMAFOR／標注工具進行框架語義標注，該工具對給定的句子進行目標詞與框架的有效識別。

3.2 框架語義向量生成方法

本文使用SEMAFOR框架語義分析與識別工具對訓練樣本進行框架語義標注。在此基礎上，將“論元”中的所有框架語義進行組合形成框架語義向量，利用該向量表示“論元”，實現“論元”的抽象描述，從而減少隱式篇章關系分類任務的復雜度。例3為標注的“論元對”實例，Arg1中可識別出三個目標詞：events，took place和years，其對應的框架語義分別為Event，Event和Measure＿duration，將它們組合起來形成框架語義向量Sf1；同理Arg2中可識別出has等五個目標詞，將它們對應的框架語義組合起來形成框架語義向量Sf2。

例3 Arg1：These events took place 35years ago.

＜譯文：這些事件發生在35年前＞

Sf1：（Event，Event，Measure＿duration）

Arg2：It has no bearingon our work force today.

＜譯文：現在它對工作人員并沒有什么影響＞

Sf2：（Possession，Objective＿influence，Working＿on，Military，Calendric＿unit）

4 基于框架語義向量的隱式訓練樣本集擴展方法

4.1 隱式篇章關系分類數據分析

本文采用PDTB標注的隱式數據集作為實驗數據集，共包含13 815個實例。表2給出該數據集上四種篇章關系類別的實例數量、在語料中的比例以及正負類別比例。從表中可以看出，四種篇章關系類別的實例數量相差較大，正負不平衡比例介于0～2。除了Expansion類別，其余三個關系類別（Comparison、Contingency和Temporal）的正例樣本數量均小于負例樣本數量。這種情況容易導致在這三個類別上訓練的分類模型更傾向于將測試實例判定為負類，產生較大的誤差，影響隱式篇章關系分類的整體性能?；诖?，本文借助框架語義知識庫，對實例數量較少的三個篇章關系類別進行樣本擴展，解決隱式篇章關系分類過程中樣本數據不平衡的問題。

表2 PDTB隱式數據集四種篇章關系分布

4.2 未標注篇章關系樣本挖掘方法

本文采用的外部數據資源為GIGAWORD紐約時報語料，共包含1 298 498篇新聞文本。在進行訓練樣本擴展之前，本文對GIGAWORD中所有文本進行切分，為了驗證本文的方法能夠有效地選擇與測試樣本語義相近的隱式“論元對”，本文將GIGAWORD樣本分別切分成顯式篇章關系樣本和隱式篇章關系樣本，下面詳述這兩種切分方法。

1）顯式篇章關系樣本切分

該方法以PDTB語言學資源中的Golden連接詞為基礎，從GIGAWORD文本中切分獲得顯式篇章關系樣本，切分后的文本符合以下兩個條件：

·以“論元對”為單元，即包含前置論元Arg1和后置論元Arg2。

·Arg2中的第一個單詞為Golden連接詞②Golden連接詞：指向某一特定篇章關系的概率大于96%，例如連接詞“now”唯一地指向Temporal（時序關系），PDTB共統計得出87個Golden連接詞。，且將Golden連接詞作為未標注“論元對”的先驗知識，“論元對”具有顯式篇章關系。

按照上述切分條件，本文共獲得2 520 777個顯式“論元對”（簡寫為GIGA－Explicit），四種篇章關系分布比例如圖3所示。圖4為顯式“論元對”數量較多的Top10Golden連接詞，從圖中可以看出，包含“or”，“so”，“for”等連接詞的顯式“論元對”在語料中所占比例較大，導致Expansion篇章關系類別在語料中的比例最大（如圖3中Expansion在所有挖掘的GIGA－Explicit篇章關系樣本中的比例為37.06%）。

圖3 GIGA－Explicit顯式樣本四種篇章關系分布情況

2）隱式篇章關系樣本切分

與顯式篇章關系樣本切分方法類似，該方法將GIGAWORD文本切分成隱式篇章關系樣本，切分后的文本須滿足以下兩個條件：

·以“論元對”為單元，即包含前置論元Arg1和后置論元Arg2。

圖4 GIGA＿Explicit樣本中顯式“論元對”數量較多的Top10Golden連接詞

· “論元對”中不存在連接詞，即“論元對”具有隱式篇章關系。

與顯式篇章關系樣本切分方法的唯一不同的是，該方法不以Golden連接詞為先驗知識，“論元對”的篇章關系類別不確定。此外，在文本切分過程中，本文通過句法分析確保挖掘到的隱式“論元對”符合自然語言規律。本文最終切分獲得908 142個隱式“論元對”（簡寫為GIGA－Implicit）。

4.3 基于框架語義向量的訓練樣本集擴展方法

對4.2節構建的兩個篇章關系樣本GIGA－Explicit和GIGA－Implicit，本文使用SEMFOR語義框架標注工具對所有樣本進行標注，獲得樣本的框架語義向量。在此基礎上，以PDTB中隱式訓練樣本為種子樣例，分別計算每個種子樣例的框架語義向量與兩個篇章關系樣本中樣例對應的框架語義向量之間的語義相似度，根據相似度計算結果排序，選擇與當前種子樣例最相似的TopN“論元對”作為擴展的訓練樣本。其中，語義相似度計算方法如公式（1）所示，Arg1Sim表示前置論元Arg1框架語義向量之間的余弦相似度，Arg2Sim表示后置論元Arg2框架語義向量之間的余弦相似度，特征權重使用框架語義在論元中的出現頻數。圖5為基于GIGA－Explicit顯式樣本擴展訓練樣本方法的實例化流程圖。

圖5 基于GIGA－Explicit顯式樣本擴展訓練樣本的實例化說明

特別地，由于顯式“論元對”和隱式“論元對”之間存在不同的語義特性，在篇章關系樣本GIGA－Explicit和GIGA－Implicit中挖掘擴展“論元對”時，存在以下兩點不同之處：

在GIGA－Explicit顯式篇章關系樣本中，“論元對”的篇章關系類別是確定的。在挖掘過程中，由于存在“噪音”文本，與種子樣例最相似的TopN顯式“論元對”中可能會出現篇章關系類別不一致的情況，即當前種子樣例的篇章關系類別為Rx，挖掘到的“論元對”的先驗篇章關系類別為Ry，Rx≠Ry。針對這種情況，本文在選擇擴展“論元對”之前，刪除與種子樣例篇章關系類別不一致的顯式“論元對”，在此基礎上，選擇與種子樣例最相似的TopN顯式“論元對”作為擴展樣本。

在GIGA－Implicit隱式篇章關系樣本中，“論元對”的篇章關系類別不確定。根據Hong等［18］提出的“平行推理機制”理論，與種子樣例最相似的TopN隱式“論元對”在關系上是平行的，即TopN隱式“論元對”的篇章關系與種子樣例的篇章關系相同，可直接將挖掘到的隱式“論元對”作為擴展樣本。

5 實驗

5.1 實驗設置

本文使用PDTB隱式數據集中Section 02～20作為訓練數據集，Section 21～22作為測試數據集，Section 00～01作為驗證數據集。各數據集在四種篇章關系類別上的分布情況如表3所示。本文使用詞向量（Semantic Vector）①http：／／nlp.stanford.edu／software／lex－parser.shtml作為分類特征，向量維度設定為100維。

表3 實驗數據集四種篇章關系分布

此外，本文使用LIBSVM（Chang等［19］）作為分類器，核函數選用線性核函數。針對每種篇章關系類別，分別訓練一個二元分類器，計算獲得每個篇章關系類別的分類精確率（Accuracy）（如公式（2）所示），公式（2）中TP和TN分別表示被正確分為正例和負例的個數。整體性能評價標準使用精確率的宏平均（Micro－average Accuracy）（如公式（3）所示），其中R＝｛Expansion，Comparison，Contingency，Temporal｝。

5.2 實驗系統

表4列出參與實驗的各分類系統，編號2～9為基于主流不平衡分類方法的實驗系統，編號10～11為本文提出的基于框架語義向量的不平衡隱式篇章關系分類系統，其中Expand－Explicit系統使用GIGA－Explicit顯式篇章關系樣本，Expand－Implicit系統使用GIGA－Implicit隱式篇章關系樣本。

表4 實驗系統

續表

5.3 實驗結果及分析

針對每個種子樣例，本文在外部篇章關系樣本中選擇與其最相似的TopN“論元對”作為擴展樣本，圖6分別給出在Expand－Explicit和Expand＿Implicit兩個實驗系統中參數N的不同取值對應的整體分類性能變化圖。從圖6中可以看出，N取值分別為3和1時，兩個實驗系統能夠獲得最優的分類性能，且在參數調整過程中，Expand＿Implicit實驗系統的整體分類性能均明顯優于Expand－Explicit實驗系統。

圖6 N的不同取值對應的整體分類性能

圖7為各實驗系統的實驗性能對比情況，從圖中可以看出，與Baseline系統對比，Expand－Explicit實驗系統的實驗性能獲得小幅度的提升，整體分類精確率提升6.75%，Expand＿Implicit實驗系統的分類性能提升幅度較大，整體分類精確率提升28.16%。結合圖6和圖7，分析原因可知，Expand－Explicit實驗系統擴展的訓練樣本來自GIGA－Explicit篇章關系樣本，樣本中的實例包含連接詞，而待擴展的原始訓練樣本均不包含連接詞，連接詞的缺失導致兩種篇章關系樣本在語義上存在差異，隨著擴展的訓練樣本的增加，實驗系統的分類性能有所下降。而在Expand＿Implicit實驗系統中，本文方法借助框架語義向量，從GIGA－Implicit篇章關系樣本中挖掘隱式“論元對”加入訓練樣本中，在各個篇章關系類別上引入了更多的分類信息，有效地提升了篇章關系分類性能。

從圖7中還可以看出，相較于各主流不平衡數據分類方法的實驗系統，本文性能較優的Expand－Implicit實驗系統有效提升了整體分類精確率，與主流方法性能最優的基于代價敏感函數的Meta－Cost－Sensitive實驗系統進行對比，整體分類精確率提升5.19%。分析原因可知，各主流不平衡數據分類方法側重通過采樣或者改變錯誤權重等方法解決訓練樣本數據不平衡問題，這些方法往往局限在有限的數據資源中，忽略了不平衡樣本數據本身存在信息不充分的問題，影響篇章關系分類性能。針對這一問題，本文借助框架語義向量，利用大規模外部數據資源，挖掘有效的隱式篇章關系樣本，對樣例數量較少的三個篇章關系類別進行樣本擴展，提升了整體篇章關系分類性能。實驗結果也證明本文提出的基于框架語義向量的方法能夠從外部數據資源中有效地挖掘隱式篇章關系樣本，從而對原始訓練樣本進行擴展，輔助篇章關系分類任務。

圖7 各實驗系統性能對比

表5 各隱式篇章關系推理系統性能

此外，表5給出本文性能最優的Expand＿Implicit實驗系統以及各主流隱式篇章關系分類系統的實驗性能對比，從表中可以看出，本文提出的基于框架語義向量的隱式訓練樣本擴展方法性能提升明顯，相較于性能較優的Park－SYS實驗系統，整體分類精確率提升2.73%，這也進一步證明了本文基于框架語義向量進行訓練樣本擴展的方法具有一定的有效性和可行性，與主流方法采用的隨機欠采樣方法相比，能夠獲得更優的分類性能。

6 總結

本文研究隱式篇章關系分類任務中的不平衡數據分類問題，提出一種基于框架語義向量擴展訓練樣本的分類方法。實驗結果顯示，本文方法能夠很好地解決隱式篇章關系分類任務中數據不平衡的問題，相較于傳統的基于原始訓練樣本的采樣方法以及代價敏感函數方法，實驗性能獲得顯著提升。

然而本文方法仍存在不足之處，將論元表示成框架語義向量，可能存在數據稀疏問題：統計發現，論元中識別出的框架語義平均數量為六個，在某些文本較短的論元中，由于識別出的框架語義較少，形成的框架語義向量并不能很好的表示該論元，影響后續訓練樣本擴展的精確率?；诖?，在未來工作中，我們將對本文方法進行細化，根據論元的框架語義數量對論元進行篩選，選擇符合要求的“論元對”，并嘗試采用Stacked Learning、Tri－training等多分類器的學習方法實現隱式篇章關系分類任務。

［1］ R Prasad，N Dinesh，A Lee，et al.The Penn Discourse TreeBank 2.0［C］／／Proceedings of the 6th International Conference on Language Resources and E－valuation（LREC），2008：2961－2968.

［2］ E Miltsakaki，L Robaldo，A Lee，et al.Sense Annotation in the Penn Discourse Treebank［C］／／Proceedings of the Computational Linguistics and Intelligent Text Processing.Springer Berlin Heidelberg，2008：275－286.

［3］ E Pitler，M Raghupathy，H Mehta，et al.Easily Identifiable Discourse Relations［R］.Technical Reports（CIS），2008：87－90.

［4］ E Pitler，A Louis，A Nenkova.Automatic Sense Prediction for Implicit Discourse Relations in Text［C］／／Proceedings of the Joint Conference of the 47th Annual Meeting of the ACL and the 4th International Joint Conference on Natural Language Processing of the AFNLP（ACL－AFNLP）.2009，2：683－691.

［5］ Z M Zhou，Y Xu，Z Y Niu，et al.Predicting Discourse Connectives for Implicit Discourse Relation Recognition［C］／／Proceedings of the 23rd International Conference on Computational Linguistics（COLING）.Posters，2010：1507－1514.

［6］ Z H Lin，M Y Kan，H T Ng.Recognizing Implicit Discourse Relations in the Penn Discourse Treebank［C］／／Proceedings of the Conference on Empirical Methods in Natural Language Processing（EMNLP）.2009，1：343－351.

［7］ W T Wang，J Su，C L Tan.Kernel Based Discourse Relation Recognition with Temporal Ordering Information［C］／／Proceedings of the 48th Annual Meeting of the Association for Computational Linguistics（ACL）.2010：710－719.

［8］ J Park，C Cardie.Improving Implicit Discourse Relation Recognition through Feature Set Optimization［C］／／Proceedings of the 13th Annual Meeting of the Special Interest Group on Discourse and Dialogue（SIGDIAL）.2012：108－112.

［9］ X Wang，S J Li，J Li，et al.Implicit Discourse Relation Recognition by Selecting Typical Training Examples［C］／／Proceedings of the 24th International Conference on Computational Linguistics（COLING）.2012：2757－2772.

［10］ A T Rutherford，N Xue.Discovering implicit discourse relations through brown cluster pair representation and coreference patterns［C］／／Proceedings of the 14th Conference of the European Chapter of the Association for Computational Linguistics（EACL）.2014：645－654.

［11］ J J Li，M Carpuat，A Nenkova.Cross－lingual Discourse Relation Analysis：A corpus study and a semi－supervised classification system［C］／／Proceedings of the 25th International Conference on Computational Linguistics（COLING）.2014：577－587.

［12］ I Mani，J P Zhang.KNN approach to unbalanced data distributions：a case study involving information extraction［C］／／Proceedings of Workshop on Learning from Imbalanced Datasets.2003.

［13］ X Y Liu，J Wu，Z H Zhou.Exploratory under－sampling for class－Imbalance learning［J］.IEEE Transactions on Systems，Man，and Cybernetics，Part B（Cybernetics），2009，2（39）：539－550.

［14］ N V Chawla，K W Bowyer，L O Hall，et al.SMOTE：synthetic minority over－sampling technique［J］.Journal of artificial intelligence research，2002：321－357.

［15］ H Han，W Y Wang，B H Mao.Borderline－SMOTE：a new over－sampling method in imbalanced data sets learning［M］.Advances in intelligent computing.Springer Berlin Heidelberg，2005：878－887.

［16］ C Elkan.The foundations of cost－sensitive learning［C］／／Proceedings of the International joint conference on artificial intelligence（IJCAI）.Lawrence Erlbaum Association Ltd，2001，17（1）：973－978.

［17］ C Fillmore.Frame semantics［J］.Linguistics in the morning calm，1982：111－137.

［18］ Y Hong，X P Zhou，T T Che，et al.Cross－argument inference for implicit discourse relation recognition［C］／／Proceedings of the 21st ACM International Conference on Information and Knowledge Management（CIKM）.2012：295－304.

［19］ C C Chang，C J Lin.LIBSVM：a library for support vector machines［J］.ACM Transactions on Intelligent Systems and Technology（TIST），2001，2（3）：389－396.