利用提示調優融合多種信息的低資源事件抽取方法

蘇杭 胡亞豪 潘志松

收稿日期：2023-06-29；修回日期：2023-08-22? 基金項目：國家自然科學基金資助項目

作者簡介：蘇杭（1992—），男，山東菏澤人，碩士研究生，主要研究方向為自然語言處理；胡亞豪（1995—），男，江蘇蘇州人，博士研究生，主要研究方向為自然語言處理；潘志松（1973—），男（通信作者），江蘇南京人，教授，博導，博士，主要研究方向為模式識別（panzhisong@aeu.edu.cn）．

摘? 要：針對現有流水線式事件抽取方法依靠大量訓練數據、在低資源情況下難以快速遷移運用等問題，利用提示調優技術，提出適用于低資源場景下的流水線式事件抽取方法（low-resource event extraction method using the multi-information fusion with prompt tuning，IFPT）。該方法通過構造語義映射和提示模板充分利用事件類型描述、實體類型等多種信息，能夠高效使用有限訓練數據，流水線式地完成事件檢測和論元抽取。實驗結果表明，在低資源情況下，IFPT方法論元抽取性能超過了所有基準模型，采取流水線方式能夠達到與SOTA模型相媲美的性能。

關鍵詞：事件抽??；低資源；提示調優；預訓練語言模型；論元抽取

中圖分類號：TP391??? 文獻標志碼：A

文章編號：1001-3695（2024）02-009-0381-07

doi：10.19734/j.issn.1001-3695.2023.06.0274

Low-resource event extraction method using multi-information

fusion with prompt tuning

Su Hang，Hu Yahao，Pan Zhisong

（College of Command & Control Engineering，Army Engineering University of PLA，Nanjing 210007，China）

Abstract：Existing pipeline-based methods rely on a large amount of training data while not being able to use external information effectively，making it difficult to transfer and apply quickly in low-resource situations.This paper used prompt-tuning to fuse multiple information and proposed a low-resource event extraction method using the multi-information fusion with prompt tuning（IFPT）.By constructing semantic verbalizers and prompt templates，this method was able to complete event detection and argument extraction with pipeline-based paradigm，making full use of various information such as event type description and entity type.Experimental results show that IFPT outperforms all baseline models in argument extraction and achieves comparable performance to the SOTA model in event extraction with pipeline-based paradigm.

Key words：event extraction（EE）；low-resource；prompt tuning；pretrained language model；argument extraction

0? 引言

事件抽?。‥E）是信息提取領域中重要且具有挑戰性的課題。ACE 國際評測會議將事件定義為“發生在某個特定時間點或時間段、某個特定地域范圍內，由一個或者多個角色參與的一個或多個動作組成的事情或者狀態的改變”［1］。事件抽取任務旨在將非結構化文本中的某類事件信息如時間、地點、參與者等轉換為結構化形式，輔助人們整編運用各類信息，便于檢索事件信息并分析人們的行為，在信息檢索、智能推薦、智能問答、知識圖譜構建等領域廣泛應用。事件抽取工作包括識別事件觸發詞、事件類型、事件論元、論元角色等［2］。事件抽取主要包括事件檢測（event detection）和論元抽?。╝rgument extraction）兩個任務［3］。其中，事件檢測是識別出句子中包含的觸發詞并對其所屬的事件類型進行分類，具體可細分為觸發詞識別（trigger identification）和觸發詞分類（trigger classification）；論元抽取是識別特定事件類型下的論元并確定其角色，該任務是一個基于單詞對的多分類任務，用于確定句子中觸發詞和實體之間的角色關系，具體可細分為論元識別（argument identification）和論元角色分類（argument role classification）。根據不同子任務的處理流程，事件抽取可分為基于流水線（pipeline-based）和基于聯合的方式（joint-based）?；诹魉€的方式將復雜的事件結構分解為多個獨立的子任務，分別訓練不同模型，比較常見的是首先進行事件檢測而后進行事件論元抽??；聯合方法構建了觸發詞識別和論元識別的聯合學習模型，觸發詞和論元可以相互促進以提升模型表現。雖然一些實驗結果表明聯合的模型效果要好于流水線的模型，但Zhong等人［4］在研究實體關系抽取任務中發現，基于聯合的方法需要獨立學習每種類型，在不同的事件類型之間不能共享信息，不利于標記數據較少情況下的事件抽取，聯合抽取的方式并不一定比流水線的方式表現好；此外，同一個句子中可能包含多類事件，并且事件論元存在重疊現象，聯合抽取的方式在低資源情況下較難發現觸發詞與論元之間的潛在關系。流水線的方式雖然存在傳播誤差，但是結構簡單，便于建模和遷移應用，通過合理設計模型結構可以減少傳播誤差影響［5］，取得比流水線模型更好的表現。

目前，基于深度學習的事件抽取逐漸成為研究主流，已是比較成熟的研究分類。但深度學習模型需要大量有標注數據進行模型訓練，獲取高質量標注樣本成本較高，因此如何高效利用少量帶注釋的訓練數據得到較為理想的事件抽取模型仍然是一個挑戰。隨著技術的不斷發展，GPT［6］、T5［7］等大規模預訓練語言模型逐漸應用到小樣本（few-shot）或者低資源（low-resource）場景下，但其模型參數量巨大，在硬件資源和標注數據相對有限的領域，通過微調（fine tuning）方式難以快速遷移應用。提示學習（prompt learning）在不顯著改變預訓練語言模型結構和參數的情況下，通過向輸入中增加提示信息，充分利用模型的預訓練成果能夠在低資源場景下取得較好表現，該特性越來越受到研究人員重視［8］。近年來，研究者提出通過外部知識圖譜擴展標簽映射的方法KPT［9］，在關系抽取、文本分類等任務場景中取得較大的性能提升，并在小樣本情況下取得較好表現。文獻［10］通過構造提示模板利用事件類型信息輔助進行論元分類，提高了數據利用率，在低資源情況下較以往模型性能得到提升。以上研究結果表明，通過合理構造提示能夠有效利用外部信息，提升預訓練模型對領域、任務的感知，進一步提升預訓練語言模型在小樣本和零樣本情況下的性能表現。本文借鑒文獻［10，11］的思想，提出了一種利用提示調優融合多種信息的低資源事件抽取方法，通過人工構造語義映射和提示模板融合運用多種外部知識，以流水線方式完成事件檢測和論元抽取任務，在低資源情況下取得了較好表現。本文的主要貢獻有：a）利用提示調優技術，提出語義映射（semantical verbalizer）和提示模板（prompt template）的構造方法，能夠利用實體、論元角色描述等多種外部信息；b）基于該方法提出了兩階段事件抽取模型IFPT，首先利用事件類型描述信息、事件關鍵詞等信息構造語義映射完成事件檢測，而后利用實體信息構造提示模板、利用論元角色信息構造語義映射完成論元抽取。在ACE 2005數據集上進行了大量實驗，該模型在低資源情況下能夠取得較好表現。

1? 相關工作

1.1? 事件抽取

隨著深度學習技術的不斷發展運用，循環神經網絡（RNN）［12］、圖神經網絡（GNN）［13］、預訓練語言模型（PLM）［14］等不斷推廣應用到事件抽取領域中，通過在大量人工標注樣本上進行訓練，模型能夠學習到原始數據更加深層的特征，端對端地完成事件抽取任務，避免了復雜的特征工程和傳播誤差，簡化了任務流程［15］。近年來，研究人員提出了基于注意力機制的Transformer架構［16］，該架構能夠使模型關注到更加重要、更加深層的信息，一定程度上緩解了長依賴問題。利用該架構，研究者提出了BERT［14］、GPT、BART［17］等預訓練語言模型。通過在大量語料上進行預訓練，預訓練語言模型中蘊涵著更加豐富的上下文知識，使用訓練數據進行微調就能遷移應用到下游不同NLP任務中。Lin等人［18］提出端到端的信息抽取框架OneIE，該模型利用BERT模型，在解碼階段加入全局特征捕捉實體之間和子任務之間的聯系，該框架沒有使用任何特定語言的語法特征，所以很容易運用到新的語言環境中。葛君偉等人［19］提出基于上下文融合的文檔級事件抽取方法，融合利用段落序列特征、上下文交互信息來解決文檔中中文事件元素分散問題。Li等人［20］提出了一種基于生成模型BART的 BART-Gen，該模型使用流水線的方式，能夠進行文檔級事件論元提取。大部分基于深度學習的方法均依賴大量的有標注的高質量訓練樣本，比如廣泛使用的事件抽取數據集ACE 2005語料庫，它需要語言學專家進行兩輪注釋，高昂的標注成本使得這些模型難以快速擴展到新的領域和新的事件類型，在訓練數據相對有限的低資源情況下難以推廣運用。因此，如何提升模型在訓練數據較少情況下的性能逐漸成為研究熱點［8］。Li等人［21］針對以往全監督的方法泛化性能較弱、無法利用標簽中豐富的語義信息等問題，將事件抽取轉換為一系列問答（QA）問題，從而引入歷史信息來捕獲不同論元角色之間的依賴關系，提高了模型在少樣本上的泛化能力。Liu等人［22］將事件抽取定義為機器閱讀理解問題，提出了一種無監督的問題生成方法以提升訓練數據的利用率，可用于零樣本學習的場景。Yang等人［23］提出了兩階段事件抽取模型PLMEE，針對事件抽取任務中訓練數據不足的問題，提出了通過編輯原型（prototypes）來自動生成標注數據進行模型性能優化的方法。

1.2? 提示調優

提示調優的核心是將給定的下游任務轉換成與預訓練語言的訓練任務一致的形式，能夠適應很少或沒有標記數據的新場景［20］。提示主要有填空式提示（cloze prompt）［24］和前綴式提示（prefix prompt）［25］兩種運用方式。填空式提示首先將提示模板（template）中需要預測的內容使用“［MASK］”替代，將下游分類任務轉變為與預訓練階段一致的填空任務，而后利用標簽映射器（verbalizer）將生成的內容轉換成相應的類別標簽；前綴式提示構造連續的語句拼接在輸入前，引導模型從左到右地完成自回歸任務。提示從其形態上可進一步劃分為離散提示和連續提示，其中離散提示也稱為“硬提示”，主要使用人類可以理解的自然語言的詞語組成；連續提示是把原本離散詞轉變為連續表示，運用到模型的嵌入空間中，使得提示參數能夠獨立于預訓練語言模型的參數，也稱為“軟提示”。在事件抽取領域，使用提示可以將實體信息、邏輯關系等先驗知識注入到模型中，使模型能夠在訓練樣本較少的情況下也能取得比較好的性能。Hu等人［9］利用外部知識庫來擴展分類任務的標簽詞映射（verbalizer），形成具有知識的映射（knowledgable verbalizer），在小樣本場景下取得了較好表現。Hsu等人［26］提出DEGREE模型，該模型利用生成式架構，通過構造提示模板融入外部知識完成事件抽取任務，通過設計恰當的提示，引導模型捕獲實體之間的關系，能夠更加全面地利用先驗知識，減少模型訓練所需要的樣本數量，實現低資源情況下的信息抽取。但DEGREE方法在推理階段需要枚舉所有的事件類型，從大量生成結果中遴選匹配的結果，復雜度較高。Ma等人［10］擴展了基于QA的模型來處理事件論元抽取任務，該方法針對特定事件類型，構造包含相應論元角色的提示模板，通過編解碼器捕獲事件論元之間的隱含關系，利用解碼階段的輸出構造選擇器，抽取最有可能是論元的文本片段，雖然提升了性能表現，但該方法僅能針對特定事件類型抽取事件元素，無法實現事件類型和觸發詞抽取。陳諾等人［27］提出一種基于模板提示學習的事件抽取方法，通過自動構造模板引出預訓練語言模型知識，完成中文句子級事件聯合抽取模型，但該方法依賴大量的訓練數據。由于所有的事件論元均是句子中的實體提及，Dai等人［11］認為可利用句子中已有的實體信息輔助進行論元分類，提出一種用于事件元素抽取的雙向迭代的提示調優方法BIP，該方法將EAE任務轉換成完形填空任務，將外部的實體信息融入到提示模板中，利用論元角色標簽的語義知識構造標簽詞映射，該模型融合運用了實體信息、分類標簽語義信息、論元之間的相互關系信息，提高了數據利用率，在低資源情況下較以往模型性能得到提升，但該模型僅能完成EAE任務，依賴于事件類型和事件觸發詞。

本文提出IFPT方法，通過構造語義映射和提示模板融合實體、論元角色描述等多種外部信息，在低資源情況下分階段完成事件抽取任務。與文獻［11］不同，本文借鑒文獻［10］，使用編解碼器模型，能夠完成事件檢測和論元抽取兩種任務，且利用了事件類型描述信息；與文獻［23］等不同，本文僅利用已有數據，無須額外生成數據；相較于文獻［26］，本文能夠利用更加豐富的外部信息，能夠在使用較小預訓練語言模型的情況下取得更好表現。

2? IFPT方法

本文IFPT方法使用統一的模型架構建模事件檢測和論元抽取兩階段任務：a）將事件觸發詞抽取轉換成詞分類任務，通過構造事件類別的語義映射判斷輸入中每個詞是否為某事件的觸發詞，完成觸發詞識別和事件類別判定；b）基于模型的生成能力，利用實體信息構造提示模板，構造論元角色的語義映射來判斷論元角色。

2.1? 總體架構

2.1.1? 語義映射（semantical verbalizer）

借鑒BIP模型［11］中虛擬詞（virtual word）的構建方法，將每個事件類型、論元角色類別分別用一個虛擬詞表示，使用已有的外部信息對其進行描述。本文借鑒文獻［26］，將觸發詞詞性、同義詞（本文使用三個）、事件類型描述信息進行拼接并盡可能地組成符合邏輯的詞組來對該虛擬詞進行描述。由于觸發詞大部分為動詞，觸發詞詞性部分使用“verb”，虛擬詞構造樣例如表1所示。而后利用描述信息對其表示進行初始化，其表示將隨模型訓練不斷調優。最后使用虛擬詞表示構造語義映射向量，將解碼器的隱層輸出映射為所屬事件類別或論元角色。

比如，對于數據集中事件類型“transport”，首先構造虛擬詞〈transport〉；而后使用“verb，travel，go，move from one place to another”描述〈transport〉；最后使用BART的嵌入層獲得提示中每個詞的表示，并使用所有詞表示的均值初始化虛擬詞表示。對于非事件觸發詞使用虛擬詞〈none〉，表示該詞不是任何事件的觸發詞，并使用“not event trigger”對其進行描述。虛擬詞描述的組成結構如圖1所示。

2.1.2? 提示模板（prompt template）

設計提示模板主要用于融合實體信息、實體類型信息等外部知識，將分類任務轉換成完形填空任務，利用模型的生成能力完成下游的論元角色分類任務?？紤]到預訓練模型以人類正常的自然語言為預訓練語料，所以使用盡量符合正常語序的自然語言來構造提示模板。效仿文獻［11］，需要模型預測的論元角色部分使用“［MASK］”進行填充。本文中事件類型描述均來自于文獻［26］。例如針對“In trucks and on foot they came to the town of Safwan.”，構造如圖2所示提示模板：“movement which occurs when a weapon or vehicle is moved from one place to another.The vehicle trucks is［MASK］，The geogra-phical or political entity Safwan is［MASK］ .”。圖2中斜體部分是事件類型描述，標注黑框部分為句子中的實體，標注下畫線的部分是實體對應的實體類型，不同的“實體類型+實體”使用逗號分隔。為使模型充分學習句子中的語義，本文利用BART模型的抗擾特性［21］，通過打亂“實體類型+實體”組的前后順序來構造多個提示（當“實體類型+實體”組的個數大于3個時，隨機打亂3次），如圖2中的提示可變為“movement which occurs when a weapon or vehicle is moved from one place to ano-ther.The geographical or political entity Safwan is［MASK］，The vehicle trucks is［MASK］ .”。通過這種隨機打亂的方法提高標注數據的利用率，使模型能夠學習到更加豐富的上下文語義，提升模型在低資源情況下的表現。

2.1.3? 編解碼（encoder-decoder）

本文選擇BART模型［17］作為編解碼器。BART模型是一種基于注意力機制的編解碼模型，編碼階段能夠融合輸入的上下文信息，解碼階段能夠利用編碼器的輸出和解碼器的輸入生成相應格式的句子，在多個自然語言理解和生成任務中表現出色，并且具有一定的抗擾能力。這些特性適用于本文提出的統一模型架構。

2.2? 事件檢測

事件檢測階段的模型架構如圖3所示。在模型訓練過程中，虛擬詞能夠學習到同一類事件下不同觸發詞的上下文表示，最終通過相似性函數將解碼器輸出映射為相應的事件類型。

第n個事件類別對應的虛擬詞vt（n）的描述經過分詞形成序列{q（n）1，q（n）2，…，q（n）k}，其中vt（0）是〈none〉。虛擬詞初始化過程如式（1）所示，其中E是BART中embedding層中的的權重向量。

E（vt（n）） = 1k∑kj=1E（q（n）j）（1）

所有N個事件類型虛擬詞的初始化表示HVT=［E（vt（0）），E（vt（1）），…，E（vt（N））］將隨著模型微調不斷優化，最終得到調優后的虛擬詞表示VT。使用多層感知機得到事件類型的映射矩陣QVT，其中多層感知機使用ReLU作為激活函數，如式（2）所示。

QVT =MLPEE（VT）（2）

在編解碼器部分，BART預訓練語言模型包括encoder和decoder兩個部分L=［Lenc，Ldec］，模型輸入的樣本集合為D，輸入文本序列X={x1，x2，…，xi}∈D。原始輸入序列經過編解碼器的自注意力機制計算，可得到其最后的隱層表示HX=［Hx1，Hx2，…，Hxi］，計算過程如式（3）（4）所示。

H（enc）X=Lenc（X）（3）

HX=Ldec（X；H（enc）X）（4）

使用余弦相似度函數cosSim計算得到相似性分數向量SVTi，如式（5）所示，其中i表示輸入中第i個詞。

SVTi=cosSim（Hxi，QVT）（5）

通過softmax函數將相似性得分轉變為第i個詞作為不同事件類別觸發詞的概率分布向量pEEi，如式（6）所示。

pEEi=softmax（SVTi）（6）

模型推理階段，利用模型輸出的概率分布向量即可判定輸入詞xi為事件類別n的觸發詞，如式（7）所示。

n=argmax（pEEi）（7）

2.3? 論元抽取

論元抽取階段主要是根據已知的事件類型對句子中每個詞所屬的事件論元角色進行分類。由于在不同事件類型中可能包含相同的論元角色，如在ACE 2005數據集中，事件類型“extradite”和“transport”均有論元角色“destination”。為充分利用訓練樣本，避免上述問題帶來的影響，本文對不同事件類型下的相同論元角色進行統一建模，再根據相應的事件類型進行匹配。該階段模型架構如圖4所示。

首先構造論元角色虛擬詞，使用論元描述信息對虛擬詞進行描述。采用與事件檢測階段相同的初始化方式得到虛擬詞初始化表示HVA=［E（va（0）），E（va（1）），…，E（va（L））］，其中L是論元角色類型的個數，va（0）為非論元角色虛擬詞〈none〉。模型微調后的虛擬詞表示VA，通過多層感知機得到論元角色類型映射矩陣QVA。將構造完畢后的提示Pt輸入到BART模型的解碼器部分，其對應的原始文本作為編碼器的輸入，提示和原始文本將在編解碼器注意力機制的作用下相互作用，可得到面向上下文的提示表示Hpt，如式（8）所示

Hpt=Ldec（Pt；H（enc）X）（8）

解碼器在提示模板某個“［MASK］”位置m的輸出可表示為H（m）pt，利用余弦相似度函數計算其與論元角色虛擬詞的相似性分數SVAm，進而可以得到其屬于不同論元角色的概率分布向量pEAEm，如式（9）（10）所示。在模型推理階段，利用模型輸出的概率分布向量即可判定“［MASK］”位置對應的論元角色l，如式（11）所示，從而確定實體所屬的論元角色。

SVAm=cosSim（H（m）pt，QVA）（9）

pEAEm=softmax（SVAm）（10）

l=argmax（pEAEm）（11）

2.4? 損失函數

由于訓練樣本中真正帶有類別標簽的詞占極少數，屬于難分類樣本，若直接采用交叉熵損失函數，模型預測無類別標簽的詞產生的損失將在模型訓練中占據主導地位，將會影響模型的訓練效果。為緩解上述問題，增強模型對帶有類別標簽詞的預測能力，本文使用Focal損失函數［28］，如式（12）所示。

lossFL=-（1-pt）γ log （pt）（12）

其中：pt表示某個詞真實類型的預測概率。

該損失函數增加了動態調節因子γ，使模型能夠更加聚焦難分類的有類別標簽的樣本，本文中γ=2。事件檢測階段的損失LEE如式（13）（14）所示，其中ni表示第i個詞對應的真實觸發詞類別。同理可計算得到論元抽取階段的損失函數。

LEEi（X）=-（1-pEEi（ni））γ log （pEEi（ni））（13）

LEE=∑X∈D∑iLEEi（X）（14）

3 ?數據與實驗

3.1? 實驗數據及評估指標

3.1.1? 數據集

實驗使用的數據集為ACE 2005數據集，采取與文獻［26］相同的預處理方法，形成實驗數據集ACE05-E。該數據集中包含33種事件類型和22種事件論元角色。采取與文獻[26]實驗中相同的數據切分方法構建低資源情況下的訓練集，使用原有的驗證集和測試集驗證不同大小訓練集對模型的影響。

3.1.2? 評估指標

為便于實驗結果對比，本文采用與文獻［26］相同的評估指標，使用F1值衡量模型表現。事件檢測任務中，Tri-I 表示識別出的觸發詞與真實標注完全一致，Tri-C 表示在識別出觸發詞并準確區分事件觸發詞所屬的事件類型；論元抽取任務中，Arg-I 表示識別出的事件論元與真實標注完全一致，Arg-C 表示準確識別并正確區分事件論元角色。

3.2? 實驗環境及參數設置

本文挑選在驗證集上表現最好的模型，然后在測試集上進行測試?？紤]到特殊領域資源受限的情況，本文所有實驗均在NVIDIA Tesla T4 16 GB GPU上進行，使用BART-base［17］預訓練語言模型以適應計算資源受限的應用環境。BART-base的encoder和decoder各為6層，隱藏層向量維度（hidden_size）為768維度。模型訓練使用AdamW［29］優化器，其他參數設置如表2所示。

3.3? 對比模型

本文選取近幾年使用預訓練語言模型的事件抽取方法作為對比基線。

3.3.1? 事件論元抽取模型

此類模型在給定事件類型和事件觸發詞情況下能夠完成特定事件類型下的論元抽取任務。

a）PAIE［10］。該方法通過構造提示的方式將論元抽取轉變為抽取任務，利用BART產生特定角色的片段選擇器，從原句中識別論元并完成角色分類。

b）BIP［11］。該模型利用實體信息人工構建提示將論元抽取任務轉變為填空任務，使用BERT在低資源情況下較好地完成論元抽取任務并超過了其他模型。

3.3.2? 聯合抽取模型

此類模型可以采用聯合（joint）或流水線（pipeline）的方式完成事件檢測和論元抽取任務。

a）OneIE［18］。該模型利用BERT進行編碼，能同時完成關系抽取和事件抽取任務，是當前表現最好的模型。本文僅使用該模型作為低資源情況下的對比模型。

b）BERT_QA［30］。該模型將事件抽取轉變為QA任務，通過設置問題使用基于BERT的QA模型生成事件觸發詞、論元以及論元角色。

c）DEGREE［26］。該方法通過構造特定格式的提示來融合額外的信息，使用BART模型按照特定格式生成事件觸發詞和事件論元，本文使用其流水線模式下的實驗結果進行對比。

3.4? 實驗結果與分析

雖然本文主要研究低資源情況下的事件抽取，但為了驗證提出方法的有效性，本文首先在正常數據量情況下進行實驗，而后在低資源情況下進行實驗。此外，為檢驗該方法在事件抽取任務上的綜合性能，本文區分事件檢測、論元抽取以及流水線執行兩類任務三種情況分別進行了實驗。對比模型的實驗結果來源于文獻［10，11，26］。由于部分方法未給出獨立進行事件檢測或論元抽取的實驗結果，本文僅與提供實驗結果的方法進行了對比。實驗結果中加粗表示最優結果，下畫線為次優結果，“※”為本文對其模型復現的結果。

3.4.1? 正常數據量情況下實驗結果分析

a）事件檢測。實驗結果如表3所示。從表3可以看出，雖然本文方法較問答式模型BERT_QA表現欠佳，但模型結構簡單，超越使用BART-base的DEGREE模型，能夠與使用BART-large的該模型達到相媲美的效果，表明構造語義映射的方法能夠有效識別和分類事件觸發詞。

b）論元抽取。實驗結果如表4所示。從實驗結果可以看出，本文IFPT方法取得了最優結果。相較于其他使用BART-base的模型，通過“語義映射+提示模板”的方法能夠利用外部信息，較好地引導模型完成下游任務，相較于同樣利用實體信息的BIP模型性能得到進一步提升。

c）流水線方式。實驗結果如表5所示。從表5可以看出，雖然IFPT在事件檢測方面性能有所下降，但在論元抽取方面性能有所提升，使得其在流水線模式下仍然能夠取得較好的整體表現。原因在于IFPT方法雖然在事件檢測階段準確率偏低，但召回率較高，在論元抽取階段，IFPT模型僅使用句子的事件類型而不依賴觸發詞，相較于DEGREE模型，能夠一定程度地緩解誤差傳播；對輸入中原本沒有的事件類型，無法抽取相應的事件論元，一定程度上起到了過濾作用，保持了較好性能。

3.4.2? 低資源情況下結果分析

本文使用ACE05-E數據集中5%、10%、20%、30%、50%的訓練樣本構造低資源訓練數據集，進一步驗證模型在低資源情況下的性能表現。為體現IFPT方法在低資源事件抽取任務上的優越性，此部分對比模型實驗結果均為公布的最優實驗結果。

a）事件檢測。實驗結果如表6所示。從表6可以看出，本文IFPT方法雖然較使用BART-large的DEGREE方法存在一定差距，但較其他對比模型在極低數據量的情況下（5%、10%的訓練數據）具有顯著優勢。

b）論元抽取。實驗結果如表7所示，其中“—”表示文獻未提供相應訓練數據量情況下的實驗結果。從表7可以看出，本文IFPT方法能夠在低資源情況下較好完成論元抽取任務，有效融合利用實體、事件描述等外部信息，尤其是在極低數據量的情況下（5%、10%的訓練數據），表現超過了其他基準模型。

c）流水線方式。采用流水線方式執行兩階段任務的實驗結果如表8所示，僅列出論元抽取結果進行對比。實驗結果表明在較少數據量的情況下，IFPT方法仍然能夠取得較好的表現，說明IFPT方法能夠有效融合利用外部知識以提升模型性能。此外，較DEGREE（pipe）表現更好，說明IFPT方法能夠有效地緩解傳播誤差造成的影響。

3.4.3? 消融實驗

本節分別針對事件檢測和論元抽取任務進行了消融實驗，進一步驗證提出方法融合外部知識的能力。其中，random init是指語義映射中虛擬詞的表示進行隨機初始化情況下的實驗結果。所有消融實驗與原實驗采用相同的參數設置，論元抽取階段的消融實驗均采取相同的打亂順序策略。

表9中：w/o verb指去掉事件類型虛擬詞描述中的“verb”；w/o synonyms指去掉事件類型虛擬詞描述中的同義詞信息；w/o event type desc指去掉事件類型虛擬描述中的事件類型描述信息。

從表9可以看出，在不添加任何外部信息僅對虛擬詞進行隨機初始化的情況下，模型在極低數據量的情況性能下降明顯，隨著數據量的增多，模型性能逐步提升，但與其他加入額外信息的方式相比仍然存在一定差距。說明隨著訓練數據逐漸增多，模型能夠不斷優化虛擬詞的表示，使之更符合當前下游任務。在極低訓練數據量的情況下，去除同義詞組對模型性能影響較大。隨著數據量提升，缺少事件類型描述信息（w/o event type desc）的模型性能提升較慢，本文認為該類信息能夠提升模型判斷的準確度，僅有詞性和同義詞的情況下雖然能夠識別觸發詞，但難以確定觸發詞所屬事件類型，導致模型表現欠佳。

表10給出了獨立進行論元抽取任務時的消融實驗結果，其中random init指隨機初始化論元角色虛擬詞；w/o entity type指從提示中去掉實體類型信息；w/o event type desc指從提示追蹤去掉事件類型的描述信息。

從表10可以看出，缺少事件類型描述信息使模型性能出現了劣化，原因在于缺少了該信息，模型將無法聚焦于某事件類型進行論元抽取，對論元角色進行區分難度增大。在缺少實體類型信息的情況下，模型性能也出現明顯下降，雖然隨著訓練數據量的提升模型性能逐步提升，但仍超過了隨機初始化虛擬詞的模型，原因在于論元角色和實體類型有一定的相似性，在低資源情況下，相較于構造虛擬詞來加入論元額外信息的方式，直接使用提示模板的方式更加有效。

3.4.4? 提示模板對模型表現的影響

為驗證不同提示模板對模型表現的影響，本文參照文獻［11］的方式構建了軟提示模板（soft template）。為進行區分，本文使用的提示模板為硬模板（hard template），兩種提示模板構造方式示例如表11所示。其中“［Vi］”是隨機初始化的偽標記（pseudo tokens），偽標記的表示將在模型訓練中進行優化。本文僅對其在不同訓練數據量情況下的Arg-C值進行了對比，實驗結果如表12所示。

從實驗結果可以看出，在5%和10%的訓練數據量情況下，硬模板具有一定的優勢，但隨著數據量的上升，采用軟模板的模型性能逐漸超越采用硬模板的模型。實驗結果表明，在低資源情況下，使用接近自然語言的描述方式構造模板能夠更有效地利用外部知識，發掘語言模型本身具備的知識；而加入偽標記將增加模型的學習成本，導致低資源情況下難以有效引導模型完成下游任務。隨著訓練數據量增大，軟模板的方法性能得到明顯提升，并在正常訓練數據量情況下較硬模板效果更好。原因在于軟模板中的偽標記較人工選擇的正常詞匯表示更加靈活，通過大量數據訓練優化，能夠包含更加豐富的上下文信息［24，31］，進而提升模型表現。

3.4.5? 案例分析

為了更直觀地展示IFPT方法的事件抽取能力，本文提供了ACE2005數據集中的幾個簡單案例來展示事件觸發詞和事件論元的抽取情況，結果如表13所示。其中，Raw為訓練集中的句子，句子中斜體為訓練集句子中標注的實體，G為該句子的“Golden label”，P為模型預測階段輸出的結果，下畫線為模型識別出現的錯誤。案例S1中僅有一個事件觸發詞，S2中沒有事件觸發詞，S3中有兩個不同事件的觸發詞。

從案例S1中可以看出，IFPT能夠識別正確的事件類型觸發詞，并且根據事件類型識別出其對應的事件元素，正確判斷給定實體是否為事件元素。S2抽取結果表明，IFPT方法能夠抽取多個事件的觸發詞和事件論元，且在第一個階段事件觸發詞抽取中出現錯誤的情況下，第二個階段模型同樣能夠準確判斷句子中的實體是否為相應事件論元，一定程度上避免流水線方法的誤差傳播問題。S3抽取結果表明，IFPT方法能夠解決事件論元重疊的問題。

4? 結束語

本文將提示學習的方法應用到事件抽取任務中，采用“虛擬詞+提示模板”的方式，有效融合利用事件類型描述、實體提及、實體類型等多種外部信息，并提出了兩階段的事件抽取模型IFPT。該模型采用先事件檢測后論元抽取的方法，采用同樣的模型架構，以流水線方式實現了低資源情況下的事件抽取。在ACE 2005 數據集上的對比實驗和消融實驗的結果表明，本文方法在低資源情況下能夠有效利用外部信息，論元抽取性能超過了所有基準模型，采取流水線方式能夠達到與SOTA模型相媲美的性能。由于實驗中對外部信息的組合運用仍需要進行人工修改，數據集中實體標注錯誤、特殊字符等都會對實驗結果產生影響，本文方法仍存在不足和尚可改進的地方。比如，本文在僅利用了易于獲得的事件類型描述、實體類別等信息，其他語義信息如實體共指信息的加入可能會帶來模型更好的表現，這些都將是意欲改進和深入研究的問題。

參考文獻：

［1］Doddington G R，Mitchell A，Przybocki M A，et al.The automatic content extraction（ACE） program-tasks，data，and evaluation［C］//Proc of the 4th International Conference on Language Resources and Evaluation.Paris：European Language Resources Association，2004：837-840.

［2］張聰聰，都云程，張仰森.事件抽取研究綜述［J］.計算機技術與發展，2023，33（1）：7-13.（Zhang Congcong，Du Yuncheng，Zhang Yangsen.A survey of research on event extraction［J］.Computer Technology and Development，2023，33（1）：7-13.）

［3］Li Qian，Li Jianxin，Sheng Jiawei，et al.A survey on deep learning event extraction：approaches and applications［J/OL］.IEEE Trans on Neural Networks and Learning Systems.（2022-10-21）.https：//doi.org/10.1109/TNNLS.2022.3213168.

［4］Zhong Zexuan，Chen Danqi.A frustratingly easy approach for entity and relation extraction［C］//Proc of Conference of the North American Chapter of the Association for Computational Linguistics：Human Language Technologies.Stroudsburg，PA：Association for Computatio-nal Linguistics，2021：50-61.

［5］Xie Chenhao，Liang Jiaqing，Liu Jingping，et al.Revisiting the negative data of distantly supervised relation extraction［C］//Proc of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Proces-sing.Stroudsburg，PA：Association for Computational Linguistics，2021：3572-3581.

［6］Brown T B，Mann B，Ryder N，et al.Language models are few-shot learners［EB/OL］.（2020-07-22）.https：//arxiv.org/pdf/2005.14165.pdf

［7］Raffel C，Shazeer N，Roberts A，et al.Exploring the limits of transfer learning with a unified text-to-text transformer［J］.Journal of Machine Learning Research：2020，21（1）：5485-5551.

［8］Liu Pengfei，Yuan Weizhe，Fu Jinlan，et al.Pre-train，prompt，and predict：a systematic survey of prompting methods in natural language processing［J］.ACM Computing Surveys，2023，55（9）：article No.195.

［9］Hu Shengding，Ding Ning，Wang Huadong，et al.Knowledgeable prompt-tuning：incorporating knowledge into prompt verbalizer for text classification［C］//Proc of the 60th Annual Meeting of the Association for Computational Linguistics.Stroudsburg，PA：Association for Computational Linguistics，2022：2225-2240.

［10］Ma Yubo，Wang Zehao，Cao Yixin，et al.Prompt for extraction？ PAIE：prompting argument interaction for event argument extraction［C］//Proc of the 60th Annual Meeting of the Association for Computational Linguistics.Stroudsburg，PA：Association for Computational Linguistics，2022：6759-6774.

［11］Dai Lu，Wang Bang，Xiang Wei，et al.Bi-directional iterative prompt-tuning for event argument extraction［C］//Proc of Conference on Empirical Methods in Natural Language Processing.Stroudsburg，PA：Association for Computational Linguistics，2022：6251-6263.

［12］Elman J L.Finding structure in time［J］.Cognitive Science，1990，14（2）：179-211.

［13］Kipf T N，Welling M.Semi-supervised classification with graph convolutional networks［EB/OL］.（2017-02-22）.https：//arXiv.org/pdf/ 1609.02907.pdf.

［14］Devlin J，Chang M W，Lee K，et al.BERT：pre-training of deep bidirectional transformers for language understanding［C］//Proc of Conference of the North American Chapter of the Association for Computational Linguistics：Human Language Technologies.Stroudsburg，PA：Association for Computational Linguistics，2019：4171-4186.

［15］Xiang Wei，Wang Bang.A survey of event extraction from text［J］.IEEE Access，2019，7：173111-173137.

［16］Vaswani A，Shazeer N，Parmar N，et al.Attention is all you need［C］//Proc of the 31st International Conference on Neural Information Processing Systems.Red Hook，NY：Curran Associates Inc.，2017：6000-6010.

［17］Lewis M，Liu Y，Goyal N，et al.BART：denoising sequence-to-sequence pre-training for natural language generation，translation，and comprehension［C］//Proc of the 58th Annual Meeting of the Association for Computational Linguistics.Stroudsburg，PA：Association for Computational Linguistics，2020：7871-7880.

［18］Lin Ying，Ji Heng，Huang Fei，et al.A joint neural model for information extraction with global features［C］//Proc of the 58th Annual Meeting of the Association for Computational Linguistics.Stroudsburg，PA：Association for Computational Linguistics，2020：7999-8009.

［19］葛君偉，喬蒙蒙，方義秋.基于上下文融合的文檔級事件抽取方法［J］.計算機應用研究，2022，39（1）：49-53.（Ge Junwei，Qiao Mengmeng，Fang Yiqiu.Document level event extraction method based on context fusion［J］.Application Research of Computers，2022，39（1）：49-53.）

［20］Li Sha，Ji Heng，Han Jiawei.Document-level event argument extraction by conditional generation［C］//Proc of Conference of the North American Chapter of the Association for Computational Linguistics：Human Language Technologies.Stroudsburg，PA：Association for Computational Linguistics，2021：894-908.

［21］Li Fayuan，Peng Weihua，Chen Yuguang，et al.Event extraction as multi-turn question answering［C］//Proc of Conference on Empirical Methods in Natural Language Processing：Findings.Stroudsburg，PA：Association for Computational Linguistics，2020：829-838.

［22］Liu Jian，Chen Yubo，Liu Kang，et al.Event extraction as machine reading comprehension［C］//Proc of Conference on Empirical Methods in Natural Language Processing.Stroudsburg，PA：Association for Computational Linguistics，2020：1641-1651.

［23］Yang Sen，Feng Dawei，Qiao Linbo，et al.Exploring pre-trained language models for event extraction and generation［C］//Proc of the 57th Conference of the Association for Computational Linguistics.Stroudsburg，PA：Association for Computational Linguistics，2019：5284-5294.

［24］Petroni F，Rocktaschel T，Riedel S，et al.Language models as know-ledge bases？［C］//Proc of Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Confe-rence on Natural Language Processing.Stroudsburg，PA：Association for Computational Linguistics，2019：2463-2473.

［25］Lisa L X，Liang P.Prefix-tuning：optimizing continuous prompts for generation［C］//Proc of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Confe-rence on Natural Language Processing.Stroudsburg，PA：Association for Computational Linguistics，2021：4582-4597.

［26］Hsu I H，Huang Kuanhao，Boschee E，et al.DEGREE：a data-efficient generation-based event extraction model［C］//Proc of Conference of the North American Chapter of the Association for Computational Linguistics：Human Language Technologies.Stroudsburg，PA：Association for Computational Linguistics，2022：1890-1908.

［27］陳諾，李旭暉.一種基于模板提示學習的事件抽取方法［J］.數據分析與知識發現，2023，7（6）：86-98.（Chen Nuo，Li Xuhui.An event extraction method based on template prompt learning［J］.Data Analysis and Knowledge Discovery，2023，7（6）：86-98.）

［28］Lin T Y，Goyal P，Girshick R，et al.Focal loss for dense object detection［J］.IEEE Trans on Pattern Analysis and Machine Intelli-gence，2020，42（2）：318-327.

［29］Loshchilov I，Hutter F.Decoupled weight decay regularization［EB/OL］.（2019-01-04） .https：//arxiv.org/pdf/1711.05101.pdf.

［30］Du Xinya，Cardie C.Event extraction by answering（almost） natural questions［C］//Proc of Conference on Empirical Methods in Natural Language Processing.Stroudsburg，PA：Association for Computational Linguistics，2020：671-683.

［31］Qin Guanghui，Eisner J.Learning how to ask：querying LMs with mixtures of soft prompts［C］//Proc of Conference of the North American Chapter of the Association for Computational Linguistics：Human Language Technologies.Stroudsburg，PA：Association for Computational Linguistics，2021：5203-5212.