面向評估可信性的概率化元評估模型

李聰 關愛杰 李俊杰 李雅楠

（中國人民解放軍96901 部隊，北京100094）

1 引言

評估是以定性或定量方式衡量特定對象某方面特性的一種技術手段與過程，典型應用領域如效能評估、毀傷評估、威脅評估、適應性評估、可靠性評估、體系貢獻度評估和風險評估等。評估之所以重要，在于其能為各業務領域的決策活動提供依據與支撐，然而這要求評估結果必須具備相當程度的可信性，也就是做到與所關注的評估對象的實際特性或發展趨勢基本吻合，否則可能會導致錯誤的決策。

可信性較高的評估結果才具備可用性與參考價值，才能真正地用于決策輔助。然而，如何估算評估可信性卻是一項極其復雜的工作，因為評估過程中眾多的主觀經驗因素和客觀限制條件都能對可信性造成影響，主要的如指標選取、權重計算、人員水平和數據質量等，且這種影響關系通常又是非線性與隨機性的，難以用確定性的顯式函數關系或關聯規則來描述。

本質上，評估可信性的估算實際是一種特殊的評估，屬于元評估［1，2］范疇，即評估的評估，其比一般意義上的評估問題抽象層次更高、主觀因素更多、數據獲取更難、要素關聯更強，因為評估對象不再是具象化的業務實例，而是評估活動本身，從而不可避免地引入一些模糊的、隨機的、不可量化的因素，評估方式更趨向主觀經驗驅動而非客觀數據驅動，導致經典的評估方法基本無法直接適用。目前，針對評估可信性估算這種典型元評估問題，還未出現成熟的、形式化的通用解決方案，大多情況下，仍需依靠領域專家驗證評估結果，或比對歷史案例數據等樸素的方法，雖原理簡單，但由于無法用統一且嚴格的數學模型描述，因而通用性與可操作性較差。這即是本文致力解決的問題。

近年來，貝葉斯網絡［3，4］技術在評估領域取得了廣泛應用［5～10］，這是一種圖形化、概率化的知識工程方法［11］，本質上屬于貝葉斯概率統計技術，通過將隨機變量抽象為節點，將隨機變量間的條件概率關系抽象為有向邊，以有向無環圖形式表示隨機事件的因果關聯與概率產生語義，結合來自業務知識的先驗分布與實際觀測的證據事件，可以實施診斷推理與預測推理，在處理多源、異質、非線性和隨機數據時具有顯著優勢，非常符合元評估領域的技術需求。本文就基于貝葉斯網絡構建評估可信性估算模型。

2 概率化元評估模型的建立

2.1 可信性影響因素識別

既然元評估本質上也屬于評估技術范疇，那么遵循評估的普遍過程，首先需要依據評估目的梳理指標，也就是對評估對象的影響因素。這里本著系統性、簡明性、一致性、實用性的原則［12，13］，從評估的全要素全流程入手，基于流程、方法、人員、數據和指標等5 個維度，識別出可對評估可信性造成負面影響的20 項關鍵因素，具體見表1。每項影響因素實際都是可信性的風險項，每個風險項的發生均會不同程度降低評估可信性。

表1 評估可信性影響因素

2.2 模型語義的形式化描述

本文的概率化元評估模型語義使用貝葉斯網絡建立與描述。遵循層次化貝葉斯網絡的基本思想，引入1 個根節點：評估可信性低。再引入8 個中間節點：①評估流程可信性低；②評估方法可信性低；③人員技術水平低；④初級數據產品質量低；⑤中間數據產品質量低；⑥最終數據產品質量低；⑦評估指標構建質量低；⑧量化指標可信性低。根據評估領域和數據領域等方面的業務知識，建立這8 個中間節點和表1 中20 個影響因素節點對根節點的概率化因果關聯關系網絡，網絡結構及節點標志如圖1 所示，其中橢圓形節點代表隨機變量（深色節點為20 個影響因素對應的葉節點），變量間的因果關聯關系用有向邊表示，方向從父節點指向子節點。這里限定網絡為布爾型，所有節點取值均為True 或False，分別代表相應的節點事件發生或不發生。

之后對網絡的任一非葉節點，即根節點和8 個中間節點，建立其與所有父節點的條件概率關系。當父節點少于3 個時，直接使用條件概率表；否則，使用Leaky NoisyOr 函數［18］noisyor（），這樣可以顯著減少建立條件概率關系時所需參數數量。下面給出此函數的具體定義：

設X為布爾型貝葉斯網絡中任一節點，其N個父節點組成集合，令表示中所有節點均取值False，取True 外，其余所有節點取False。表示中所有取值為True 的節點索引。令：

等價地，定義對應的Leaky NoisyOr 函數noisyor（）為：

通過采用專家調查法，即德爾菲法，以業務領域、數據領域與評估領域作為3 個專業類別，每個類別邀請2 名以上專家，經多輪次的征詢、歸納與反饋，最終形成共識后，為所有條件概率參數賦值。對于父節點少于3 個的節點，見表2～表4，對于其余節點，見表5。

表2 節點E 的條件概率表

表3 節點F1 的條件概率表

表4 節點F6 的條件概率表

表5 條件概率的Leaky NoisyOr 函數表示

2.3 證據代入與可信性估算

在估算可信性前，需要依據評估任務的實際情況，為網絡中20 個影響因素節點賦予證據，形成網絡證據集Evidence。對任一影響因素節點Y，證據分為兩種：①硬證據，即P（Y ＝True）＝1或P（Y ＝False）＝1，用于確切表述影響因素事件發生或未發生，屬于確定性證據；②虛擬證據［19，20］，用于表述影響因素事件發生的客觀概率或主觀信念，或影響因素在發生的空間或時間上的占比，屬于非確定性證據。所謂虛擬證據就是通過引入一個虛擬節點V＇作為Y的子節點，且固定V＇＝v，那么虛擬證據就呈現為一個似然比：，不失一般性，有α，β∈（0，1）∧α+β ＝1，這樣，虛擬證據可近似理解為Y在True和False 上的占比，這就達到了設置非確定性證據的目的。在給定Evidence后，直接使用貝葉斯公式推導，或更方便地借助貝葉斯網絡建模軟件，可求出網絡任一非葉節點（根節點和8 個中間節點）在已知網絡證據集時的條件概率。鑒于網絡根節點含義為“評估可信性低”，則評估可信性為根節點 取 False 的條件概 率，即P（A ＝

3 實驗與分析

實驗中，使用AgenaRisk 貝葉斯網絡建模軟件建立本文的元評估模型。AgenaRisk 是一種交互式、模塊化的貝葉斯網絡可視化建模工具，允許用戶以拖放和點選等非編程方式構建目標網絡，并提供了類別豐富且成熟專業的構件庫以及設計樣例，能顯著提升建模與計算效率。下面基于表6 中的3組評估想定進行可信性分析，其中想定1 和想定2是為便于比較分析而建立的極端參照想定，想定1中所有影響因素均發生（硬證據），想定2 中所有影響因素均未發生（硬證據），而想定3 代表一種典型的實際評估情形，其與想定2 大體一致，區別在于想定3 未采用成熟方法和工具，以及數據采集過程質量低（硬證據），同時，業務領域技術人員僅參與評估全流程的約40%，且有30%的指標存在相關性（虛擬證據）。從主觀經驗角度，想定1 與想定2 應分別對應最低與最高的評估可信性，而想定3 則必然介于兩者之間。在AgenaRisk 中將本文模型劃分為3 個場景，每個場景輸入一組想定的證據，啟動模型推斷操作，得出3 組想定的評估可信性見圖2。想定1～3 的可信性分別約為16.3%，85.2%和51.6%，易見，想定2 可信性最高，想定3 次之，想定1 最低，計算結果完全符合定性的經驗直覺，還給出了具體量化值，便于進一步的細粒度定量分析。同時還注意到，想定1 和想定2 的可信性并非絕對化的0%和100%，這是因為表1 中的20 項影響因素僅為關鍵性但非完備因素，還存在一些次要因素因其未知性或控制模型復雜度的緣故未予考慮，這恰恰表明本模型能夠在處理不完全信息時體現出非確定性。

圖2 可信性評估結果

表6 實驗評估想定

由于多數影響因素難以精確量化，需定性衡量，在實際使用本模型時，建議采取多專家綜合研討方式確定影響因素節點證據，這樣可以降低證據的方差和隨機性，使證據切實符合評估問題實際，從而首先在證據層面確?？尚判?。

5 結束語

本文提出了一種用于定量估算評估可信性的概率化元評估模型，從評估流程、方法、人員、數據和指標等5 個維度梳理出關鍵的評估可信性負面影響因素，在貝葉斯網絡的框架下，層次化地建立了這些影響因素對于可信性的概率化因果關聯關系，符合影響關系的非線性與隨機性本質。本文模型為評估可信性的估算提供了一種通用化的解決途徑。同時，此模型也可視為一種彈性框架，未來工作中，一方面可以根據不同業務領域的需求在橫向上擴充或剪裁模型的維度和因素，增強評估的業務針對性；另一方面，可為每種影響因素在縱向上遞歸細分更具體更易量化的次級影響因素，提升評估結論的客觀程度。